Ресурсное планирование и диспетчеризация: инструмент для высокопроизводительных систем управления большими данными

Описание

Это инструмент для управления ресурсами, предназначенный для высокопроизводительной системы управления большими данными. Система основана на данных и представляет собой часть ключевого проекта технологического отдела, направленного на разработку систем управления большими данными для высокотехнологичных производств.

Из-за особенностей больших данных в производственной сфере система должна быть способна обрабатывать различные типы данных, такие как временные ряды, графические данные и структурированные данные. Кроме того, система должна обеспечивать детальное управление ресурсами для разнородных механизмов обработки данных. На основе этих требований был разработан данный инструмент.

Инструмент представляет собой систему управления ресурсами для контейнерных аналитических механизмов, основанную на открытом инструменте оркестровки контейнеров Kubernetes. Он использует возможности Kubernetes по управлению контейнерами и основывается на его вторичной разработке. Инструмент предоставляет следующие функции:

1. Вторичная разработка модуля Scheduler в Kubernetes позволяет предложить и внедрить новые алгоритмы планирования, адаптированные к специфическим потребностям системы. Это обеспечивает более эффективное распределение компонентов и повышает эффективность использования ресурсов кластера.

2. Использование алгоритмов машинного обучения, таких как LSTM, и других моделей для прогнозирования потребления ресурсов в кластере в краткосрочной и среднесрочной перспективе. Это позволяет более эффективно использовать ресурсы кластера и выполнять задачи доступа к данным и анализа.

3. Мониторинг ресурсов кластера в реальном времени с использованием сторонних открытых и собственных модулей управления ресурсами. Пользователи могут контролировать и управлять ресурсами кластера на различных уровнях детализации.

4. Управление ресурсами, необходимыми для контейнерных механизмов обработки данных, с помощью инструментов Linux, таких как cgroup. Пользователи могут точно распределять и разделять ресурсы между различными механизмами обработки данных.

5. Разделение вычислений и хранения для разнородных данных с использованием распределённых файловых систем. Это обеспечивает высокую скорость доступа к данным через границы узлов благодаря высокоскоростным сетям Ethernet между узлами.

6. Автоматическое масштабирование и перепланирование ресурсов для распределённых и централизованных механизмов обработки данных. Благодаря разделению вычислений и хранения, инструмент может автоматически расширять и сокращать ресурсы в зависимости от использования ресурсов каждым механизмом обработки данных. Также возможно перераспределение компонентов между узлами кластера для более равномерного использования ресурсов.

7. Улучшенный пользовательский интерфейс с применением новых функций H5, что значительно повышает интерактивность и разнообразие представления информации. Пользователи могут легко получать необходимую информацию и эффективно управлять системой.

Среда подготовки

• Минимальное количество узлов в кластере: 3 узла.
• Операционная система: Ubuntu 16.04.
• Память: минимум 32 ГБ для главного узла (управляющего узла), минимум 16 ГБ для подчинённых узлов.
• Хранилище: каждая нода должна иметь как минимум две физические или виртуальные жёсткие диски, каждый из которых должен иметь не менее 100 ГБ свободного пространства.
• Среда выполнения Java: JDK 1.8 или выше.
• Среды Tomcat: Tomcat 1.8.5 или выше.
• Kubernetes: версия 1.9.6 или выше.

Быстрая установка

Установка Kubernetes и других компонентов

На этом этапе необходимо загрузить и установить модифицированный инструмент Kubernetes (с добавлением алгоритмов планирования) на кластер, а затем установить Docker, распределённую файловую систему GlusterFS и сетевую среду Flanneld для связи между контейнерами на разных узлах. Подробные инструкции по установке можно найти в следующих документах:

• Руководство по установке Kubernetes: Kubernetes-Installation-Report.
• Руководство по установке GlusterFS: glusterfs установка руководства.

Создание образов разнородных механизмов обработки данных

Этот этап включает в себя контейнеризацию различных механизмов обработки данных, управляемых системой. Подробные шаги описаны в руководстве по контейнеризации механизмов обработки данных:

• Интеграция графического механизма обработки данных: graph-module.
• Интеграция механизма обработки временных рядов: iotdb-module.
• Интеграция структурированного механизма обработки данных: kingbase-module.
• Интеграция KV-механизма обработки данных: [kv-module](https://gitee.com/HITMassiv eData/ResourceManagement/blob/master/docs/kv-module.docx).
• Интеграция неструктурированного механизма обработки данных: unstruct-module.

Установка необходимых компонентов

Установите компонент мониторинга Heapster, создайте и установите компонент автоматического масштабирования Rescheduler. Подробные инструкции можно найти здесь:

• Установка Heapster: руководство. Установка частного репозитория Docker: docker-private-repo

Обновление конфигурационного файла и компиляция исходного кода

Клонируйте или скачайте этот репозиторий на локальный компьютер и обновите файл конфигурации /src/config.xml. В этом файле обновите записи, такие как адрес сервиса Kubernetes, адрес частного репозитория образов и т. д., указав реальные адреса. Затем можно скомпилировать исходный код в пакет war или другой формат на локальном компьютере или на сервере. После компиляции опубликуйте полученный пакет в кластере на сервере Tomcat.

Проверка установки

Запустите сервер Tomcat в кластере. Затем, в зависимости от IP-адреса сервера Tomcat и настроек порта, откройте порт и перейдите по URL-адресу http://YourIP:YourPort/ResourceManagement, чтобы проверить, работает ли инструмент нормально.

Прочее

Если у вас возникли проблемы при использовании или вы обнаружили ошибку в инструменте, пожалуйста, оставьте свои комментарии или предложения в разделе Issues этого репозитория.