Сайт группы компаний BBoss:

http://www.bbossgroups.com

Блог проекта группы компаний BBoss:

http://yin-bp.iteye.com/

Построение версии

Переключение в режим командной строки:

cd D:\bigdatas

Прямой выпуск версии:

gradle :bigdatamonitor:releaseRuntime

Пакет выпущенной версии хранится в каталоге:

D:\bigdatas\bigdatamonitor\build\distributions

Выпуск исходного кода версии

gradle clean publishToMavenLocal

Версия должна быть построена с помощью Gradle. Для настройки установки Gradle обратитесь к справочному документу:

https://esdoc.bbossgroups.com/#/bboss-build

Особенности инструмента для извлечения больших данных от BBoss

1. Реализована функция импорта данных из базы данных в HDFS Hadoop. Предоставлена возможность эффективного распределённого параллельного выполнения, которая может использовать разделение базы данных, разделение по полям, комбинацию разделения базы данных и разделения по полям или постраничное разделение (не рекомендуется).

2. Эффективное решение проблемы неравномерного распределения данных по разделам при извлечении данных по полям.

3. Гибкий режим обработки задач: можно выполнять задачи инкрементально, останавливать и возобновлять выполнение задач, выполнять только незавершённые задачи или все задачи заново; после остановки задачи можно дополнительно разделить её на подзадачи и выполнить заново, что повышает эффективность системы обработки данных.

4. Для каждой задачи выделяется отдельный поток обработки задач и очередь выполнения задач, которые не мешают друг другу.

5. Управление и распределение команд задач и сбор данных о состоянии задач осуществляется с использованием асинхронного режима, управляемого событиями.

6. Через интерфейс управления мониторингом можно в реальном времени отслеживать состояние выполнения задач на каждом узле обработки данных, просматривать историю выполнения задач, удобно выполнять операции по отправке новых задач, повторному выполнению задач, остановке выполняемых задач, очистке данных мониторинга выполнения задач и синхронизации состояния выполнения задач.

Архитектура инструмента

Используемые технологии

1. Bboss IOC: облегчённый контейнер IOC, конфигурация свойств расширения IOC.

2. Bboss Persistent Layer: эффективный обработчик запросов строк данных, гибкое динамическое управление источниками данных (пул соединений / не пул соединений), информация о разделении таблиц и т. д., динамическое создание таблиц конфигурации задач и записей мониторинга задач.

3. Bboss Distributed Event Framework: на основе JGroups, предоставляет асинхронный распределённый режим, управляемый событиями, динамически управляет узлами задач (сервисные узлы и узлы обработки данных), включая динамическое присоединение и выход узлов задач; между узлами управления и узлами обработки данных происходит обмен и получение различных команд обработки задач.

4. Bboss MVC: реализация модуля управления задачами мониторинга, запуск прослушивателя на узлах управления мониторингом через контейнер MVC для запуска узлов управления задачами.

5. Компонент сериализации Bboss: используется для сохранения данных мониторинга задач в виде последовательности в таблице мониторинга sqllite, а также для восстановления данных мониторинга в объекты при просмотре истории выполнения задач для удобства отображения в интерфейсе.

6. Библиотека тегов Bboss, JQuery и другие: реализация представления слоя управления задачами мониторинга.

7. Hadoop Hdfs клиент: используется для подключения к файловой системе Hadoop Hdfs.

8. Sqllite: сохранение конфигурации задач на узлах мониторинга, сохранение данных о выполнении задач.

9. Jetty: запуск веб-приложения контейнера для управления задачами мониторинга.

10. Контейнер выполнения приложений Bboss: запуск приложения управления задачами мониторинга, приложения обработки задач данных, запуск контейнера Jetty.

Исходный код инструмента извлечения больших данных

Исходный код доступен на GitHub и Oschina Git.

Адрес исходного кода на GitHub: https://github.com/bbossgroups/bigdatas

Адрес исходного кода на Oschina git: https://git.oschina.net/bboss/bigdatas

Адрес загрузки версии исходного кода и пакета выпуска

https://github.com/bbossgroups/bigdatas/releases

Руководство по эксплуатации

Руководство по управлению инструментом извлечения больших данных.docx.

Адреса скачивания проекта и справочных документов

http://yin-bp.iteye.com/blog/1080824

Лицензия

BBoss Framework выпущен под версией 2.0 Apache License.