Cloudin-DataX

Cloudin-DataX — это распределённый инструмент для синхронизации данных, разработанный на основе DataX. Он предоставляет простой в использовании интерфейс и снижает затраты на обучение пользователей при работе с DataX. Cloudin-DataX также обеспечивает возможности визуализации конфигурации и мониторинга задач по расписанию. Пользователи могут изменять время выполнения задач datax через веб-страницу, а также настраивать сценарии. Инструмент поддерживает различные источники данных, такие как Oracle, PG и MySQL, и позволяет просматривать журналы синхронизации данных в реальном времени.

Задачи поддерживают кластерное развёртывание. Они включают выбор стратегии многоузлового маршрутизатора для исполнителей, мониторинг использования CPU, памяти и нагрузки исполнителями и другие функции. В будущем планируется предоставить решения для инкрементной синхронизации и управления задачами в конвейере.

Архитектура программного обеспечения (изображение не переведено)

Системные требования:

• Язык программирования: Java 8.
• Среда: MacOS, Windows, Linux.
• База данных: MySQL 8.x (для MySQL 5.x требуется изменить драйвер источника данных).

Характеристики:

1. Возможность настройки времени выполнения задач DataX через веб-интерфейс.
2. Сохранение JSON-данных DataX в базе данных для удобства управления и переноса задач.
3. Веб-просмотр результатов извлечения и исторических записей.
4. Динамическое изменение времени выполнения и содержания задач DataX, которые вступают в силу немедленно.
5. Использование режима master/slave для планирования задач с поддержкой кластерного развёртывания.
6. Распределённое выполнение задач, поддержка кластерного развёртывания для «исполнителей» задач.
7. Стратегия обработки исключений при слишком интенсивном планировании, когда исполнители не успевают обрабатывать задачи. Включает возможность остановки потока выполнения при заполнении всех потоков исполнителя.
8. Автоматическое обнаружение и запуск зарегистрированных задач «исполнителями».
9. Мониторинг состояния пула бизнес-потоков через веб-страницы для эффективного планирования количества «исполнителей».
10. Управление пользователями онлайн, включая роли администратора и обычных пользователей.
11. Контроль тайм-аута задач: возможность настройки пользовательского времени ожидания для автоматического прерывания задач при превышении лимита.
12. Повторные попытки после сбоя задач: настройка пользовательского количества повторных попыток после сбоя задачи, автоматическое повторение при неудаче.
13. Добавление мониторинга использования ЦП, памяти и загрузки для «исполнителей».
14. Планирование инкрементальной синхронизации по расписанию.
15. Визуализация конфигурации JSON для удобного управления.

Будущие улучшения:

1. Уведомления о сбоях задач: по умолчанию предоставляется система уведомлений по электронной почте, но также предусмотрена возможность расширения для поддержки SMS-уведомлений и уведомлений через WeChat.
2. Задание конкретных серверов для запуска задач на определённых сервисах (в особых случаях, когда сеть разрешает только определённому серверу доступ к определённой базе данных).