ElasticJob — Распределённое решение для управления задачами

Официальный сайт: https://shardingsphere.apache.org/elasticjob/

ElasticJob представляет собой распределённое решение для управления задачами, предназначенное для интернет-экосистем и массовых задач. С помощью эластичной распределённой системы, управления ресурсами и управления работой, ElasticJob создаёт решение для распределённого управления задачами, подходящее для интернет-сценариев. Все продукты ElasticJob используют единый интерфейс задач, что позволяет разработчикам создавать одну реализацию и легко её развертывать.

ElasticJob стал частью проекта Apache ShardingSphere в мае 2020 года. Приветствуем ваше участие через список рассылки.

Введение

Используя ElasticJob, разработчики могут сосредоточиться на бизнес-логике, не беспокоясь о линейном увеличении пропускной способности задач и других небезопасностях; при этом операторы могут автоматически управлять доступностью задач и требованиями к управлению, просто добавляя новые узлы сервиса. ElasticJob ориентирован на легковесное решение без центрального управления, предоставляющее координирующие услуги для распределённых задач в виде JAR-файла.

Функциональность

• Эластичная распределённая система

  • Поддержка шифрования задач в распределённых сценариях
  • Возможность горизонтального масштабирования пропускной способности и производительности выполнения задач
  • Эластичное изменение возможностей выполнения задач при изменении ресурсов

• Управление ресурсами

  • Ассигнование подходящих ресурсов задачам в нужное время
  • Объединение одинаковых задач в одном исполнителе для единого управления
  • Динамическое ассигнование дополнительных ресурсов новым задачам

• Управление работой

  • Перенаправление при отказах
  • Перезапуск пропущенных задач
  • Самодиагностика и восстановление

• Зависимости между задачами (TODO)

  • Зависимость между задачами на основе направленного ациклического графа (DAG)
  • Зависимость между фрагментами задач на основе DAG

• Открытый экосистемный подход к задачам

  • Расширяемый интерфейс для различных типов задач
  • Богатый набор типов задач, таких как поток данных, скрипты, HTTP, файлы, большие данные и т.д.
  • Легкая интеграция с бизнес-задачами, позволяющая использовать Spring DI без проблем

• Управляемое визуально окружение

  • Управление задачами
  • Отслеживание истории выполнения задач
  • Управление регистром

Требования к среде

Java

Пожалуйста, используйте Java 8 и выше.

Maven

Пожалуйста, используйте Maven 3.5.0 и выше.

ZooKeeper

Пожалуйста, используйте ZooKeeper 3.6.0 и выше. Подробнее здесь