Taier

A distributed dispatching system

• Taier — один из десяти самых знаменитых мечей древнего Китая.

Taier — это открытая распределённая система диспетчеризации DAG, которая фокусируется на отправке и диспетчеризации различных задач. Она предназначена для снижения затрат на разработку ETL и решения сложных зависимостей между задачами и проблем, связанных с отправкой, диспетчеризацией и эксплуатацией.

При разработке ETL на Taier не нужно беспокоиться о сложных зависимостях между задачами или архитектуре базовой платформы больших данных. Вместо этого основное внимание уделяется бизнес-процессам.

Taier предоставляет единую платформу для отправки, диспетчеризации, эксплуатации и отображения информации о метриках для разработки больших данных.

Введение

Taier — это распределённая система диспетчеризации DAG (Directed Acyclic Graph), предназначенная для управления и выполнения задач в рамках сложных процессов обработки данных. Система разработана с целью упростить разработку ETL (Extract, Transform, Load) и решить проблемы, связанные с управлением зависимостями между задачами, их отправкой и диспетчеризацией.

Используя Taier для разработки ETL, разработчики могут сосредоточиться на бизнес-логике, не беспокоясь о сложных взаимосвязях между задачами и реализации архитектуры базовой платформы больших данных. Это позволяет снизить сложность разработки и повысить её эффективность.

Система Taier предлагает единую платформу для управления всеми аспектами разработки больших данных, включая отправку, диспетчеризацию, эксплуатацию и мониторинг метрик.

Функции

Основные функции системы включают:

— Распределённое расширение; — Визуализация конфигурации DAG; — IDE-подобная платформа разработки; — Пользовательские расширения для задач; — Направляющие и скрипты в различных режимах; — Диспетчеризация вверх и вниз по течению; — Поддержка онлайн и офлайн задач; — Совместимость с различными версиями Hadoop; — Поддержка Flink Standalone; — Нулевое вмешательство в кластерную среду; — Разделение между несколькими арендаторами и кластерами; — Поддержка аутентификации Kerberos; — Многоверсионность задач; — Замена пользовательских параметров; — Мониторинг ресурсов кластера в реальном времени; — Получение данных метрик в реальном времени; — Ограничение ресурсов задач.

Архитектура

Схема архитектуры представлена на рисунке.

Быстрый старт

Запуск через Docker

1. Скачайте файл docker-compose.yml с сайта проекта.
2. Запустите команду docker-compose up -d для запуска системы.

Онлайн-предпросмотр

Посетите сайт taier.dtstack.cn для предварительного просмотра системы.

Разработка задач

Следуйте инструкциям на сайте проекта для начала разработки задач.

Типы задач