kettle-scheduler

Введение

Kettle как самый популярный открытый ETL-инструмент с мощными и простыми функциями широко используется ETL-профессионалами. Однако встроенные функции планирования и мониторинга Kettle слабы. Официальные представители Pentaho рекомендуют использовать crontab (для Unix-платформ) и задачи планировщика (для Windows-платформ) для выполнения функций планирования. Поэтому при реализации функций планирования Kettle обычно используются следующие методы: запуск Job с помощью программы Spoon, использование crontab или задач планировщика, разработка собственных Java-программ для вызова библиотек Kettle.

Описание проекта

Kettle-платформа для планирования и мониторинга (далее KS) — это собственное Java-веб-приложение, предназначенное для планирования и мониторинга задач и преобразований, созданных с помощью Kettle-клиента. KS построен на основе Spring + Spring MVC + BeetlSQL и использует API Kettle для выполнения преобразований и задач, а также Quartz для планирования.

Эта версия разработана на основе API Kettle-8.0.0.0-28 и поддерживает все компоненты, включая большие данные (HBase, Hive, HDFS и т.д.).

Исходный код проекта: https://github.com/zhaxiaodong9860/kettle-scheduler

Установка

Подготовка базовой среды

Операционная система: Windows (Linux аналогично) Установленные программы: JDK 1.8, MySQL, Tomcat, Kettle 8.0 Импортируйте файл kettle-scheduler.sql в базу данных MySQL.### Шаги установки

1. Скомпилируйте и соберите исходный код, затем распакуйте его в директорию webapps Tomcat.

2. Настройте файл km/WEB-INF/classes/resource/db.properties

   jdbc.driver=com.mysql.jdbc.Driver   // драйвер MySQL
   jdbc.url=jdbc:mysql://192.22.107.97:3306/kettle-master?serverTimezone=UTC&characterEncoding=utf8&useUnicode=true&useSSL=false   // URL JDBC MySQL
   jdbc.username=root  // имя пользователя MySQL
   jdbc.password=123456   // пароль MySQL

3. Настройте файл km/WEB-INF/classes/resource/kettle.properties

   kettle.home=WEB-INF\\lib   // путь к Kettlehome, этот параметр не нужно изменять, но необходимо заменить файл `kettle.properties` Kettle 8.0 в директории `km/WEB-INF/lib/.kettle`
   kettle.plugin=E:\\zhaxiaodong\\plugins   // путь к плагинам Kettle, можно указать любую директорию и скопировать необходимые плагины из директории `data-integration/plugins`
   kettle.script=Html\\js\\libs\\url   // путь к JS-файлам Kettle, данный параметр не используется
   kettle.loglevel=detail      // уровень логирования Kettle
   kettle.log.file.path=D:\\data-integration\\logs  // путь к директории логов, создаваемых при выполнении задач и преобразований Kettle
   kettle.file.repository=D:\\data-integration\\test   // путь к директории для хранения загруженных задач и преобразований, данная функция отключена, поэтому изменять не нужно

4. Скопируйте папки simple-jndi и system из каталога data-integration в каталог apache-tomcat-9.0.12\bin. Настройте файл apache-tomcat-9.0.12\conf\server.xml

   <Connector port="8080" protocol="HTTP/1.1" connectionTimeout="20000" redirectPort="8443" />    <!-- Настройте порт -->
   <Host name="localhost"  appBase="webapps" unpackWARs="true" autoDeploy="true">
   <Context path="/km" docBase="/km"  reloadable ="true" debug="0" privileged="true"> </Context> 
   … 
   </Host>
   ```5. Запустите tomcat

Windows: apache-tomcat-9.0.12\bin\startup.bat; Linux: apache-tomcat-9.0.12\bin\startup.sh; Перейдите по адресу http://localhost:8080/km для входа в систему.

Инструкция по использованию

Вход

Посетите http://localhost:8080/km для входа в систему, имя пользователя admin, пароль admin.

Главная страница

Главная страница отображает информацию о мониторинге. Когда задача (задание или преобразование) запускается, она попадает под мониторинг системы. На главной странице отображается общее количество мониторинговых задач, количество мониторинговых заданий, количество мониторинговых преобразований, записи мониторинга преобразований (отображаются только 5 записей), записи мониторинга заданий (отображаются только 5 записей) и состояние мониторинга заданий и преобразований за последние 7 дней.

Управление репозиторием

Управление информацией о репозитории базы данных Kettle, включая создание, изменение и удаление репозитория базы данных.

Управление задачами - Управление заданиями

Управление задачами планирования заданий, включая создание, изменение и удаление задач планирования заданий. После запуска задание начинает выполняться.

Управление задачами - Управление преобразованиями

Управление задачами планирования преобразований, включая создание, изменение и удаление задач планирования преобразований. После запуска преобразование начинает выполняться.### Управление задачами - Управление стратегиями выполнения Управление стратегиями выполнения, включая создание, изменение и удаление стратегий выполнения (планирование выполнения).

Управление мониторингом - Мониторинг заданий

Задания, находящиеся в процессе выполнения, мониторятся системой. Здесь отображается информация о мониторинге заданий, включая общее количество заданий, общее количество успешных выполнений, общее количество неудачных выполнений и количество успешных и неудачных выполнений для каждого задания. В детальном представлении можно также просмотреть журналы выполнения и время выполнения для каждого выполнения, а также скачать журналы.### Управление мониторингом - Мониторинг преобразований Преобразования, находящиеся в процессе выполнения, мониторятся системой. Здесь отображается информация о мониторинге преобразований, включая общее количество преобразований, общее количество успешных выполнений, общее количество неудачных выполнений и количество успешных и неудачных выполнений для каждого преобразования. В детальном представлении можно также просмотреть журналы выполнения и время выполнения для каждого выполнения, а также скачать журналы.

Управление пользователями

Этот пункт меню отображается только при входе пользователя типа admin. Позволяет управлять пользователями: создавать, редактировать и удалять пользователей.## Сборник часто задаваемых вопросов (обновляется)

1. java.io.FileNotFoundException: Источник './system/karaf' не существует Решение: Переместите упомянутую папку из шагов развертывания в папку bin Tomcat.
2. Отсутствие драйвера или проблемы с версией драйвера Решение: Установите jar-пакет jdbc-драйвера для конкретной версии базы данных в папку lib, расположенную в папке data-integration.
3. Невозможность подключения к репозиторию Решение: Используйте Kettle для предварительного создания репозитория. Подробные инструкции можно найти на сайте.
4. Использование базы данных Oracle Решение: Поддержка Oracle баз данных уже реализована в новом коде.

Надеемся, что вы будете участвовать в поддержке этого проекта. Если у вас возникнут вопросы, вы можете присоединиться к QQ-группе для обсуждения.

[Ссылка для присоединения к группе]

[kettle-scheduler обсуждение QQ-группа 1: 817362677 (заполнена)]

[kettle-scheduler обсуждение QQ-группа 2: 821614032 (заполнена)]

[kettle-scheduler обсуждение QQ-группа 3: 553956378]

Дополнительные сведения см. на личном блоге: https://blog.csdn.net/zhaxiaodong/article/details/84107102