Проект dataCollection

dataCollection — это система визуального планирования задач на основе Kettle, которая предоставляет простой и удобный интерфейс для работы. Она снижает затраты на обучение работе с crontab и сокращает время настройки задач, а также помогает избежать ошибок в процессе настройки. Система интегрирована с webSpoon и поддерживает редактирование сценариев Kettle онлайн. С помощью функции интеграции данных она может синхронизировать существующие сценарии из библиотеки ресурсов. После создания сценария пользователь может использовать систему управления задачами для создания задачи синхронизации данных.

Особенности:

1. Онлайн-редактирование сценариев Kettle (см. раздел «webSpoon конфигурация»).
2. Управление библиотекой ресурсов, чтобы избежать проблем с локальным хранением, беспорядком версий и потерей данных.
3. Построение задач сбора данных через веб-интерфейс.
4. Просмотр результатов выполнения и журналов Kettle в режиме онлайн для облегчения поиска и устранения проблем со сбором данных.
5. Поддержка системы оповещения по электронной почте о задачах, что позволяет быть в курсе всех исключений.

Для получения подробной информации рекомендуется обратиться к руководству пользователя и документации по развёртыванию Docker.

Компиляция и установка:

1. Перейдите на главную страницу dataCollection на Code Cloud и загрузите последний полный код (рекомендуется использовать ветку master).
2. Импортируйте файлы сценариев базы данных из папки doc.
3. Войдите в корневую папку кода и выполните команду mvn clean package. Обратите внимание, что в файле pom.xml добавлена зависимость от Oracle, поэтому необходимо добавить пакет драйвера Oracle в локальный репозиторий Maven. См. документацию QA для получения дополнительной информации.
4. Скопируйте все файлы конфигурации, начинающиеся с application, из каталога target/classes, и файл dataCollection-0.0.1-SNAPSHOT.jar из каталога target в одну папку.
5. В файле application.yml можно настроить порт приложения, тип базы данных (Oracle или MySQL), а также адрес webSpoon. Не добавляйте http:// перед адресом.
6. Файл application-kettle.yml используется для настройки журнала Kettle, плагинов и других каталогов.
7. Файл application-dbType.yml настраивает базу данных в соответствии с выбранным типом.
8. Запустите java -jar dataCollection-0.0.7-SNAPSHOT.jar в текущей папке.

Обратите внимание:

• Для интеграции списка необходимо настроить соответствующие ресурсы в webSpoon после завершения настройки.
• По умолчанию требуется вход в систему, но вы можете контролировать необходимость входа с помощью свойства shouldLogin в файле application.yml.

Конфигурация ресурсов Kettle:

• Импортируйте файл сценария базы данных kettlerep-mysql.sql.
• Настройте информацию о подключении к ресурсу в системе в соответствии со сценарием.
• Пароль и имя пользователя по умолчанию для всех учётных записей — admin.

Конфигурация webSpoon:

1. Скачайте установочный пакет webSpoon.
2. Загрузите Tomcat 8.
3. Распакуйте установочный пакет webSpoon в каталог webapps Tomcat.
4. Скопируйте каталоги plugins и system из Kettle Client в каталог bin.
5. Запустите Tomcat, чтобы запустить webSpoon.

Также доступна версия без настройки webSpoon, которую можно скачать по ссылке. Для решения проблем с webSpoon обратитесь к разделу QA документации.

Важно:

• Скачайте файл spoon.war по ссылке.
• При переходе к webSpoon для интеграции данных URL был изменён с открытого текста на зашифрованный. Необходимо загрузить файл без настройки, заменить файл spoon.war или изменить код webSpoon самостоятельно. Подробные инструкции см. ниже:

org.pentaho.di.ui.spoon.WebSpoonEntryPoint

Исходный URL:

http://10.11:8082/spoon/spoon?rep=10.110.6_MYSQL&user=admin&pass=admin&trans=124

Этот URL напрямую раскрывает имя пользователя и пароль, что может вызвать проблемы с безопасностью. Поэтому запрос должен быть зашифрован. Новый URL выглядит следующим образом:

http://10.11:8082/spoon/spoon?respoon=4f34e1b0ae89b47eac282682dcbde5bc2e0f7253322c100d992ec6b858bbb5270510d6618424ad75761196a73aef1197eaae2b12e67c3aa2d014822478f3667e

Скриншоты системы:

• Страница входа:
  • Пользователь входит в систему.
• Главная страница:
  • Отображает основную информацию о системе.
• Управление ресурсами:
  • Позволяет управлять ресурсами библиотеки.
• Интеграция данных:
  • Обеспечивает интеграцию данных между различными источниками.
• Стратегия планирования:
  • Определяет расписание выполнения задач.
• Классификация задач:
  • Группирует задачи по категориям.
• Сбор данных:
  • Управляет процессом сбора данных.
• Мониторинг задач:
  • Отслеживает выполнение задач.
• Управление пользователями:
  • Контролирует доступ пользователей к системе.

Ссылки на проекты:

Вклад в проект:

1. Fork этот репозиторий.
2. Создайте ветку Feat_xxx.
3. Отправьте код.
4. Создайте Pull Request.

Благодарности: Проект открыт для сообщества, и мы благодарим всех, кто помогал в его развитии. Вот список людей, которые внесли свой вклад:

О себе: Я полуфермер.