Интеграция данных Pentaho

Pentaho Data Integration (ETL) также известна как Kettle

Структура проекта

• assemblies: Архив распределения проекта создаётся в этом модуле
• core: Основная реализация
• dbdialog: Диалог базы данных
• ui: Пользовательский интерфейс
• engine: Интерфейс PDI
• engine-ext: Расширения интерфейса PDI
• плагины: Ключевые плагины PDI
• integration: Тесты интеграции

Как сборка

Pentaho Data Integration использует фреймворк Maven.

Предварительные требования для сборки проекта:

• Maven версии 3+
• Java JDK 11
• Этот settings.xml в вашем /.m2 директории

Сборка

Это проект Maven, чтобы собрать его используйте следующую команду:

$ mvn clean install

Опционально вы можете указать -Drelease, чтобы активировать сжатие и/или упрощение (по необходимости).

Опционально вы можете указать -Dmaven.test.skip=true, чтобы пропустить тесты (хотя вам следует это делать).

Результат сборки будет пакетом Pentaho, расположенным в target.

Упаковка / Распространение

Упакованные пакеты можно создать с помощью следующей команды:

$ mvn clean package

Упакованные результаты будут находиться в подпапках target/ модулей assemblies/*.

Например, распределение клиентской части (CE) можно найти здесь: assemblies/client/target/pdi-ce-*-SNAPSHOT.zip.

Выполнение тестов

Единичные тесты

Это выполнит все единичные тесты в проекте (и подмодулях). Чтобы запустить интеграционные тесты, см. ниже раздел "Интеграционные тесты".

$ mvn test

Если вы хотите удалённо отладить один Java единичный тест (стандартный порт OnClickListener 5005):

$ cd core
$ mvn test -Dtest=<<ВашТест>> -Dmaven.surefire.debug

Интеграционные тесты

В дополнение к единичным тестам есть интеграционные тесты, проверяющие работу между модулями. Это выполнит интеграционные тесты.

$ mvn verify -DrunITs

Чтобы запустить один интеграционный тест:

$ mvn verify -DrunITs -Dit.test=<<ВашИнтеграционныйТест>>

Чтобы запустить один интеграционный тест в режиме отладки (для удалённой отладки в среде IDE) на стандартном порту 5005:

$ mvn verify -DrunITs -Dit.test=<<ВашИнтеграционныйТест>> -Dmaven.failsafe.debug

Чтобы пропустить тесты

$ mvn clean install -DskipTests

Чтобы получить лог в виде текстового файла

$ mvn clean install test > log.txt

IntelliJ

• Не используйте встроенный Maven в IntelliJ. Убедитесь, что используется тот же Maven, который вы используете из командной строки.
  • Настройки проекта -> Внедрение и выполнение -> Построители -> Maven ==> Директория домашней страницы Maven

Вклад

1. Отправьте запрос на слияние, ссылаясь на соответствующий случай Jira
2. Прикрепите Git-патч-файл к соответствующему случаю Jira

Использование формата проверки Pentaho (через mvn checkstyle:check и просмотр отчета) и разработка работающих единичных тестов помогает быстро обрабатывать запросы на слияние для исправлений ошибок и улучшений.

При написании единичных тестов у вас есть несколько ClassRules, которые могут использоваться для поддержания здоровой среды тестирования. Используйте RestorePDIEnvironment и RestorePDIEngineEnvironment для основных и тестовых модулей соответственно.

Пример:

public class MyTest {
  @ClassRule public static RestorePDIEnvironment env = new RestorePDIEnvironment();
  #setUp()...
  @Test public void testSomething() { 
    assertTrue(myMethod()); 
  }
}

Обращение за помощью

Пожалуйста, переходите на https://community.hitachivantara.com/community/products-and-solutions/pentaho/, чтобы задать вопросы и получить помощь.