Класс LoaderStageLibraryTask

В этом классе происходит

Загрузка стадий

Проверка совместимости компонентов с JVM

Перед загрузкой любых стадий проверим, совместима ли данная библиотека стадий с текущей версией JVM.

Проверка осуществляется на основе ключа java.unsupported.regexp в файле data-collector-library.properties каждого модуля.

По данным сканирования текущего мастера, версии 3.15.0-SNAPSHOT, следующие три модуля ограничены использованием только JVM версии 1.7:

apache-solr_6_1_0-lib

bigtable-lib

elasticsearch_5-lib

Все они содержат описание java.unsupported.regexp=1\\.7.*.

Проверка совместимости компонентов с версией SDC

Также проверим, что данная версия SDC соответствует минимально требуемой версии, указанной в ключе min.sdc.version файла data-collector-library.properties каждого модуля.

В текущей версии я не нашел файлов, где бы это было настроено.

Загрузка стадий из библиотеки стадий

Здесь приведены два шага:

1. Проверка наличия файла data-collector-library.properties в каждом модуле.

2. Загрузка ключа library.name из файла data-collector-library-bundle каждого модуля как метки библиотеки стадий.

3. Чтение и парсинг EL выражений из файла ElDefinitions.json каждого модуля.

4. Загрузка стадий из файла LoaderPipelineStages.json.

5. Загрузка публикаций линеажа из файла LineagePublishers.json.

6. Загрузка хранилищ учетных данных из файла CredentialStores.json.

7. Загрузка сервисов из файла Services.json.8. Загрузка интерцепторов из файла Interceptors.json.

8. Загрузка делегатов из файла Delegates.json.

Запуск независимого потока ManifestFetcher для загрузки библиотек

    if (!Boolean.getBoolean("streamsets.cloud")) {
      // автоматическая загрузка определений библиотек стадий
      Thread thread = new Thread(this::getRepositoryManifestList);
      thread.setDaemon(true);
      thread.setName("ManifestFetcher");
      thread.start();
    }