StreamSets Data Collector

Структура каталога

├─api-lib
├─bin -------- Запуск
├─cli-lib
├─container-lib
├─data
├─edge-binaries
├─etc ------- Конфигурационный каталог
├─initd
├─libexec ------ Основные JAR-файлы
│ └─bootstrap-libs
│ ├─cluster
│ └─main ------ Основной JAR
├─libs-common-lib
├─log
├─resources
├─root-lib
├─sdc-static-web -------- Веб-приложение
├─streamsets-libs
│ ├─streamsets-datacollector-basic-lib
│ │ └─lib
│ ├─streamsets-datacollector-dataformats-lib
│ │ └─lib
│ ├─streamsets-datacollector-dev-lib
│ │ └─lib
│ ├─streamsets-datacollector-stats-lib
│ │ └─lib
│ └─streamsets-datacollector-windows-lib
│ └─lib
├─streamsets-libs-extras
├─systemd
└─user-libs

Запуск bin/streamsets

[root@izwz99lzuuzw33bvhi26qrz bin]# ./streamsets --help

streamsets <SUB_COMMAND> [<SUB_COMMAND_ARGUMENTS>]

  Подкоманды:

    dc: Запускает Data Collector

    create-dc: Создает новую инстанцию Data Collector

    cli: CLI Data Collector

    jks-cs: Java Keystore Credential Store (Устарело)

    sch: Включает или отключает интеграцию с Control Hub

    stagelibs: Установщик библиотек стадий Data Collector

    show-vault-id: Показывает user-id для авторизации в Vault (Устарело)

    setup-mapr: Включает библиотеку стадий MapR для обнаруженной
                установки MapR.

    stagelib-cli <STAGE LIB>: Запускает командную строку инструмента указанной библиотеки стадий, если она доступна.

    metadata-generator: Генерирует метаданные для облака, для Pipeline Executor и для библиотек стадий

dc

Запуск команды bin/streamsets dc фактически запускает _sdc, что в конечном итоге приводит к запуску Java-процесса.По умолчанию этот скрипт выполняет \libexec\sdc-env.sh и устанавливает переменные окружения в процессе, но можно пропустить установку этих переменных с помощью параметра -skipenvsourcing.

[root@izwz99lzuuzw33bvhi26qrz bin]# ./streamsets dc -help

streamsets dc <OPTIONS>

  Параметры:
    -verbose          : выводит подробные настройки окружения Data Collector
    -exec             : запускает JVM Data Collector в том же процессе скрипта
    -skipenvsourcing  : пропускает выполнение файла libexec/sdc-env.sh

Вызов команды dc приводит к запуску следующего процесса:

/usr/bin/java
``````-classpath
/root/streamsets/datacollector/dist/target/streamsets-datacollector-3.14.0-SNAPSHOT/streamsets-datacollector-3.14.0-SNAPSHOT/libexec/bootstrap-libs/main/streamsets-datacollector-bootstrap-3.14.0-SNAPSHOT.jar
:/root/streamsets/datacollector/dist/target/streamsets-datacollector-3.14.0-SNAPSHOT/streamsets-datacollector-3.14.0-SNAPSHOT/root-lib/*
```-Djava.security.manager
-Djava.security.policy=file:///root/streamsets/datacollector/dist/target/streamsets-datacollector-3.14.0-SNAPSHOT/streamsets-datacollector-3.14.0-SNAPSHOT/etc/sdc-security.policy
-Xmx1024m
-Xms1024m
-server
-XX:-OmitStackTraceInFastThrow
-Dsdc.dist.dir=/root/streamsets/datacollector/dist/target/streamsets-datacollector-3.14.0-SNAPSHOT/streamsets-datacollector-3.14.0-SNAPSHOT
-Dsdc.resources.dir=/root/streamsets/datacollector/dist/target/streamsets-datacollector-3.14.0-SNAPSHOT/streamsets-datacollector-3.14.0-SNAPSHOT/resources
-Dsdc.hostname=izwz99lzuuzw33bvhi26qrz
-Dsdc.conf.dir=/root/streamsets/datacollector/dist/target/streamsets-datacollector-3.14.0-SNAPSHOT/streamsets-datacollector-3.14.0-SNAPSHOT/etc
-Dsdc.data.dir=/root/streamsets/datacollector/dist/target/streamsets-datacollector-3.14.0-SNAPSHOT/streamsets-datacollector-3.14.0-SNAPSHOT/data
-Dsdc.log.dir=/root/streamsets/datacollector/dist/target/streamsets-datacollector-3.14.0-SNAPSHOT/streamsets-datacollector-3.14.0-SNAPSHOT/log
-javaagent:/root/streamsets/datacollector/dist/target/streamsets-datacollector-3.14.0-SNAPSHOT/streamsets-datacollector-3.14.0-SNAPSHOT/libexec/bootstrap-libs/main/streamsets-datacollector-bootstrap-3.14.0-SNAPSHOT.jar
-Dsdc.libraries.dir=/root/streamsets/datacollector/dist/target/streamsets-datacollector-3.14.0-SNAPSHOT/streamsets-datacollector-3.14.0-SNAPSHOT/streamsets-libs
-Dsdc.librariesExtras.dir=/root/streamsets/datacollector/dist/target/streamsets-datacollector-3.14.0-SNAPSHOT/streamsets-datacollector-3.14.0-SNAPSHOT/streamsets-libs-extras
-Dsdc.rootLib.dir=/root/streamsets/datacollector/dist/target/streamsets-datacollector-3.14.0-SNAPSHOT/streamsets-datacollector-3.14.0-SNAPSHOT/root-lib
-Dsdc.bootstrapLib.dir=/root/streamsets/datacollector/dist/target/streamsets-datacollector-3.14.0-SNAPSHOT/streamsets-datacollector-3.14.0-SNAPSHOT/libexec/bootstrap-libs
-Dsdc.apiLib.dir=/root/streamsets/datacollector/dist/target/streamsets-datacollector-3.14.0-SNAPSHOT/streamsets-datacollector-3.14.0-SNAPSHOT/api-lib
```0-SNAPSHOT/streamsets-datacollector-3.14.0-SNAPSHOT/api-lib
  -Dsdc.containerLib.dir=/root/streamsets/datacollector/dist/target/streamsets-datacollector-3.14.0-SNAPSHOT/streamsets-datacollector-3.14.0-SNAPSHOT/container-lib
  -Dsdc.libsCommon.dir=/root/streamsets/datacollector/dist/target/streamsets-datacollector-3.14.0-SNAPSHOT/streamsets-datacollector-3.14.0-SNAPSHOT/libs-common-lib
  -Dsdc.userLibs.dir=/root/streamsets/datacollector/dist/target/streamsets-datacollector-3.14.0-SNAPSHOT/streamsets-datacollector-3.14.0-SNAPSHOT/user-libs
  -XX:+UseConcMarkSweepGC  # Устанавливает старую генерацию для сборки с использованием конкурирующего сборщика.
  -XX:+UseParNewGC  # Устанавливает молодую генерацию для сборки с использованием параллельного сборщика.
  -Djdk.nio.maxCachedBufferSize=262144
  -XX:+HeapDumpOnOutOfMemoryError
  -XX:HeapDumpPath=/root/streamsets/datacollector/dist/target/streamsets-datacollector-3.14.0-SNAPSHOT/streamsets-datacollector-3.14.0-SNAPSHOT/log/sdc_heapdump_1583911013.hprof
  -XX:+PrintGCDetails
  -XX:+PrintGCDateStamps
  -Xloggc:/root/streamsets/datacollector/dist/target/streamsets-datacollector-3.14.0-SNAPSHOT/streamsets-datacollector-3.14.0-SNAPSHOT/log/gc.log
  -XX:ErrorFile=/root/streamsets/datacollector/dist/target/streamsets-datacollector-3.14.0-SNAPSHOT/streamsets-datacollector-3.14.0-SNAPSHOT/log/hs_err_1583911013.log
  com.streamsets.pipeline.BootstrapMa
  -mainClass          # ОПЦИЯ MAIN_CLASS
  com.streamsets.datacollector.main.DataCollectorMain
  -apiClasspath       # ОПЦИЯ API_CLASSPATH
  /root/streamsets/datacollector/dist/target/streamsets-datacollector-3.14.0-SNAPSHOT/streamsets-datacollector-3.14.0-SNAPSHOT/api-lib/*.jar
  -containerClasspath # ОПЦИЯ CONTAINER_CLASSPATH
  /root/streamsets/datacollector/dist/target/streamsets-datacollector-3.14.0-SNAPSHOT/streamsets-datacollector-3.14.0-SNAPSHOT/etc:
  /root/streamsets/datacollector/dist/target/streamsets-datacollector-3.14.0-SNAPSHOT/streamsets-datacollector-3.14.0-SNAPSHOT/container-lib/*.jar
  -streamsetsLibrariesDir # ОПЦИЯ STREAMSETS_LIBRARIES_DIR
  /root/streamsets/datacollector/dist/target/streamsets-datacollector-3.14.0-SNAPSHOT/streamsets-datacollector-3.14.0-SNAPSHOT/streamsets-libs -userLibrariesDir  # ОПЦИЯ USER_LIBRARIES_DIR
  /root/streamsets/datacollector/dist/target/streamsets-datacollector-3.14.0-SNAPSHOT/streamsets-datacollector-3.14.0-SNAPSHOT/user-libs
  -configDir    # ОПЦИЯ CONFIG_DIR
  /root/streamsets/datacollector/dist/target/streamsets-datacollector-3.14.0-SNAPSHOT/streamsets-datacollector-3.14.0-SNAPSHOT/etc
  -libsCommonLibDir  # ОПЦИЯ LIBS_COMMON_LIB_DIR
  /root/streamsets/datacollector/dist/target/streamsets-datacollector-3.14.0-SNAPSHOT/streamsets-datacollector-3.14.0-SNAPSHOT/libs-common-lib
  -streamsetsLibrariesExtraDir    # ОПЦИЯ STREAMSETS_LIBRARIES_EXTRA_DIR
  /root/streamsets/datacollector/dist/target/streamsets-datacollector-3.14.0-SNAPSHOT/streamsets-datacollector-3.14.0-SNAPSHOT/streamsets-libs-extras```properties
 // sdc.properties
 # Системные и пользовательские списки белых и черных списков для стадийных библиотек
 #
 # Если закомментировано, то все директории стадийных библиотек будут использоваться.
 #
 # Для 'system' или 'user' можно задать только белый или черный список, если заданы оба, то запуск Data Collector будет невозможен
 #
 # Укажите директории стадийных библиотек, разделенные запятыми
 #
 # Системные стадийные библиотеки MapR отключены, так как требуют ручной установки. Используйте скрипт setup-mapr для включения желаемой стадийной библиотеки MapR.
 #
 # Важно, чтобы свойства белого и черного списков были на одной строке, иначе скрипт control.sh CSD и скрипт setup-mapr не будут работать правильно.
 #
 #system.stagelibs.whitelist=
 system.stagelibs.blacklist=streamsets-datacollector-mapr_5_0-lib,streamsets-datacollector-mapr_5_1-lib,streamsets-datacollector-mapr_5_2-lib,streamsets-datacollector-mapr_6_0-lib,streamsets-datacollector-mapr_6_0-mep4-lib,streamsets-datacollector-mapr_6_0-mep5-lib,streamsets-datacollector-mapr_6_1-lib,streamsets-datacollector-mapr_6_1-mep6-lib,streamsets-datacollector-mapr_spark_2_1_mep_3_0-lib```



```java
public static void bootstrap(String[] args) throws Exception {
    ...
    // streamsetsLibrariesDir ==> ./streamsets-libs
    // streamsetsLibrariesExtraDir ===> ./streamsets-libs-extras
    // systemStageLibs ===> ./Set<String>("-streamsets-datacollector-mapr_5_0-lib","-streamsets-datacollector-mapr_5_1-lib","-streamsets-datacollector-mapr_5_2-lib","-streamsets-datacollector-mapr_6_0-lib","-streamsets-datacollector-mapr_6_0-mep4-lib","-streamsets-datacollector-mapr_6_0-mep5-lib","-streamsets-datacollector-mapr_6_1-lib","-streamsets-datacollector-mapr_6_1-mep6-lib","-streamsets-datacollector-mapr_spark_2_1_mep_3_0-lib")
    // libsCommonLibDir ===> ./libs-common-lib
	Map<String, List<URL>> streamsetsLibsUrls = getStageLibrariesClasspaths(streamsetsLibrariesDir, streamsetsLibrariesExtraDir, systemStageLibs, libsCommonLibDir);
    // userLibrariesDir ===> ./user-libs
    // systemStageLibs ===> ./
    Map<String, List<URL>> userLibsUrls = getStageLibrariesClasspaths(userLibrariesDir, null, systemStageLibs, libsCommonLibDir);
}

Set<String> systemStageLibs;
// В этом месте Set<String> systemStageLibs обрабатывается методами getWhiteList или getList.
// Этот метод читает конфигурацию из файла ./etc/sdc.properties, связанные с system.stagelibs.whitelist или system.stagelibs.blacklist (эти две стратегии не могут использоваться одновременно).
// Если используется белый список, содержимое будет выглядеть как new HashSet<String>(Arrays.asList("+XXX","+xxx"));
// Если используется черный список, содержимое будет выглядеть как new HashSet<String>(Arrays.asList("-XXX","-xxx"));
systemStageLibs = getSystemStageLibs(configDir, productName);

// Этот метод проверяет, что в файле sdc.properties одновременно не используются system.stagelibs.whitelist и system.stagelibs.blacklist. По умолчанию используется конфигурация blacklist.
validateWhiteBlackList(config, whiteListKey, blackListKey, productName);
```

OSCHINA-MIRROR/Hu-Lyndon-streamsets-start-asset

StreamSets Data Collector

Структура каталога

Запуск bin/streamsets

dc

Опубликовать ( 0 )

Введение

Обновления

Участники

Недавние действия

OSCHINA-MIRROR/Hu-Lyndon-streamsets-start-asset .gitee-modal { min-width: 500px !important; } .gitee-modal .close { right: 0.6rem !important; }

StreamSets Data Collector

Структура каталога

Запуск bin/streamsets

dc

Опубликовать ( 0 )

Введение

Обновления

Участники

Недавние действия

OSCHINA-MIRROR/Hu-Lyndon-streamsets-start-asset