Чунцзюнь (ChunJun) — это стабильная, удобная в использовании, эффективная и пакетная интегрированная структура данных, которая в настоящее время основана на реальном вычислительном механизме Flink и обеспечивает синхронизацию и вычисления между различными гетерогенными источниками данных. Она уже развёрнута в тысячах компаний и стабильно работает.

Официальный сайт: https://dtstack.github.io/chunjun/.

Введение

Чунцзюнь (ChunJun) представляет различные базы данных как reader/source-плагины, writer/sink-плагины и lookup-плагины для таблиц, и обладает следующими характеристиками:

• Основан на реальном вычислительном механизме Flink, поддерживает конфигурацию задач с использованием шаблонов JSON и совместим с синтаксисом SQL Flink;
• Поддерживает распределённое выполнение, включая flink-standalone, yarn-session и yarn-per job;
• Поддерживает однократное развёртывание с помощью Docker и развёртывание в K8S;
• Поддерживает множество гетерогенных источников данных, обеспечивая синхронизацию и вычисление между MySQL, Oracle, SQLServer, Hive, Kudu и более чем 20 другими источниками данных;
• Легко расширяется, обладает высокой гибкостью, новые плагины для источников данных могут мгновенно взаимодействовать с существующими плагинами, разработчикам плагинов не нужно заботиться о коде других плагинов;
• Не только поддерживает полную синхронизацию, но и поддерживает инкрементную синхронизацию с интервалом обучения;
• Пакетная интеграция, не только поддерживает офлайн-синхронизацию и расчёты, но также совместима с реальными сценариями;
• Поддержка грязных данных и предоставление показателей мониторинга;
• В сочетании с контрольной точкой для реализации передачи данных после прерывания;
• Не только поддержка синхронизации DML-данных, но и поддержка синхронизации изменений схемы.

Компиляция исходного кода

1. Получение кода: используйте инструмент git для загрузки проекта chunjun на локальный компьютер.

git clone https://github.com/DTStack/chunjun.git

2. Компиляция проекта: в каталоге исходного кода проекта выполните следующую команду:

./mvnw clean package -DskipTests

или выполните:

sh build/build.sh

3. Совместимость с несколькими платформами: chunjun в настоящее время поддерживает tdh и open source hadoop, для разных платформ требуются разные команды maven для упаковки. | Платформа | Значение | | --- | --- | | tdh | mvn clean package -DskipTests -P default,tdh | Сборка inceptor-плагина и всех поддерживаемых default-плагинов | | default | mvn clean package -DskipTests -P default | Все плагины, кроме inceptor |

4. Общие проблемы

   • Проблема 1: при компиляции не удаётся найти драйверы DB2, Dameng, Gbase, Ojdbc8 и т. д. Решение: в каталоге $CHUNJUN_HOME/jars есть эти драйверы, их можно установить вручную или использовать предоставленный скриптом установки:
     • Для Windows:

     ./$CHUNJUN_HOME/bin/install_jars.bat
     • Для Unix:

     ./$CHUNJUN_HOME/bin/install_jars.sh
   • Проблема 2: ошибка компиляции ChunJun-core «Failed to read artifact descriptor for com.google.errorprone:javac-shaded». Решение: загрузите файл javac-shaded-9+181-r4173-1.jar по ссылке https://repo1.maven.org/maven2/com/google/errorprone/javac-shaded/9+181-r4173-1/javac-shaded-9+181-r4173-1.jar и временно поместите его в каталог jars корневого каталога chunjun, затем выполните команду установки зависимостей в корневом каталоге исходного кода:

     mvn install:install-file -DgroupId=com.google.errorprone -DartifactId=javac-shaded -Dversion=9+181-r4173-1 -Dpackaging=jar -Dfile=./jars/javac-shaded-9+181-r4173-1.jar

5. Быстрый старт В таблице ниже показано соответствие между ветвью и версией Flink. Несоответствие версий может привести к таким проблемам, как сериализация, конфликты классов и т.д.

   Ветвь	Версия Flink
   master	1.12.7
   1.12_release	1.12.7
   1.10_release	1.10.1
   1.8_release	1.8.3

   Chunjun поддерживает несколько режимов выполнения задач, каждый из которых требует своей среды и шагов. Ниже приведены шаги для каждого режима.

   • Local Режим Local не зависит от среды Flink или Hadoop, он запускает процесс JVM для выполнения задачи chunjun локально. Шаги: перейдите в каталог chunjun-dist и выполните команду:

     sh bin/chunjun-local.sh  -job chunjun-examples/json/stream/stream.json
     Это выполнит простую задачу stream -> stream. Примечание: если вы собираете проект в Windows, перед запуском задачи на Linux необходимо выполнить команду sed -i "s/\r//g" bin/*.sh для исправления проблемы с '\r' в сценариях sh.