Руководство пользователя Exchangis 1.0

1. Введение в продукт

Данное руководство представляет собой краткое введение в Exchangis 1.0, охватывающее основные аспекты использования продукта. Exchangis — это облегчённая платформа для обмена данными, которая поддерживает синхронизацию данных между различными источниками. Платформа разделяет процесс обмена данными на отдельные компоненты, такие как источники данных, задачи обмена и планирование задач, что позволяет визуализировать и управлять процессом синхронизации данных. В процессе передачи данных можно интегрировать различные компоненты передачи для расширения функциональности по горизонтали.

2. Вход в Exchangis 1.0

В настоящее время Exchangis 1.0 является частью компонента обмена данными DSS (Data Swap). Для входа в систему необходимо выполнить вход в DSS с использованием учётных данных. Перед использованием Exchangis рекомендуется выполнить базовую настройку DSS, Linkis и других связанных компонентов. Подробные инструкции по настройке можно найти в документации по развёртыванию Exchangis и Exchangis-AppConn.

2.1 Вход в DSS

По умолчанию система использует учётные данные пользователя Linux для входа в DSS при использовании Linkis. Например, если Linkis и DSS развёрнуты с использованием пользователя hadoop, можно войти в систему, используя имя пользователя и пароль hadoop/hadoop. Сначала перейдите на страницу веб-приложения DSS, затем введите имя пользователя и пароль: hadoop/hadoop, чтобы войти в DSS.

2.2 Вход в Exchangis

Для доступа к Exchangis необходимо войти в DSS и выполнить следующие шаги:

1. Перейдите на главную страницу DSS.
2. Выберите «DSS Application Components».
3. Нажмите «Data Exchange».
4. Выберите «Enter Exchangis».

3. Управление источниками данных

Этот модуль позволяет настраивать и управлять источниками данных, что является первым шагом в процессе синхронизации данных. На данный момент Exchangis 1.0 поддерживает импорт данных между MySQL и Hive. Основные функции модуля включают:

— Создание, редактирование и удаление источников данных; — Поиск источников данных по типу и имени; — Тестирование соединения с источником данных; — Запись истории версий источников данных.

3.1 Создание источника данных

Чтобы создать источник данных, нажмите «Создать источник данных» и выберите тип источника данных, который вы хотите создать. В настоящее время поддерживаются MySQL и Hive.

При создании источника данных MySQL необходимо заполнить параметры конфигурации, включая обязательные поля, такие как хост, порт, имя пользователя и пароль для подключения к базе данных MySQL. Параметры подключения представлены в формате JSON для настройки параметров MySQL. После заполнения всех полей можно протестировать соединение.

Настройка источника данных Hive немного отличается от MySQL. Для кластерной среды параметры кластера настраиваются централизованно, а пользователям нужно только выбрать нужный кластер.

3.2 Функции источника данных

Модуль управления источниками данных предоставляет функцию публикации версий источников данных, которые могут быть использованы при настройке задач синхронизации. Только опубликованные версии источников данных могут использоваться в задачах синхронизации. При повторном редактировании источника данных создаётся новая версия. Последняя версия отображается в первой строке списка. Можно просматривать все исторические версии источников данных в списке версий.

Функция устаревания источника данных предупреждает о том, что источник данных постепенно заменяется, и рекомендует своевременно заменить его в задачах, использующих этот источник данных. Это помогает избежать проблем, связанных с удалением устаревших источников данных и нарушением работы настроенных задач.

4. Управление проектами

4.1 Список проектов

Этот модуль позволяет создавать проекты. Пользователи могут управлять своими собственными проектами, но не могут изменять или удалять проекты, созданные другими пользователями. На главной странице управления проектами можно выполнять операции создания, изменения, удаления и поиска проектов. Операции изменения и удаления доступны только для проектов, созданных пользователем.

4.2 Список задач

После перехода в проект можно увидеть список задач проекта.

4.2.1 Управление задачами

Список задач позволяет управлять созданными задачами синхронизации данных, аналогично управлению проектами. Задачи можно создавать, изменять, удалять и искать.

Нажмите «Создать задачу», чтобы выбрать тип задачи и механизм выполнения. В настоящее время поддерживается только офлайн-задачи и SQOOP в качестве механизма выполнения. В будущем планируется поддержка потоковых задач и DataX.

4.2.2 Управление подзадачей

Можно добавить несколько подзадач в задачу. Поддерживается изменение, копирование и удаление подзадач. Также можно копировать задачи, включая их исходную конфигурацию.

4.2.3 Конфигурация и выполнение задач синхронизации данных

Перед выполнением этой процедуры необходимо предварительно добавить источник данных в модуле управления источниками данных и опубликовать его. В текущей версии Exchangis поддерживается только MySQL и Hive.

Конфигурация и выполнение основных задач синхронизации данных включают добавление подзадач, выбор источника и приёмника данных, сопоставление полей, управление процессами, настройку задач и сохранение изменений. Затем выполняется задача.

Основные функции выполнения задач включают:

— Добавление, копирование и удаление подзадач; — Реализация импорта и экспорта данных между двумя разными типами источников данных; — Выбор библиотеки и таблицы для источника и приёмника данных; — Сопоставление полей между источниками и приёмниками данных; — Настройка максимального параллелизма задач и максимальной памяти для задач; — Просмотр состояния выполнения задач; — Просмотр журналов каждой основной задачи и подзадач; — Просмотр истории выполнения задач; — Завершение выполнения задач. Процесс управления данными Exchangis 1.0: настройка, выполнение и история синхронизации данных

Когда конфигурация данных источника информации завершена, Exchangis версии 1.0 автоматически выполняет сопоставление полей между источником данных (Source) и приёмником данных (Sink). Можно выбрать поля для сопоставления или проверить соответствие полей. Если Hive является приёмником данных, то его сопоставляемые поля нельзя изменить.

Настройка источника данных: сопоставление полей

• Когда конфигурация данных источника таблицы информации завершена, система Exchangis версии 1.0 будет автоматически выполнять сопоставление полей источника данных (Source) с приёмником данных (Sink), а также можно выбрать поля для сопоставления и проверить их соответствие.
• Если Hive используется в качестве приёмника данных, сопоставляемые поля не могут быть изменены.

Контроль процесса

Система предоставляет возможность настройки максимального числа параллельных задач и максимального объёма памяти для выполнения задачи. Эти параметры можно настроить в соответствии с требованиями.

Максимальное число параллельных задач по умолчанию равно 1, а максимальный объём памяти — 1024 Мб.

После завершения настройки задачи нажмите кнопку «Выполнить», чтобы начать синхронизацию данных. На панели инструментов появится окно с информацией о выполнении задачи, которое содержит три основных раздела:

1. Информация о ходе выполнения: позволяет просматривать общий прогресс задачи синхронизации данных, включая количество успешных и неудачных задач, а также информацию о каждой задаче.

2. Журнал событий в реальном времени: отображает два типа информации: журнал всей задачи синхронизации и журнал каждой задачи. В журнале событий можно фильтровать данные по ключевым словам и игнорировать определённые слова, а также получать последние n строк журнала. Кроме того, можно выбирать различные типы журналов (например, Error, Warning и Info) для отображения.

3. История выполнения: показывает историю выполнения задач синхронизации данных. Это даёт общее представление о процессе выполнения. Для более детального просмотра истории выполнения можно перейти к экрану истории синхронизации, нажав на название задачи.

Для выполнения задачи синхронизации данных необходимо указать пользователя, который будет её выполнять. По умолчанию это текущий пользователь. Однако в зависимости от конфигурации источника данных может потребоваться изменение этого параметра.

История синхронизации

Этот модуль позволяет просматривать историю всех выполненных задач синхронизации данных. Каждый пользователь может просматривать только свои созданные задачи. Между пользователями нет обмена данными.

Основные функции модуля включают:

• Поиск необходимой исторической информации о задачах на основе заданных условий.
• Возможность остановки незавершённых задач.
• Просмотр хода выполнения и журнала событий каждой задачи.
• Изучение подробной конфигурации и информации об обновлении каждой задачи синхронизации.

В настоящее время Exchangis версии 1.0 поддерживает интеграцию с DSS через Appconn. В системе DSS можно создавать рабочие процессы Sqoop через режим разработки приложений и список проектов. Здесь можно настраивать и выполнять задачи синхронизации данных. Созданные проекты и задачи синхронизации в DSS будут синхронизированы в Exchangis.

Exchangis Appconn поддерживает следующие функции:

1. Управление проектами: создание, удаление и изменение проектов в системе DSS, которые будут синхронизироваться с соответствующими проектами в Exchangis.

2. Основные операции с рабочими процессами: создание, удаление, изменение и публикация рабочих процессов Sqoop в системе DSS. Эти операции будут синхронизироваться в задачах в Exchangis.

3. Операции с рабочими потоками: настройка и выполнение задач синхронизации данных через рабочие процессы Sqoop.

4. Операции публикации рабочих потоков: публикация рабочих процессов Sqoop для планирования задач в WTSS.

Управление проектами

Эта функция позволяет создавать, удалять и изменять проекты в системе DSS. После выполнения этих операций в системе DSS соответствующие изменения будут синхронизированы с Exchangis. Например, при создании проекта в системе DSS выполните следующие шаги:

• Нажмите кнопку «Создать проект».
• Заполните информацию о проекте.
• Подтвердите создание проекта.
• Перейдите в систему Exchangis и нажмите «Управление проектами».

Созданный проект будет отображаться в Exchangis после синхронизации.

Основные операции с рабочими процессами

С помощью этой функции можно создавать, удалять, изменять и связывать узлы рабочего процесса Sqoop в системе DSS. Изменения, внесённые в систему DSS, будут синхронизированы с системой Exchangis. Рассмотрим пример создания узла Sqoop:

• Создайте рабочий процесс в системе DSS.
• Перетащите узел Sqoop из панели плагинов на рабочую область справа.
• Подтвердите создание узла Sqoop.
• Переключитесь на систему Exchangis, где будет синхронизирован созданный узел.

Задача синхронизации данных также будет синхронизирована с Exchangis.

Операции с рабочими потоками

Используя эту функцию, можно выполнять настройку и выполнение задач синхронизации данных через узлы рабочих процессов Sqoop. Настройка и выполнение задач являются основными функциями Exchangis Appconn. Каждый узел Sqoop представляет собой задачу синхронизации данных. Процесс настройки и выполнения задачи включает следующие шаги:

• Дважды щёлкните узел Sqoop, чтобы открыть окно настройки задачи.
• Настройте информацию о задаче.
• Выполните задачу.

Можно выполнить задачу, нажав кнопку «Выполнить» в окне настройки или выбрав соответствующий узел в рабочем процессе и нажав кнопку выполнения. При выборе кнопки «Выполнить» все узлы в рабочем процессе будут выполнены, а при выборе отдельных узлов будет выполнена только выбранная задача.

Публикация рабочих потоков

Функция публикации рабочих процессов позволяет публиковать задачи Sqoop в WTSS для планирования. В системе DSS можно создать и настроить задачи синхронизации данных в режиме разработки приложений. Затем эти задачи можно опубликовать в WTSS для планирования и выполнения.