Слияние кода завершено, страница обновится автоматически
Руководство пользователя Exchangis 1.0
Это краткое вводное руководство по Exchangis 1.0, описывающее основные процессы использования Exchangis 1.0. Exchangis — это облегчённая платформа сервисов обмена данными, которая поддерживает синхронизацию данных между различными типами источников данных. Процесс обмена данными на платформе разделён, а понятия источника данных, задачи обмена данными и планирования задач абстрагированы, что позволяет визуально управлять процессом синхронизации данных. В реальном процессе передачи данных можно интегрировать характеристики нескольких компонентов передачи для горизонтального расширения функций.
В настоящее время Exchangis1.0 является частью компонента обмена данными DSS. Для доступа к нему необходимо войти в DSS через список компонентов. Поэтому перед использованием Exchangis 1.0 выполните базовое развёртывание DSS, Exchange IS 1.0, Linkis и других связанных компонентов, чтобы убедиться, что функции компонентов доступны. Подробности см. в exchangis_deploy_en и exchangis-appconn_deploy_en.
По умолчанию система использует пользователей Linux-развёртывания Linkis для входа в DSS. Если пользователи hadoop развернули Linkis и DSS, они могут войти напрямую через учётную запись и пароль: hadoop/hadoop. Сначала войдите на веб-страницу в соответствии с адресом внешнего развёртывания DSS, затем введите учётную запись и пароль: hadoop/hadoop, чтобы войти в DSS.
Доступ к Exchangis осуществляется через DSS. Нажмите «Home → DSS Application Components → Data Exchange → Enter Exchange».
Этот модуль может настраивать и управлять источниками данных. На начальном этапе синхронизации данных Exchangis1.0 в настоящее время поддерживает прямой импорт данных между MySQL и Hive. Основные функции источника данных включают:
Нажмите «Создать источник данных» и выберите источник данных, который вы хотите создать. В настоящее время можно создавать источники данных MySQL и Hive.
Выберите источник данных MySQL и заполните параметры конфигурации, среди которых звёздочка обязательна. Убедитесь, что хост, номер порта, имя пользователя и пароль, подключённые к базе данных MySQL, подключены правильно. Параметр соединения представлен в формате Json, который используется для установки информации о конфигурации MySQL. После заполнения вы можете проверить соединение.
Конфигурация источника данных Hive отличается от MySQL. Пока он не предоставляет пользователям функцию настройки параметров кластера в интерфейсе. Для кластерной среды она завершается унифицированной конфигурацией серверной части. Пользователям нужно только выбрать требуемую среду кластера и нажать OK, чтобы сохранить её.
Пока источник данных редактируется снова, он будет рассматриваться как новая версия, а последняя версия находится в первой строке. Вы можете просмотреть конфигурацию всех исторических версий источника данных в списке версий и обратиться к нему всякий раз, когда вам нужно выполнить откат.
Функция истечения срока действия источника данных используется для указания на то, что этот источник данных постепенно заменяется. Пожалуйста, своевременно измените конфигурацию задачи с использованием этого источника данных, чтобы избежать сбоя настроенной задачи выполнения, вызванного прямым удалением источника данных.
Этот модуль может создавать проекты. В реальных производных задачах под проектом может быть несколько производных задач, и разные проекты не влияют друг на друга. Обычные пользователи могут работать только со своими собственными созданными проектами. На домашней странице управления проектами можно управлять проектами, включая создание, изменение, удаление и запрос и поиск. Модификация и удаление могут выполняться только в проектах, созданных в Exchangis.
Перейдите в проект, и вы увидите список задач под ним.
Вы можете управлять созданными задачами синхронизации данных о заданиях в списке задач, аналогично проектам, включая создание, модификацию, удаление и поиск.
В настоящее время поддерживаются только автономные задачи и механизм выполнения SQOOP, а потоковые задачи и механизмы DataX будут поддерживаться в будущем.
Нажмите «Создать задачу», чтобы выбрать тип задачи и механизм исполнения.
Нажмите «Добавить подзадачу» в задаче, чтобы добавить несколько подзадач. Можно изменять, копировать и удалять подзадачи.
Задачи поддерживают копирование, а скопированные подзадачи содержат всю информацию о конфигурации своей атомарной задачи.
Перед этим шагом необходимо добавить источники данных в модуль управления источниками данных для выбора и публикации. Текущая версия Exchangis поддерживает только источники данных MySQL и Hive.
Конфигурация и выполнение задачи синхронизации данных — это основная функция Exchangis 1.0.0. Основной процесс настройки синхронизации данных: добавить подзадачу → выбрать исходный источник данных и целевой источник данных → конфигурация сопоставления полей → управление процессом → настройка задачи → сохранить → выполнить. Основные функции выполнения задачи включают:
Для вновь созданной подзадачи синхронизации данных следует выбрать библиотеку таблицы источника данных, и выбранный источник данных является опубликованным источником данных в управлении источниками данных. Информация о конфигурации и времени обновления каждой задачи синхронизации.
В настоящее время Exchangis 1.0 поддерживает стыковку с DSS в виде Appconn. На стороне DSS можно создать узел рабочего процесса sqoop в режиме компоновки рабочего процесса через разработку приложения-> список проектов DSS, где можно настроить и выполнить задачи синхронизации данных. Проекты Exchangis и задачи обмена данными, созданные в DSS, будут созданы одновременно в Exchangis.
Exchangis Appconn в основном поддерживает следующие функции:
Управление проектами — создание, удаление и изменение проектов DSS, что синхронно влияет на проекты в Exchangis;
Основные операции с узлами рабочего процесса — задача создания, удаления и изменения узлов рабочего процесса sqoop в хореографе DSS, которые будут синхронизированы с Exchangis;
Производные операции рабочего процесса поддерживают конфигурацию узла рабочего процесса sqoop для выполнения задач синхронизации данных;
Операции публикации рабочего процесса поддерживают публикацию узлов рабочего процесса sqoop в WTSS для планирования задач.
Этот модуль может создавать, изменять и удалять проекты DSS, а операции на стороне DSS будут синхронизироваться со стороной Exchange is. Здесь в качестве примера возьмём проект, созданный в DSS, и процесс работы в Exchange is выглядит следующим образом: нажмите «Создать проект»-> заполните информацию о проекте-> нажмите «Подтвердить»-> введите Exchange is-> нажмите «Управление проектом», и вы сможете просмотреть синхронно созданные проекты, как показано на следующем рисунке:
После создания вы увидите синхронизированный проект на стороне Exchange is.
Узлы рабочего процесса могут быть созданы, изменены, удалены и выбраны в зависимости друг от друга, а также могут быть связаны друг с другом. Операции на стороне DSS синхронизируются со стороной Exchangis. В качестве примера рассмотрим создание узла рабочего процесса sqoop, процесс работы проекта в exchangis appconn выглядит следующим образом: создать рабочий процесс-> перетащить узел sqoop из левой панели плагинов на правый холст-> нажать «ОК», чтобы создать задачу узла sqoop-> войти в Exchangis, чтобы просмотреть синхронно созданную задачу, как показано на следующем рисунке, то же самое относится к удалению и изменению задач узла sqoop.
Вы можете видеть, что производная задача также синхронизируется с Exchangis.
Дважды щёлкните узел Sqoop, чтобы управлять узлом рабочего процесса. Поддерживаются конфигурация узла рабочего процесса sqoop и задачи синхронизации данных. Задача производной в форме узлов рабочего процесса является основной функцией Exchangis Appconn. Каждый узел sqoop представляет собой задачу синхронизации данных. Конкретный процесс работы выглядит следующим образом: дважды щёлкнуть узел sqoop-> всплывает интерфейс конфигурации задачи-> настроить информацию о задаче-> выполнить задачу, как показано на следующих рисунках:
Конкретные значения ключей в тексте запроса не удалось перевести, так как они представляют собой названия функций и команд, специфичных для определённой системы или программного обеспечения. Существует два способа выполнения: один — выполнить через кнопку «Выполнить» во всплывающем интерфейсе конфигурации задачи; другой — нажать кнопку «Выполнить» хореографа DSS или выбрать кнопку «Выполнить» для выполнения.
Нажмите «Выполнить», чтобы выполнить все узлы в этом рабочем процессе, и нажмите «Выбрать Выполнить», чтобы выполнить только выбранные узлы рабочего процесса, но не все.
Примечание: для задач синхронизации данных, выполняемых в узле sqoop DSS, соответствующую информацию можно посмотреть на Exchangis.
Функция «Опубликовать» для задач рабочего процесса поддерживает публикацию узлов рабочего процесса sqoop в WTSS для планирования задач. Информацию о задачах обмена данными, созданную и настроенную в * * Development Center *, можно опубликовать в WTSS, а задачу можно запланировать в WTSS.
Щелкните раскрывающийся список в пространстве имён и переключитесь на «Производственный центр», где вы можете увидеть журналы рабочих процессов всех проектов и проверить статус планирования каждого рабочего процесса.
Вы можете оставить комментарий после Вход в систему
Неприемлемый контент может быть отображен здесь и не будет показан на странице. Вы можете проверить и изменить его с помощью соответствующей функции редактирования.
Если вы подтверждаете, что содержание не содержит непристойной лексики/перенаправления на рекламу/насилия/вульгарной порнографии/нарушений/пиратства/ложного/незначительного или незаконного контента, связанного с национальными законами и предписаниями, вы можете нажать «Отправить» для подачи апелляции, и мы обработаем ее как можно скорее.
Опубликовать ( 0 )