Apache Linkis

Linkis создаёт слой вычислительной среды для обеспечения соединения, управления и координации между верхними приложениями и нижележащими данными.

https://linkis.apache.org/

Введение

Linkis создаёт слой вычислительной среды между верхними приложениями и нижележащими движками. Используя стандартные интерфейсы, такие как REST/WS/JDBC, предоставляемые Linkis, верхние приложения могут легко получать доступ к нижележащим движкам, таким как MySQL/Spark/Hive/Presto/Flink и т.д., а также обеспечивать взаимодействие пользовательских ресурсов, таких как унифицированные переменные, скрипты, UDFs, функции и файлы ресурсов одновременно.

Как вычислительная среда, Linkis предлагает мощные возможности связи, повторного использования, оркестрации, расширения и управления. Разделение уровня приложений и уровней движков упрощает сложные сетевые вызовы, тем самым снижая общую сложность и экономя затраты на разработку и обслуживание.

С момента первого выпуска Linkis в 2019 году он накопил более чем 700 пробных компаний и более чем 1000 пробных пользователей песочницы, что охватывает различные отрасли, от финансов, банковского дела, телекоммуникаций до промышленности, интернет-компаний и так далее. Многие компании уже используют Linkis как единственный вход для нижних вычислительных и хранилищных движков платформы больших данных.

Возможности

• Поддержка различных вычислительных и хранилищных движков: Spark, Hive, Python, Shell, Flink, JDBC, Pipeline, Sqoop, OpenLooKeng, Presto, Elasticsearch, Trino, SeaTunnel и т.д.;

• Поддержка различных языков программирования: SparkSQL, HiveSQL, Python, Shell, PySpark, Scala, JSON и Java;

• Мощные возможности управления вычислениями: Он может предоставлять маршрутизацию задач, балансировку нагрузки, многопользовательскую систему, управление трафиком, контроль за ресурсами и другие возможности на основе многоуровневых меток;

• Поддержка полносайтового вычисления и хранения: Способность принимать, выполнять и управлять задачами и запросами для различных вычислительных и хранилищных движков, включая офлайн-задачи пакетной обработки, интерактивные запросы, реальные потоковые задачи и задачи озер данных;

• Унифицированный сервис контекста: поддерживает связывание и управление пользователями и системными ресурсами (JAR, ZIP, Properties и т.д.), наборами результатов, параметрами переменных, функциями, UDFs и т.д. Одно настроение, автоматическое использование везде;

• Унифицированные материалы: обеспечивают управление материалами уровня системы и пользователя, возможность совместной работы и передачи материалов между пользователями и системами.- Управление единым источником данных: предоставляет возможность добавления, удаления, проверки и изменения информации в Hive, Elasticsearch, MySQL, Kafka, MongoDB и других источниках данных, контроль версий, тестирование соединений и получение метаданных соответствующих источников данных.

• Способность обработки ошибок: предоставляет коды ошибок и решения для распространённых ошибок задач, что удобно для пользователей при самостоятельном выявлении проблем.| Название движка | Поддерживаемая версия компонента (по умолчанию зависимость версия) | Требования Linkis Version | Включено в пакет выпуска по умолчанию | Описание | |:------------------- |:-------------------------------------------------------------------------- |:---------------------------------- |:------------------------------------------- |:------------- | | Spark | Apache 2.0.0~2.4.7, CDH >= 5.4.0, (по умолчанию Apache Spark 2.4.3) | >=1.0.3 | Да | Движок Spark EngineConn, поддерживает SQL, Scala, PySpark и R код | | Hive | Apache >= 1.0.0, CDH >= 5.4.0, (по умолчанию Apache Hive 2.3.3) | >=1.0.3 | Да | Движок Hive EngineConn, поддерживает HiveQL код | | Python | Python >= 2.6, (по умолчанию Python 2.*) | >=1.0.3 | Да | Движок Python EngineConn, поддерживает Python код | | Shell | Bash >= 2.0 | >=1.0.3 | Да | Движок Shell EngineConn, поддерживает Bash shell код | | JDBC | MySQL >= 5.0, Hive >= 1.2.1, (по умолчанию Hive-jdbc 2.3.4) | >=1.0.3 | Нет | Движок JDBC EngineConn, уже поддерживает MySQL и HiveQL, быстро расширяется с помощью пакета JDBC Driver для других движков, таких как Oracle | | Flink | Flink >= 1.12.2, (по умолчанию Apache Flink 1.12.2) | >=1.0.2 | Нет | Движок Flink EngineConn, поддерживает FlinkSQL код, также поддерживает запуск нового YARN в виде приложения Flink JAR | | Pipeline | - | >=1.0.2 | - | - |2 | Нет | Движок Pipeline EngineConn, поддерживает импорт и экспорт файлов | | openLooKeng | openLooKeng >= 1. 5. 0, (по умолчанию openLooKeng 1. 5. 0) | >=1. 1. 1 | Нет | Движок openLooKeng EngineConn, поддерживает запросы к двигателю виртуализации данных с использованием SQL openLooKeng | | Sqoop | Sqoop >= 1. 4. 6, (по умолчанию Apache Sqoop 1. 4. 6) | >=1. 1. 2 | Нет | Движок Sqoop EngineConn, поддерживает инструмент Sqoop для миграции данных | | Presto | Presto >= 0. 180 | >=1. 2. 0 | Нет | Движок Presto EngineConn, поддерживает Presto SQL код | | Elasticsearch | Elasticsearch >= 6. 0 | >=1. 2. 0 | Нет | Движок Elasticsearch EngineConn, поддерживает SQL и DSL код | | Trino | Trino >= 371 | >=1. 3. 1 | Нет | Движок Trino EngineConn, поддерживает Trino SQL код | | Seatunnel | Seatunnel >= 2. 1. 2 | >=1. 3. 1 | Нет | Движок Seatunnel EngineConn, поддерживает Seatunnel SQL код |

УстановкаДля скачивания скомпилированной версии или пакета исходного кода Linkis перейдите на страницу Linkis Releases.

Компиляция и развертывание

Для более подробных руководств см.:

• [Компиляция Backend]
• [Компиляция Management Console]

Примечание: Если вы хотите использовать `-Dlinkis.build.web=true` для создания образа `linkis-web`, сначала вам потребуется скомпилировать `linkis-web`.

## Компиляция backend
### MacOS/Linux

# 1. При первой компиляции выполните следующую команду
./mvnw -N install

# 2. Создайте пакет распространения linkis
# - Вариант 1: создайте только пакет распространения linkis
./mvnw clean install -Dmaven.javadoc.skip=true -Dmaven.test.skip=true

# - Вариант 2: создайте пакет распространения linkis и образ Docker
#   - Вариант 2.1: образ без библиотек mysql jdbc
./mvnw clean install -Pdocker -Dmaven.javadoc.skip=true -Dmaven.test.skip=true
#   - Вариант 2.2: образ с библиотеками mysql jdbc
./mvnw clean install -Pdocker -Dmaven.javadoc.skip=true -Dmaven.test.skip=true -Dlinkis.build.with.jdbc=true

# - Вариант 3: пакет распространения linkis и образ Docker (включает веб)
./mvnw clean install -Pdocker -Dmaven.javadoc.skip=true -Dmaven.test.skip=true -Dlinkis.build.web=true

# - Вариант 4: пакет распространения linkis и образ Docker (включает веб и ldh (полностью подготовленный Hadoop для тестирования))
./mvnw clean install -Pdocker -Dmaven.javadoc.skip=true -Dmaven.test.skip=true -Dlinkis.build.web=true -Dlinkis.build.ldh=true -Dlinkis.build.with.jdbc=true
```### Windows
mvnw.cmd -N install  
mvnw.cmd clean install -Dmaven.javadoc.skip=true -Dmaven.test.skip=true  

## Компиляция веб-приложения
cd linkis/linkis-web  
npm install  
npm run build  

### Связанный с MySQL JDBC Driver
Из-за ограничений лицензий MySQL, драйвер MySQL Java Database Connectivity (JDBC) не входит в официальный выпуск образа linkis по умолчанию. Однако на текущем этапе linkis всё ещё зависит от этой библиотеки для корректной работы. Чтобы решить эту проблему, мы предоставляем скрипт, который поможет создать кастомный образ с mysql jdbc из официального образа linkis самостоятельно. Образ, созданный этим инструментом, будет помечен как `linkis:with-jdbc` по умолчанию.```shell
$> LINKIS_IMAGE=linkis:1.3.1  
$> ./linkis-dist/docker/scripts/make-linkis-image-with-mysql-jdbc.sh

Для быстрой установки обратитесь к разделу Быстрая установка.

Примеры и руководства

• Руководство пользователя
• Документация по использованию движков
• Документация API

Документация и видео

• Документация Linkis находится в Git-репозитории Linkis-Website
• Видео встреч на Bilibili# Архитектура Услуги Linkis можно разделить на три категории: услуги управления вычислением, публичные улучшения и микросервисное управление.
• Услуги управления вычислением поддерживают три основных этапа обработки задачи/запроса: отправка -> подготовка -> выполнение
• Публичные улучшения включают библиотеку материалов, службу контекста и службу источника данных
• Микросервисное управление включает Spring Cloud Gateway, Eureka и OpenFeignНиже представлена схема архитектуры Linkis. Подробнее о ней можно найти в разделе Linkis-Doc/Архитектура.

Вклад

Вклад всегда приветствуется. Нам нужны больше участников для совместной работы над Linkis — будь то код, документация или любая другая помощь, которая может помочь сообществу. Для вклада в код и документацию следует руководствоваться руководством по вкладу.

Контакты

• Любые вопросы или предложения просим направлять через issues.
• По электронной почте dev@linkis.apache.org
• Вы можете использовать QR-код ниже для вступления в нашу группу WeChat для получения более оперативных ответов

Кто использует Linkis?

Мы открыли вопрос Who is Using Linkis для обратной связи пользователей и записи информации о том, кто использует Linkis. С момента первого выпуска Linkis в 2019 году он накопил более чем 700 компаний, пробовавших его, и более чем 1000 пользователей тестового режима, что涵盖了来自金融、银行、电信、制造和互联网公司的众多行业用户。