DataApiService

(DSS уже встроенный сторонний инструмент) — это сервис данных API. Он позволяет быстро публиковать SQL-скрипты в виде Restful интерфейса и предоставляет внешний доступ через Rest.

Scriptis

(DSS уже встроенный сторонний инструмент) поддерживает онлайн-редактирование SQL, Pyspark, HiveQL и других скриптов и отправляет их на выполнение в аналитический веб-инструмент Linkis. Рекомендуется использовать DSS0.9.1 (уже выпущен) или DSS1.1.0 (уже выпущен).

Schedulis

Это система управления рабочими потоками задач, основанная на Azkaban. Она была разработана вторично и обладает высокой производительностью, высокой доступностью и многопользовательской изоляцией ресурсов. Рекомендуется использовать Schedulis0.6.1 (уже выпущена) или >= Schedulis0.7.0 (уже выпущена).

EventCheck

(DSS уже встроенный сторонний инструмент) обеспечивает возможность связи между бизнес-процессами, инженерными проектами и рабочими потоками. Рекомендуется использовать DSS0.9.1 (уже выпущен) или DSS1.1.0 (уже выпущен).

SendEmail

(DSS уже встроенный сторонний инструмент) предоставляет возможность отправки данных. Все результаты рабочих узлов могут быть отправлены по электронной почте. Рекомендуется использовать DSS0.9.1 (уже выпущен) или DSS1.1.0 (уже выпущен).

Qualitis

Инструмент для проверки качества данных, который предоставляет возможности для проверки целостности и правильности данных. Рекомендуется использовать Qualitis0.8.0 (уже выпущен) или >= Qualitis0.9.2 (уже выпущен).

Streamis

Инструмент управления разработкой и управлением потоковыми приложениями. Поддерживает публикацию Flink Jar и Flink SQL и предоставляет возможности разработки, отладки и управления производством потоковых приложений, таких как запуск, мониторинг состояния и контрольные точки. Не поддерживается. Рекомендуется использовать Streamis0.2.0 (уже выпущен).

Prophecis

Платформа машинного обучения «всё в одном», которая объединяет различные открытые платформы машинного обучения. MLFlow Prophecis можно подключить к рабочему потоку DSS через AppConn. Не поддерживается. Рекомендуется использовать Prophecis 0.3.2 (уже выпущен).

Exchangis

Поддерживает обмен данными между структурированными и неструктурированными разнородными источниками данных. Exchangis1.0, который скоро будет выпущен, будет связан с рабочим потоком DSS. Не поддерживается. Планируется выпустить Exchangis1.0.0 (уже выпущен).

Visualis

Основанный на проекте Davinci от Yixin, это инструмент визуализации данных BI с открытым исходным кодом. Предоставляет пользователям финансовые возможности визуализации данных с точки зрения безопасности данных. Рекомендуется использовать Visualis0.5.0 или = Visualis1.0.0 (уже выпущен).

DolphinScheduler

Apache DolphinScheduler — это распределённая расширяемая платформа визуального управления рабочими процессами, которая позволяет легко публиковать рабочие процессы DSS в DolphinScheduler. Не поддерживается. Можно использовать DolphinScheduler1.3.X (уже выпущен).

UserGuide

Включает документацию, руководства для начинающих и тёмные режимы. Не поддерживается. Рекомендуется использовать >= DSS1.1.0 (уже выпущен).

DataModelCenter

Предоставляет возможности планирования хранилища данных, разработки моделей данных и управления активами данных. Планирование хранилища данных включает тематические области, многоуровневое хранилище данных, модификаторы и т. д.; разработка модели данных включает показатели, измерения, меры и навигационные таблицы; управление активами данных связано с Apache Atlas и обеспечивает возможности отслеживания происхождения данных. Не поддерживается. Планируется использовать DSS1.2.0 (в разработке).

UserManager

Автоматически инициализирует всю необходимую среду для новых пользователей DSS, включая создание пользователей Linux, различные пути пользователей и разрешения на каталоги. Рекомендуется использовать DSS0.9.1 (уже выпущен), планируется использовать в будущем.

Airflow

Позволяет публиковать рабочие потоки DSS в Apache Airflow для выполнения по расписанию. PR ещё не объединён. Не поддерживается. Установка плагинов DataSphere Studio (DSS)

Архитектура

Изображения/zh_CN/readme/architecture.png

Сценарии использования

DataSphere Studio подходит для следующих сценариев:

1. Планирование или начальное внедрение платформы больших данных, но без каких-либо инструментов для работы с данными.

2. Наличие базовой платформы для обработки больших данных и лишь нескольких инструментов для работы с ними.

3. Наличие базовой платформы для обработки больших данных и всех инструментов для работы с ними, но инструменты не интегрированы между собой, пользователи испытывают чувство изоляции и сталкиваются с высокими затратами на обучение.

4. Наличие базовой платформы для обработки больших данных и всех инструментов для работы с ними, некоторые инструменты уже интегрированы, но ещё не определены единые стандарты.

Вклад в проект

Мы приветствуем и ожидаем участия большего количества вкладчиков в совместном создании DSS, независимо от того, это код, документация или другие формы вклада, которые могут помочь сообществу.

Свяжитесь с нами

Если у вас есть какие-либо вопросы или предложения относительно DSS, пожалуйста, отправьте issue, чтобы мы могли отслеживать обработку и делиться опытом.

Вы также можете сканировать QR-код ниже, чтобы присоединиться к нашему WeChat-чату для более быстрого ответа.

Изображение/zh_CN/readme/communication.png

Кто использует DSS

Мы создали issue «Who is using DSS», чтобы пользователи могли оставлять отзывы и регистрировать информацию о том, кто использует DSS. Приглашаем вас зарегистрироваться.

С момента открытия исходного кода DSS в 2019 году более 700 экспериментальных предприятий и более 1000 пользователей песочницы приняли участие в проекте, охватывающем такие отрасли, как финансы, телекоммуникации, производство и интернет.

Лицензия

DSS находится под лицензией Apache 2.0. Подробнее см. в файле License.