Слияние кода завершено, страница обновится автоматически
Введение
DataSphere Studio (DSS) — это универсальный портал управления разработкой приложений для работы с данными, разработанный WeBank. Благодаря модульной интегрированной структуре и Linkis, промежуточному программному обеспечению для вычислений, DSS может легко интегрировать различные системы приложений верхнего уровня для обработки данных, упрощая разработку данных.
DSS позиционируется как портал разработки приложений для работы с данными. Замкнутый цикл охватывает весь процесс разработки приложений для данных. С помощью унифицированного пользовательского интерфейса и графического интерфейса, похожего на рабочий процесс, разработка методом перетаскивания соответствует всему жизненному циклу разработки приложений для обработки данных: от импорта данных, очистки, анализа, интеллектуального анализа данных, проверки качества, визуализации, планирования до приложений вывода данных и т. д.
Благодаря возможностям подключения, повторного использования и упрощения Linkis, DSS обладает финансовыми возможностями, такими как высокая степень параллелизма, высокая доступность, изоляция нескольких арендаторов и управление ресурсами.
Предварительный просмотр пользовательского интерфейса
Пожалуйста, проявите терпение, загрузка gif займёт некоторое время.
Рисунок 1. GIF-файл DSS-V1.0
Основные функции
DSS имеет высокую степень интеграции. В настоящее время интегрированные компоненты включают (для получения информации о совместимости версий компонентов DSS см. «Список совместимости интегрированных компонентов»):
— IDE для разработки данных — Scriptis;
— Инструмент для визуализации данных — Visualis (на основе открытого исходного проекта Davinci, предоставленного CreditEase);
— Средство управления качеством данных — Qualitis;
— Инструмент планирования рабочего процесса — Schedulis;
— Инструмент обмена данными — Exchangis;
— Сервис Data Api — DataApiService;
— Управление разработкой потоковых приложений — Streamis;
— Универсальная платформа машинного обучения — Prophecis;
— Инструмент планирования задач рабочего процесса — DolphinScheduler (в процессе слияния кода);
— Документация и руководство для начинающих — UserGuide (в процессе слияния кода);
— Центр моделей данных — DataModelCenter (в разработке).
С помощью модульной архитектуры DSS позволяет пользователям быстро интегрировать новые инструменты для работы с приложениями или заменять различные инструменты, которые уже интегрированы в DSS. Например, заменить Scriptis на Zeppelin, а Schedulis на DolphinScheduler...
Рисунок 2. Видео DSS one-stop
AppConn — это основная концепция, которая позволяет DSS легко и быстро интегрировать различные веб-системы верхнего уровня.
AppConn, соединитель приложений, определяет набор... Унифицированные протоколы интеграции трёх уровней для фронтэнда и бэкэнда, позволяющие внешним системам приложений данных легко и быстро стать частью разработки приложений данных DSS.
Спецификации AppConn трёх уровней: спецификация SSO первого уровня, спецификация организационной структуры второго уровня и спецификация процесса разработки третьего уровня.
DSS организует несколько AppConns последовательно, формируя рабочий процесс, который поддерживает выполнение в реальном времени и запланированное выполнение. Пользователи могут завершить весь процесс разработки приложений данных с помощью простых операций перетаскивания.
Поскольку AppConn интегрирован с Linkis, внешняя система приложения данных разделяет возможности управления ресурсами, ограничения параллелизма и высокую производительность. AppConn также позволяет совместно использовать контекст на уровне системы и, таким образом, полностью избавляет внешнее приложение данных от изолированных приложений.
3. Workspace как единица управления
С Workspace в качестве единицы управления он организует и управляет бизнес-приложениями различных систем приложений данных, определяет набор общих стандартов для совместной разработки рабочих пространств в системах приложений данных и предоставляет возможности управления ролями пользователей.
4. Интегрированные компоненты приложений данных
DSS интегрировала множество систем приложений верхнего уровня путём внедрения нескольких AppConns, которые в основном могут удовлетворить потребности пользователей в разработке данных.
При желании новые системы приложений данных также можно легко интегрировать, чтобы заменить или обогатить процесс разработки данных DSS.
| Компонент | Описание | Совместимая версия DSS0.X (рекомендуется DSS0.9.1) | Совместимая версия DSS1.0 (рекомендуется DSS1.1.0) |
|---|---|---|---|
| Linkis | Промежуточное программное обеспечение для вычислений Apache Linkis. Предоставляя стандартные интерфейсы, такие как REST/WebSocket/JDBC/SDK, приложения верхнего уровня могут легко подключаться и получать доступ к базовым механизмам, таким как MySQL/Spark/Hive/Presto/Flink. | Рекомендуется Linkis0.11.0 (выпущено) | >= Linkis1.1.1 (выпущено) |
| DataApiService | Служба данных API (DSS имеет встроенные инструменты сторонних приложений). SQL-скрипт можно быстро опубликовать в виде интерфейса Restful, предоставляя внешнему миру доступ через Rest. | Не поддерживается | Рекомендуется DSS1.1.0 (выпущено) |
| Scriptis | Поддержка онлайн-написания сценариев SQL, Pyspark, HiveQL и других (DSS имеет встроенные сторонние инструменты). Отправляется в веб-инструмент анализа данных Linkis. | Рекомендуется DSS0.9.1 (выпущено) | Рекомендуется DSS1.1.0 (выпущено) |
| Schedulis | Система планирования задач рабочего процесса, основанная на вторичной разработке Azkaban, с такими функциями финансового уровня, как высокая производительность, высокая доступность и изоляция ресурсов для нескольких арендаторов. | Рекомендуется Schedulis0.6.1 (выпущено) | >= Schedulis0.7.0 (выпущено) |
| EventCheck | Обеспечивает возможность связи по сигналам между бизнесом, инженерией и рабочим процессом (встроенный инструмент сторонних приложений DSS). | Рекомендуется DSS0.9.1 (выпущено) | Рекомендуется DSS1.1.0 (выпущено) |
| SendEmail | Возможность отправки данных (DSS имеет встроенный инструмент сторонних приложений). Все результирующие наборы других узлов рабочего процесса можно отправить по электронной почте. | Рекомендуется DSS0.9.1 (выпущено). | Рекомендуемый DSS1.1.0 (выпущен) |
| --- | |||
| Qualitis | Инструмент проверки качества данных, предоставляющий такие возможности проверки данных, как целостность и корректность данных | Рекомендуется Qualitis0.8.0 (выпущено) | >= Qualitis0.9.2 (выпущено) |
| Streamis | Инструмент управления разработкой потоковых приложений. Поддерживает выпуск Flink Jar и Flink SQL, а также предоставляет возможности разработки, отладки и управления производством потоковых приложений, такие как запуск-остановка, мониторинг состояния, контрольная точка и т. д. | Не поддерживается | >= Streamis0.2.0 (выпущено) |
| Prophecis | Универсальная платформа машинного обучения, объединяющая несколько фреймворков машинного обучения с открытым исходным кодом. MLFlow Prophecis можно подключить к рабочему процессу DSS через AppConn. | Не поддерживается | >= Prophecis 0.3.2 (выпущено) |
| Exchangis | Платформа обмена данными, которая поддерживает передачу данных между структурированными и неструктурированными разнородными источниками данных. Предстоящий Exchangis1. 0 будет работать с рабочим процессом DSS | не поддерживается | = Exchangis1.0.0 (выпущено) |
| Visualis | BI-инструмент визуализации данных на основе вторичной разработки Davinci, проекта с открытым исходным кодом CreditEase, предоставляет пользователям возможности визуализации финансовых данных с точки зрения безопасности данных. | Рекомендуется Visualis0.5.0 | = Visualis1.0.0 (выпущено) |
| DolphinScheduler | Apache DolphinScheduler, распределённая и легко масштабируемая платформа визуального планирования задач рабочего процесса, поддерживает публикацию рабочих процессов DSS в DolphinScheduler одним щелчком мыши. | Не поддерживается | DolphinScheduler1.3.X (выпущено) |
| UserGuide | (DSS будет встроен в сторонние инструменты приложения) содержит справочные документы, руководство для начинающих, скиннинг тёмного режима и т.д. | Не поддерживается | >= DSS1.1.0 (выпущено) |
| DataModelCenter | (сторонний инструмент приложения, который будет создавать DSS) в основном предоставляет возможности планирования хранилища данных, разработки модели данных и управления активами данных. Планирование хранилища данных включает предметные области, иерархии хранилищ данных, модификаторы и т. д.; разработка модели данных включает индикаторы, измерения, метрики, построение таблиц на основе мастера и т. д.; активы данных подключены к Apache Atlas для обеспечения возможностей отслеживания данных . | Не поддерживается | Планируется в DSS1.2.0 (в разработке) |
| UserManager | (В DSS есть встроенные сторонние инструменты приложения), автоматически инициализирует все пользовательские среды, необходимые новому пользователю DSS, включая: создание пользователей Linux, различные пути пользователей, авторизацию каталогов и т. д. | Рекомендуется DSS0.9.1 (выпущено) | Планируется |
| Airflow | Поддерживает публикацию рабочих процессов DSS в Apache Airflow для запланированного планирования. | PR ещё не объединён | Не поддерживается |
Функция поддержки выполнения сценариев DataSphere Studio имеет высокие риски безопасности, и изоляция демонстрационной среды WeDataSphere не была завершена. Учитывая, что многие пользователи интересуются демонстрационной средой, мы решили сначала выдать коды приглашений сообществу и принять пробные заявки от предприятий и организаций.
Если вы хотите попробовать демонстрационную среду, пожалуйста, присоединитесь к группе пользователей сообщества DataSphere Studio (см. конец документа) и свяжитесь с WeDataSphere Group Robot, чтобы получить код приглашения.
Страница входа в демонстрационную среду DataSphereStudio: нажмите здесь, чтобы войти
Перейдите на страницу DSS Releases Page, чтобы загрузить скомпилированную версию или пакет исходного кода DSS.
Пожалуйста Пользователи пробной версии «DSS» представляют различные отрасли: финансы, банковское дело, телекоммуникации, производство, интернет-компании и так далее.
DSS находится под лицензией Apache 2.0. Подробнее см. в файле License.
Вы можете оставить комментарий после Вход в систему
Неприемлемый контент может быть отображен здесь и не будет показан на странице. Вы можете проверить и изменить его с помощью соответствующей функции редактирования.
Если вы подтверждаете, что содержание не содержит непристойной лексики/перенаправления на рекламу/насилия/вульгарной порнографии/нарушений/пиратства/ложного/незначительного или незаконного контента, связанного с национальными законами и предписаниями, вы можете нажать «Отправить» для подачи апелляции, и мы обработаем ее как можно скорее.
Комментарии ( 0 )