Слияние кода завершено, страница обновится автоматически
Вот перевод текста на русский язык:
Перейти к репозиторию Github
DataSphere Studio представляет собой портал для разработки приложений данных, охватывающий весь процесс разработки приложений данных. В едином пользовательском интерфейсе предлагается опыт разработки в стиле рабочего процесса с графическим перетаскиванием, который удовлетворяет потребности от импорта данных, анонимизации и очистки, анализа и исследования, проверки качества, визуализации, планирования до вывода данных и других аспектов разработки приложений данных.
Перейти к репозиторию Github
Qualitis — это универсальная платформа управления качеством данных, которая поддерживает различные источники гетерогенных данных и предоставляет услуги по проверке качества, уведомлению и управлению. Она предназначена для решения проблем с качеством данных в операционных системах, центрах обработки данных и процессах управления данными.
Перейти к репозиторию Github
Linkis — это промежуточное ПО для вычислений, которое соединяет несколько вычислительных хранилищ, таких как Spark, Flink, Hive, Python и HBase, и предоставляет унифицированные интерфейсы REST/WS/JDBC для отправки и выполнения SQL, Pyspark, HiveQL и Scala-скриптов.
Перейти к репозиторию GitHub
Scriptis — это интерактивный инструмент анализа данных с веб-интерфейсом, который позволяет писать SQL, Pyspark и HiveQL-скрипты онлайн и отправлять их в Linkis для выполнения. Он также поддерживает UDF, функции, управление ресурсами и интеллектуальную диагностику, а также другие корпоративные функции.
WeDataSphere представляет собой набор интегрированных платформ с открытым исходным кодом для финансовых операций. Базовая платформа состоит из четырёх основных уровней: обмен данными, распространение данных, вычисления и хранение. Основное внимание уделяется способности передавать, вычислять и хранить данные. Функциональная платформа включает три основных уровня: инструменты платформы, инструменты данных и инструменты приложений. Основное внимание здесь уделяется удовлетворению потребностей пользователей в различных функциональных инструментах. Вместе они образуют полную систему технологий для платформ больших данных и предоставляют комплексные компоненты и функциональную поддержку.
Базовые возможности На основе различных компонентов с открытым исходным кодом, таких как Hadoop, Spark, Hbase, KubeFlow и FFDL, WeDataSphere создаёт надёжную базовую платформу для вычислений, хранения и обмена данными, а также мощную способность к машинному обучению. На основе версий с открытым исходным кодом были добавлены дополнительные функции для решения реальных проблем применения, связанных с безопасностью, производительностью, высокой доступностью, управляемостью и другими аспектами, а также для устранения различных ошибок.
Инструменты платформы Предоставляются платформа портала, промежуточное программное обеспечение Linkis и система управления операциями. Платформа портала поддерживает карту продуктов, мультитенантное управление, финансовое выставление счетов, интеграцию со сторонними системами и облачные сервисы. Linkis обеспечивает промежуточное ПО для данных, предоставляя возможности для мультитенантного управления ресурсами, изоляции прав доступа, подключения к приложениям верхнего уровня и системам хранения нижнего уровня, активного заполнения пробелов в сообществе с открытым исходным кодом и отрасли. Система управления операциями охватывает управление кластерами, управление конфигурацией, управление изменениями, мониторинг и автоматизацию запросов на обслуживание, поддерживая установку одним щелчком мыши, обновление одним щелчком и визуализированное управление, а также предоставляя предупреждения, мониторинг здоровья и самовосстановление для упрощения процесса управления платформой.
Инструменты данных Предоставляют инструменты для работы с данными, такие как карта данных, инструменты для анонимизации данных, инструменты контроля качества данных и средства передачи данных через кластеры Hadoop. Карта данных управляет всеми ресурсами данных, включая управление метаданными, управление правами доступа к данным, родословную данных и разработку моделей качества данных. Инструменты анонимизации поддерживают анонимизацию конфиденциальных данных, предотвращая прямой доступ пользователей к исходным данным высокого уровня конфиденциальности. Инструменты контроля качества предоставляют полный набор процессов для определения и мониторинга качества наборов данных и своевременного оповещения о проблемах. Средства передачи данных через кластеры Hadoop поддерживают планирование задач передачи данных, отслеживание состояния, статистику, мониторинг и другие аспекты управления.
Инструменты приложений Предлагают инструменты для исследования и разработки приложений Scriptis, систему управления рабочими процессами с графическим интерфейсом и инструменты бизнес-аналитики (BI). Scriptis поддерживает интеграцию с различными вычислительными хранилищами и предлагает графический интерфейс и поддержку нескольких языков программирования. Система управления рабочими процессами предоставляет графический интерфейс для определения рабочих процессов, планирования и выполнения по расписанию, отображения зависимостей, просмотра состояния, статистического анализа, мониторинга конфигурации и других функций. Инструменты BI позволяют создавать разнообразные графические отчёты с помощью графического интерфейса и простых скриптов, а также поддерживают автоматическую отправку отчётов по электронной почте. Поддержка машинного обучения включает в себя различные методы обучения моделей, встроенные алгоритмы машинного обучения и множество фреймворков машинного обучения с открытым исходным кодом. Также обеспечивается мультитенантная управляемость для кластеров с высокой производительностью.
Комплексное решение Предоставляет широкий спектр функций, включая разработку приложений для работы с данными и их визуализацию, пакетные задания и потоковые вычисления, удовлетворяя потребности в разработке, управлении и анализе данных для различных сценариев.
Финансовый уровень В области высокой доступности, управления данными, безопасности данных и других аспектах были внесены многочисленные улучшения для создания надёжной платформы больших данных финансового уровня, поддерживающей критически важные бизнес-приложения.
Полная интеграция Уникальные возможности разработки и управления приложениями DataSphere Studio и промежуточного ПО Linkis обеспечивают двухуровневую интеграцию и архитектуру, позволяя компонентам внутри платформы действительно взаимодействовать друг с другом, обеспечивая бесшовный пользовательский опыт, упрощённую архитектуру платформы и мощные функции управления.
Открытый исходный код WeDataSphere основан на открытом исходном коде, возвращаясь к открытому исходному коду и разрабатывая собственные компоненты. Постепенно эти компоненты будут открыты. Общая архитектура разработана с учётом гибкости и расширяемости, что позволяет легко добавлять новые функции и компоненты. Одновременно с этим WeDataSphere стремится привлечь больше людей, организаций и участвовать в разработке, строительстве и продвижении приложений.
Если вам нужна быстрая реакция, пожалуйста, создайте issue или присоединяйтесь к нашему чату:
Вы можете оставить комментарий после Вход в систему
Неприемлемый контент может быть отображен здесь и не будет показан на странице. Вы можете проверить и изменить его с помощью соответствующей функции редактирования.
Если вы подтверждаете, что содержание не содержит непристойной лексики/перенаправления на рекламу/насилия/вульгарной порнографии/нарушений/пиратства/ложного/незначительного или незаконного контента, связанного с национальными законами и предписаниями, вы можете нажать «Отправить» для подачи апелляции, и мы обработаем ее как можно скорее.
Опубликовать ( 0 )