Карта пути DataHub

Ниже представлена карта пути DataHub на короткий, средний и долгий срок. Мы приветствуем предложения от сообщества.

Ожидаемые сроки регулярно пересматриваются и могут меняться. Если вы хотите видеть что-то приоритизированным, свяжитесь с нами в Slack или примите участие в общественной встрече, чтобы обсудить!

Короткий срок (3 месяца) [Ожидаемая дата окончания октябрь 2020 года]

Дашборды как сущности

• Моделирование + графический интерфейс пользователя

Задачи и потоки данных как сущности

• Соединение наборов данных с задачами и потоками данных

Модели искусственного интеллекта как сущности

• Моделирование + графический интерфейс пользователя

Устойчиво согласованное вторичное индексирование (SCSI)

• Добавление возможности запроса после записи в локальный DAO

Графовый DAO на основе Gremlin

• Поддержка большинства графовых баз данных, совместимых с Gremlin

Интеграционные тесты

• Добавление интеграционных тестов на основе Docker

Перенос на Kubernetes

• Перенос с docker-compose на Kubernetes для управления контейнерами Docker

Средний срок (3 - 6 месяцев) [Ожидаемая дата окончания январь 2021 года]

Аспект-специфическая MCE и MAE

• Разделение единой модели событий для повышения масштабируемости и модульности

Линеаризация уровня полей набора данных

• Моделирование + анализ влияния

Концепции данных как сущности

• Моделирование + графический интерфейс пользователя

Метрики как сущности

• Моделирование + графический интерфейс пользователя

Схемы как сущности

• Обеспечение поиска схем
• Поддержка схем GraphQL

Визуализация информации о сущностях

• Графический интерфейс для выделения важной информации о сущностях внутри страниц поиска и сущностей

Управление конфиденциальностью данных для наборов данных

• Простое метаданные управление конфиденциальностью на основе тегов

Социальные функции

• Пользователи смогут лайкнуть и подписаться на сущности
• Комментарии на уровне набора данных и полей

Шаблонизированный графический интерфейс пользователя

• Настройка графического интерфейса пользователя через конфигурацию
• Генерация типов TypeScript из Pegasus

Добавление точки доступа GraphQL к GMS

• Использование GraphQL исключительно для запросов фронтенда

Переход на Redux

• Использование Redux исключительно для управления состоянием графического интерфейса пользователя

Локальный DAO на основе JNoSQL

• Поддержка широкого спектра хранилищ документов

Передача владения

• Донат кода в фондацию, например Apache, Linux Foundation.

Развертывание в Azure

• Запуск DataHub в Azure и предоставление руководств по использованию

Долгий срок (6 месяцев - 1 год)

Операционные метаданные

• Индексирование в OLAP хранилище (Pinot) с временем жизни

Микросервисы как сущности

• Начальное внимание на сервисах REST.LI и интеграции GraphQL

Развертывание в AWS и GCP

• Запуск DataHub в AWS и GCP и предоставление руководств по использованию

Будущие цели (более 1 года)

Перепись среднего слоя на Node.js

• Исключительно использование TypeScript для разработки фронтенда

gRPC + протокол PB

• Моделирование в протоколе PB и обслуживание в gRPC

Графический интерфейс для исследования графа метаданных