Основные возможности DataHub

DataHub состоит из генерического серверного компонента и UI на основе Ember.js. Оригинальный пост в блоге компании LinkedIn подробно рассказывает о дизайне и упоминает некоторые функции DataHub. Наш пост о открытом исходном коде также предоставляет сравнение некоторых функций между производственной версией DataHub компании LinkedIn и открытым исходным кодом DataHub. Ниже приведён список последних доступных функций в DataHub, а также те, что скоро станут доступными.

Данные (Элементы данных)

Датасеты

• Поиск: полнотекстовый поиск и продвинутый поиск, ранжирование результатов
• Обзор: просмотр через конфигурируемую иерархию
• Схема: схема таблиц и документов в табличном и JSON форматах
• Линия происхождения: поддержка линии происхождения на уровне датасета, табличное и графическое представление нижестоящих и верхушечных связей
• Владение: отображение владельцев датасета, просмотр датасетов, которыми вы владеете
• Управление жизненным циклом датасета: отметка как устаревшего/возвращение к актуальности, отображение удалённых датасетов и пометка их как "удалённых"
• Институциональные знания: поддержка добавления свободной формы документации к любому датасету
• Линия происхождения поля: поддержка линии происхождения на уровне поля [в разработке]
• Социальные действия: лайки, подписки, закладки [в разработке]
• Управление соответствием требованиям: редактирование соответствия требованиям на уровне поля с помощью меток [в разработке]
• Пользователи с наибольшим количеством действий: наиболее активные пользователи датасета [в разработке]

Пользователи

• Поиск: полнотекстовый поиск и продвинутый поиск, ранжирование результатов
• Обзор: просмотр через конфигурируемую иерархию [в разработке]
• Редактирование профиля: редактирование профессионального профиля в стиле LinkedIn, такие как описание, навыки

Схемы [в разработке]

• Поиск: полнотекстовый поиск и продвинутый поиск, ранжирование результатов
• Обзор: просмотр через конфигурируемую иерархию
• История схем: просмотр и сравнение исторических версий схем
• GraphQL: визуализация схем GraphQL

Джобы/потоки [в разработке]

• Поиск: полнотекстовый поиск и продвинутый поиск, ранжирование результатов
• Обзор: просмотр через конфигурируемую иерархию
• Основная информация
• История выполнения: выполнения и их состояние. Ссылка на внешний сервис для просмотра полной информации.

Метрики [в разработке]

• Поиск: полнотекстовый поиск и продвинутый поиск, ранжирование результатов
• Обзор: просмотр через конфигурируемую иерархию
• Основная информация: владение, размерность, формула, входящие и исходящие датасеты, панели мониторинга
• Институциональные знания: поддержка добавления свободной формы документации к любой метрике

Панели мониторинга [в разработке]

• Поиск: полнотекстовый поиск и продвинутый поиск, ранжирование результатов
• Основная информация: владение, расположение. Ссылка на внешний сервис для просмотра панели мониторинга.
• Институциональные знания: поддержка добавления свободной формы документации к любой панели мониторинга

Источники метаданных

Вы можете легко интегрировать любой платформу данных с DataHub. Всякий раз, когда у вас есть способ извлечения метаданных из платформы и преобразования их в наш стандартный формат MCE, вы можете загружать/интегрировать метаданные из любой доступной платформы.

Мы предоставили примеры скриптов ETL для загрузки:

• Hive
• Kafka
• RDBMS (MySQL, Oracle, PostgreSQL, MS SQL Server и т.д.)
• Data Warehouse (Snowflake, BigQuery и т.д.)
• LDAP