Руководство пользователя

1. Введение в продукт

Qualitis — это система управления качеством данных, предназначенная для мониторинга качества данных. Она включает в себя определение модели качества данных, визуализацию результатов качества данных и мониторинг. Сервис управления качеством данных предоставляет комплексный процесс для определения и обнаружения качества наборов данных и своевременного сообщения о проблемах.

2. Вход в систему

Для входа необходимо ввести имя пользователя и пароль.

3. Создание проекта

После успешного входа нажмите на значок правил конфигурации в левой панели. В подменю выберите «Мой проект» и перейдите в модуль проекта.

Нажмите кнопку «Добавить проект» в верхнем левом углу экрана. Появится окно создания нового проекта. Заполните следующие поля:

• Название проекта: уникальное название проекта.
• Описание проекта: краткое описание проекта. Сохраните проект, нажав кнопку «Сохранить».

4. Создание правил

После сохранения проекта вы можете создать правило. Можно создавать однотабличные правила, пользовательские правила и межтабличные правила.

4.1 Пример создания однотабличного правила

Кликните на кнопку «Создать техническое правило», чтобы перейти на страницу создания технического правила. Введите следующую информацию:

• Имя правила: уникальное имя правила.
• Правило проверки: выберите шаблон проверки из предложенных вариантов.
• Конфигурация: выберите источник данных из шаблона проверки и замените заполнители в шаблоне на реальные данные. Вы можете просмотреть SQL-запрос в разделе предварительного просмотра.
• Уведомление: если вы хотите получать уведомления о результатах проверки, установите флажок. Выберите тип уведомления и порог, при превышении которого будет отправлено уведомление.

Существует четыре способа сравнения результатов выполнения с пороговым значением:

1. Волна за месяц: сравнивает результат выполнения с средним значением за текущий месяц. Если (1 - x) * y <= r <= (1 + x) * y, то проверка пройдена успешно.
2. Волна за неделю: аналогично волне за месяц, но сравнивается среднее значение за текущую неделю.
3. Волна за день: аналогично волне за неделю, но сравнивается среднее значение за текущий день.
4. Фиксированное значение: сравнивается результат выполнения с фиксированным значением.

На рисунке показан пример создания правила для проверки того, что поле не пустое. В разделе предварительного просмотра можно увидеть SQL-запрос, который будет выполнен. Проверка будет успешной, если количество пустых полей равно нулю.

4.2 Пример создания пользовательского правила

Кликните на кнопку «Создать пользовательское техническое правило», чтобы перейти к созданию пользовательского технического правила. Заполните следующую информацию:

• Имя правила: уникальное имя правила.
• Вывод правила проверки: укажите псевдоним столбца, который нужно проверить.
• Статистическая функция: введите статистическую функцию для использования в проверке.
• Кластер: выберите кластер, на котором будет выполняться проверка.
• Сохранить результаты, не прошедшие проверку: установите флажок, чтобы сохранить результаты, которые не прошли проверку. В разделе предварительного просмотра вы увидите SQL-запрос, который будет выполнен.

4.3 Пример создания межтабличного правила

Кликните на кнопку «Создать межтабличное техническое правило», чтобы создать межтабличное правило. Межтабличное правило позволяет проверять данные в двух таблицах одного кластера. Существует два типа шаблонов межтабличных правил:

• Точность проверки: сравниваются данные в выбранных столбцах двух таблиц.
• Общая проверка: позволяет настроить собственный SQL для межтабличной проверки.

Рассмотрим пример точности проверки на двух таблицах A и B со следующими данными:

Чтобы настроить точность проверки, выполните следующие шаги:

1. Введите необходимую информацию.

2. Нажмите кнопку «Готово».

5. Выполнение задач

Задачи могут быть выполнены на уровне проекта или на уровне правила.

Выполнение на уровне проекта означает выполнение всех правил в проекте. На рисунке показано, как выполнить задачу на уровне проекта.

Выполнение на уровне правила означает выбор конкретного правила для выполнения. На рисунке показано, как выполнить задачу на уровне правила.

6. Просмотр задач

Перейдите в раздел «Задача запроса» в меню слева, чтобы просмотреть список задач.

Выберите задачу для просмотра подробной информации. На рисунке показана страница с подробной информацией о задаче.

Результаты проверки задачи можно просмотреть, выбрав статус задачи. На рисунке показана страница со статусом задачи.

7. Описание шаблонов правил

7.1 Шаблон проверки на пустоту

Этот шаблон проверяет количество записей в таблице, где указанное поле является пустым.

Пример: необходимо найти количество записей в кластере, библиотеке, таблице и разделе ds = '${run_date}', где поле является пустым.

Настройка: выберите шаблон проверки на пустоту. Укажите кластер, библиотеку, таблицу, поле и раздел ds = '${run_date}'. В разделе предварительного просмотра SQL вы сможете увидеть выполняемый запрос.

7.2 Шаблон проверки первичного ключа

Этот шаблон проверяет уникальность комбинации полей в таблице.

Пример: необходимо определить, является ли комбинация полей уникальной в таблице в разделе ds = '${run_date}' кластера, библиотеки и таблицы.

Настройка: выберите шаблон проверки первичного ключа. Укажите кластер, библиотеку, таблицу, поля и раздел ds = '${run_date}'. В разделе предварительного просмотра SQL вы сможете увидеть выполняемый запрос.

7.3 Шаблон проверки количества строк в таблице

Этот шаблон определяет количество строк в указанной таблице.

Пример: необходимо узнать количество строк в таблице в разделе ds = '${run_date}' кластера, библиотеки и таблицы.

Настройка: выберите шаблон проверки количества строк. Укажите кластер, библиотеку, таблицу и раздел ds = '${run_date}'. В разделе предварительного просмотра SQL вы сможете увидеть выполняемый запрос.

7.4 Шаблон проверки среднего значения

Этот шаблон вычисляет среднее значение указанного поля в таблице.

Пример: необходимо вычислить среднее значение поля в таблице в разделе ds = '${run_date}' кластера, библиотеки и таблицы.

Настройка: выберите шаблон проверки среднего значения. Укажите кластер, библиотеку, таблицу, поле и раздел ds = '${run_date}'. В разделе предварительного просмотра SQL вы сможете увидеть выполняемый запрос.

7.5 Шаблон проверки суммы

Этот шаблон суммирует значения указанного поля в таблице.

Пример: необходимо суммировать значения поля в таблице в разделе ds = '${run_date}' кластера, библиотеки и таблицы.

Настройка: выберите шаблон проверки суммы. Укажите кластер, библиотеку, таблицу, поле и раздел ds = '${run_date}'. В разделе предварительного просмотра SQL вы сможете увидеть выполняемый запрос.