Архитектура ElasticCTR

Описание модулей:

• Client: клиент для задач прогнозирования CTR, перед обучением пользователь может загрузить собственный файл конфигурации, а во время прогнозирования — отправить запрос на прогнозирование.

• File server: сервер для хранения файлов с конфигурациями, загруженными пользователями. Файлы используются Paddle Serving и Cube.

• Trainer/pserver: этап обучения проходит в режиме PaddlePaddle parameter server. Для распределённого обучения используется инструмент Volcano для управления пакетными задачами.

• MLFlow: модуль визуализации для тренировочных задач. Пользователь может наглядно отслеживать процесс обучения.

• HDFS: система хранения данных пользователя. После завершения обучения модель сохраняется в HDFS.

• Cube-transfer: отвечает за мониторинг моделей, созданных в процессе обучения. При создании новой модели она загружается на локальный сервер. Затем вызывается cube-builder для создания файла словаря cube. После этого cube-agent получает уведомление о необходимости загрузки последней версии файла словаря и поддерживает его актуальность на всех серверах cube-server.

• Cube-builder: преобразует файлы моделей, созданные в результате обучения, в формат, который может быть загружен на cube-server. Файл словаря имеет особую структуру данных, оптимизированную для размера и доступа к памяти.

• Cube-Server: предоставляет услуги чтения и записи для сегментированных ключей.

• Cube-agent: развёртывается на том же сервере, что и cube-server, и получает уведомления от cube-transfer о необходимости обновления файла словаря. После получения уведомления загружает данные на локальный компьютер и уведомляет cube-server об обновлении.

• Paddle Serving: загружает ProgramDesc и плотные параметры модели задачи прогнозирования CTR и предоставляет услуги прогнозирования.

Все процессы, от обучения до прогнозирования, выполняются последовательно с помощью этих компонентов. Проект также предлагает скрипт elastic-control.sh для однократного развёртывания всех компонентов. Пользователи могут использовать эту схему развёртывания для интеграции распределённого обучения и обслуживания на основе PaddlePaddle в свою рабочую среду.