RDP

唯品会分布式数据管道系统

简介

RDP — это Real-Time Data Pipeline, система, которая синхронизирует данные из MySQL с Kafka. Как следует из названия, RDP не производит данные, а только передаёт их.

Основной принцип работы системы заключается в том, что она извлекает данные Binlog из источника MySQL, анализирует и обрабатывает их, затем сериализует и сжимает в формате PB. После этого данные отправляются в систему назначения, например, Apache Kafka, чтобы пользователи могли получать уведомления об изменениях данных. Системы назначения могут подписываться на данные или запрашивать их для дальнейшей обработки. В этом процессе RDP выступает в роли канала передачи данных между системами.

Во время процесса извлечения и отправки данных RDP может обрабатывать более 20 000 транзакций в секунду (около 100 000 событий в секунду), что удовлетворяет требованиям высокой параллельности. Кроме того, задержка обработки данных в RDP составляет миллисекунды, что также соответствует требованиям к обработке данных в реальном времени.

Особенности

Высокая доступность

• RDP обладает надёжной функцией Failover, которая обеспечивает непрерывное обслуживание бизнес-систем. Также гарантируется целостность данных (потеря данных при переключении MySQL не входит в эту категорию).

Низкая задержка

• Оптимизированный путь ввода-вывода повышает эффективность. Параллельная обработка данных обеспечивает высокую производительность.

Возможность отслеживания

• Прозрачность и возможность проверки данных в случае потери. Если данные потеряны, можно определить, какие именно данные были утеряны.

Участники проекта

• Тан Цзиньпин
• Чжао Байчжун
• Чэнь Фэй
• Фань Либяо
• Чэнь Шэван
• Цзянь Вэйбин

Документация по поддержке

Нажмите здесь, чтобы просмотреть