SyncMysqlToElasticsearch

Введение

Использование Binlog и Kafka для синхронизации данных MySQL в реальном времени с Elasticsearch.

Модули проекта

BinlogMiddleware:

1. Промежуточное ПО Binlog отвечает за анализ binlog и отправку изменённых данных в виде JSON в очередь Kafka.

KafkaMiddleware: 2. Промежуточное ПО Kafka отвечает за использование сообщений из очереди Kafka и запись данных в Elasticsearch.

Базовые сервисы

(1) MySQL. (2) Kafka используется для хранения сообщений об изменениях MySQL и хранит их в очереди Kafka. (3) Elasticsearch.

Инструкция по использованию

1. Инициализация базы данных Demo с использованием teemoliu_init.sql.
2. Инициализация индекса ES Demo с помощью es_build_index.py.
3. Руководство см.: https://www.jianshu.com/p/3ebab93ff075.

Email: lzhzh825@gmail.com

PS: Этот демонстрационный пример представляет собой простой образец, есть много возможностей для оптимизации, а мои знания ограничены, поэтому я приветствую все предложения.