Проект

На основе Canal разработан клиент Canal, который получает данные после анализа MySQL Binlog и отправляет в базу данных необходимые для Elasticsearch данные, которые затем сохраняются в Elasticsearch. Основная задача — разносить данные из MySQL в Elasticsearch и использовать Elasticsearch для запросов, чтобы повысить эффективность поиска.

Архитектура программного обеспечения

Разработка ведётся с использованием Spring Boot 2.0.1.RELEASE. В качестве клиента Canal используется автоматическое обнаружение Canal на основе Zookeeper. Данные обрабатываются в нескольких модулях:

• canal-es: запуск и настройка сервиса;
• canal-es-core: основной модуль, получающий данные от Canal и вызывающий соответствующую обработку;
• canal-es-ext: дополнительный модуль, расширяющий поиск и сохранение данных в Elasticsearch для поддержки пользовательских разнородных данных (с примерами);
• canal-es-admin: административный модуль для управления и статистики. На данный момент разработка не завершена.

Использование

Инструмент предназначен для синхронизации данных MySQL с Elasticsearch. Основной сценарий использования — разноска данных, когда требуется выполнять сложные запросы к базе данных, включая объединение нескольких таблиц или отношения «один ко многим». Инструмент ориентирован на разработчиков, которым необходимо настраивать обработку разнородных синхронизированных данных.

Для получения дополнительной информации о Canal обратитесь к документации на GitHub: https://github.com/alibaba/canal.

В данном инструменте используется форк ветки (основные изменения касаются определения типа координат как значения вместо использования Types.OTHER для упрощения различения и последующей обработки): https://github.com/dengfuwei/canal.

1. Сначала запустите сервер Canal.
2. Расширьте обработку разнородных синхронных данных в canal-es-ext. Основные компоненты включают:
   • handler: определяет, какие события изменений данных в каких таблицах базы данных обрабатывать, а также выполняет соответствующие запросы к базе данных и сохраняет результаты в Elasticsearch;
   • model: классы, соответствующие данным в Elasticsearch;
   • repos: Repository для операций добавления, удаления и изменения данных в Elasticsearch с использованием spring data elasticsearch.

Если требуется настроить несколько источников данных, это можно сделать в canal-es, а затем использовать соответствующий jdbcTemplate в canal-es-ext. 3. Измените конфигурацию в canal-es и запустите сервис. В настоящее время поддерживается только обнаружение сервера Canal через Zookeeper, и планируется сохранить этот подход для удобства горизонтального масштабирования и развёртывания узлов.