goMontioringDdl — это инструмент на языке Go, который позволяет отслеживать DDL-изменения в MySQL и отправлять уведомления через DingTalk.

v1.0.1

1. Добавлены рекомендации по оптимизации SQL.

Эффект: Рисунок 1. Рисунок 2.

Установка

• Установите Go (1.6+) и задайте свой GOPATH.
• Выполните команду go get github.com/qieangel2013/goMontioringDdl. Она выведет некоторые сообщения в консоль, но их можно пропустить. :-)
• Перейдите в каталог $GOPATH/src/github.com/qieangel2013/goMontioringDdl
• Соберите программу с помощью команды go build main
• Запустите программу командой ./main

Использование

• Создайте таблицу в MySQL.
• Настройте базовую конфигурацию, см. пример конфигурации river.toml.
• Настройте URL вебхука DingTalk для отправки уведомлений.
• Укажите источник данных MySQL в конфигурационном файле, см. раздел Источник ниже.
• Настройте правила сопоставления MySQL и Elasticsearch в конфигурационном файле, см. раздел Правила ниже.
• Запустите ./main, чтобы начать работу.

Примечание

• Формат binlog должен быть row.
• Изображение строки binlog должно быть полным для MySQL, иначе вы можете потерять данные полей при обновлении первичного ключа в MySQL с минимальным или noblob изображением строки binlog. MariaDB поддерживает только полное изображение строки.
• Нельзя изменить формат таблицы во время выполнения.
• Таблица MySQL, которая будет синхронизироваться, должна иметь первичный ключ (PK), теперь разрешены многоколоночные PK, например, если PKs равен (a, b), мы будем использовать «a:b» в качестве ключа. Данные PK будут использоваться как «id» в Elasticsearch. Также можно настроить составные части идентификатора с другим столбцом.
• Сначала следует создать связанные отображения в Elasticsearch, использование стандартного отображения не является разумным решением, необходимо знать, как точно выполнять поиск.
• mysqldump должен существовать на том же узле, что и go-mysql-elasticsearch, иначе go-mysql-elasticsearch будет пытаться синхронизировать только binlog.
• Не изменяйте слишком много строк одновременно в одном SQL.

Источник

Конфигурация источника данных.

Формат в конфигурационном файле следующий:

# Источник данных MySQL
[[источник]]
схема = "тест"
таблицы = ["*"]

# Источник данных MySQL
[[источник]]
схема = "test_1"
таблицы = ["*", t4]

Если вы цените мой труд, пожалуйста, поддержите меня. Ваша поддержка — моя главная мотивация.

Список пожертвований проекту