Cetus数据迁移追数工具使用手册

1. Инструмент введения

Основное назначение — преобразование binlog в SQL для использования при миграции данных Cetus.

2. Использование инструмента

2.1 Конфигурационный файл

Конфигурационный файл binlog.conf состоит из трёх разделов: [BINLOG_MYSQL], [OUTPUT_MYSQL] и [DEFAULT].

Раздел [BINLOG_MYSQL] используется для настройки учётных данных MySQL, создающего Binlog; раздел [OUTPUT_MYSQL] — для настройки учётных данных MySQL, получающего преобразованный SQL; раздел [DEFAULT] — для конфигурации некоторых параметров инструмента.

2.2 Описание параметров

Основные параметры описаны ниже:

# Учётные данные MySQL, создающего Binlog
[BINLOG_MYSQL]
host=172.17.0.4
port=3306
user=ght
password=123456

# Учётные данные MySQL, получающего преобразованный SQL
# При расширении можно настроить учётные данные новой установки Cetus
[OUTPUT_MYSQL]
host=172.17.0.2
port=6002
user=ght
password=123456

[DEFAULT]
# Начальная позиция для анализа Binlog
log_file=binlog.000001
log_pos=351

# Схемы, которые необходимо пропустить, то есть все SQL-операции в этих схемах будут игнорироваться
skip_schemas=proxy_heart_beat

# Уровень журнала
log_level=DEBUG

# Игнорировать операции DDL
ignore_ddl=true

# Настройка только на разбор имён таблиц шардинга
# Будут выводиться только операции с этими таблицами, остальные (например, глобальные таблицы) будут отброшены
# Совместимость с конфигурационным файлом Cetus
only_sharding_table=/data/sharding.json

2.3 Описание продолжения после прерывания

Журнал прогресса записывается в файл workdir/progress.log. При следующем запуске процесс автоматически продолжится с этой точки. Если продолжение не требуется, перед запуском можно удалить этот файл.

2.4 Запуск и параметры

При запуске можно указать параметр -d, чтобы задать рабочий каталог, который также называется workdir.

Команда запуска выглядит следующим образом:

chmod +x ./dumpbinlog.py

./dumpbinlog.py