1 В избранное 0 Ответвления 0

OSCHINA-MIRROR/jc3wish-Bifrost

GitLife Service Account
  1. Устранена проблема с восстановлением конфигурации MySQL для синхронизации таблиц, которая может не применяться после перезапуска процесса. Процесс воспроизведения ошибки:
    a. Настройка синхронизации для таблицы T1
    b. Перезапуск процесса, при этом данные в таблице T1 больше не обновляются
    c. Настройка синхронизации для таблицы T2
    d. Обновление данных в таблице T2

  2. Устранена проблема с неправильной обработкой binlog при наличии триггеров в MySQL. Дополнительная информация

  3. Устранена проблема потери точности десятичных чисел в плагине ClickHouse. Дополнительная информация

Последнее сообщение коммита: v2.3.4
03.03.2025 22:42
GitLife Service Account
  1. Исправлен баг в версиях 2.2.2 и 2.3.2, связанный с отсутствием конфигурации тегов для входных данных плагинов, кроме MySQL и ClickHouse, что приводило к ошибкам при преобразовании данных.
Последнее сообщение коммита: v2.3.3
03.03.2025 22:42
GitLife Service Account
  1. Включает содержание версии 2.2.2
  2. Оптимизация автоматического отображения типов полей при создании таблиц в MySQL для StarRocks/Doris, выбор типа данных, наиболее близкого к исходному типу
  3. Поддержка вывода MySQL для StarRocks/Doris, оптимизация преобразования типов данных при автоматическом создании таблиц; в режиме, отличном от режима добавления, если целевая таблица не имеет ключевых полей и таблица в целевой базе данных отсутствует, то она будет автоматически игнорирована, а таблица не будет создана и синхронизирована
  4. Устранение других известных ошибок и обновление документации
Последнее сообщение коммита: v2.3.2
03.03.2025 22:42
GitLife Service Account
  1. В процессе преобразования данных, если поле отсутствует в списке полей источника, то сразу возвращается nil.
    Пример: в данных присутствуют поля и значения x1:"v1", x2:"v2", x3:"v3".
    Ситуация 1: val = "x4", возвращается nil.
    Ситуация 2: val = "x4{BifrostNull}", возвращается x4.
    Ситуация 3: val = "x1", возвращается значение v1, соответствующее полю x1.
    Ситуация 4: val = "{BifrostNull}", возвращается nil.
    Если до этой версии использовались названия полей, которых нет в источнике, необходимо изменить на ситуацию 2, чтобы возвращалось значение типа x4, иначе будет возвращено nil. Пожалуйста, проверьте свои требования и решите, требуется ли это изменение.

  2. Устранён баг с неверным вычислением позиций при работе с источниками данных, такими как Kafka, где после начала синхронизации таблицы больше нет новых данных для синхронизации.
    https://github.com/brokercap/Bifrost/issues/257

  3. Устранена проблема, связанная со смертельной блокировкой при попытках получения последней позиции во время синхронизации входящего Kafka.
    https://github.com/brokercap/Bifrost/issues/256

  4. Устранена проблема поиска источников данных с именами, содержащими точки.

  5. При добавлении всех таблиц теперь поддерживаются некоторые конкретные таблицы для синхронизации.
    https://github.com/brokercap/Bifrost/issues/253

  6. Устранена проблема генерации данных для случайных таблиц без первичных ключей в имитационном входящем потоке.

  7. Обновлен имитационный входящий поток, теперь поддерживается активация генерации длинных строк, а также возможность создания событий одного типа для повышения производительности генерации данных.

  8. Оптимизация веб-интерфейса: теперь можно переходить к странице детального просмотра конфигурации синхронизации таблиц из списка всех задач и автоматически выбирать базу данных и таблицу.

Последнее сообщение коммита: v2.2.2
03.03.2025 22:42
GitLife Service Account
  1. В случае использования Linux в качестве сервера, используется значение VmRSS из ядра в файле /proc/[pid]/status для измерения использования памяти. Для других систем будет использована статистика, предоставляемая Go через runtime.MemStats.
  2. Устранена проблема с неполной очисткой памяти после полного имитационного тестирования входных данных.
  3. Устранена логическая ошибка при преждевременном завершении батча в режиме batch.
  4. Устранена ошибка, когда процесс просто отображает "остановлен", но не закрывается после завершения батча.
  5. Обновлена оптимизация интерфейса пользователя
    Добавлена простая функция поиска в интерфейсе источников данных.
    Поле ConnUri для источника данных и целевой базы данных было изменено на textarea для большего объема ввода.
  6. Устранена ошибка паники при отображении ColumnMapping для входных данных MongoDB со значением nil.
  7. Устранена ошибка, когда указано имя базы данных в обычном режиме работы вывода StarRocks, но не найдено имя таблицы исходной базы данных.
Последнее сообщение коммита: v2.3.1
03.03.2025 22:41
GitLife Service Account
  1. В случае использования Linux в качестве сервера, использовать значение VmRSS из ядра в файле /proc/[pid]/status для измерения использования памяти. Для других систем будет использоваться статистика, предоставляемая runtime.MemStats Go.
  2. Устранение проблемы с накоплением памяти после полной имитации входных данных.
  3. Устранение логической ошибки при преждевременном завершении батча в режиме batch.
  4. Устранение ошибки, когда после завершения батча отображается "остановлено", но не происходит закрытия.
  5. Обновление оптимизации интерфейса пользователя
    Добавлено простое функциональное поисковое окно для интерфейса источника данных.
    Поле ввода ConnUri для источников данных и целевых баз данных изменено на textarea для большего объема ввода.
  6. Устранение ошибки panic при ColumnMapping в случае использования input mongo со значением nil.
Последнее сообщение коммита: v2.2.1
03.03.2025 22:41
GitLife Service Account
  1. Поддержка соединения с StarRocks через протокол подключения MySQL для синхронизации данных, включая автоматическое создание таблиц, режим добавления логов, а также автоматическое создание разделов по месяцам.
    https://github.com/brokercap/Bifrost/issues/254
  2. При добавлении AllTables поддерживается возможность указывать только некоторые таблицы для синхронизации.
    https://github.com/brokercap/Bifrost/issues/253
Последнее сообщение коммита: v2.3.0
03.03.2025 22:41
GitLife Service Account
  1. Ввод Kafka в случае использования нескольких партиций поддерживает установку количества корутин для обработки данных и преобразования, чтобы повысить производительность. Данные одной партиции могут обрабатываться только одной корутиной. При использовании одной партиции, установка большего количества корутин не имеет эффекта; значение по умолчанию — одна корутина.
  2. Ввод MongoDB поддерживает настройку полной синхронизации, частичной синхронизации и последовательной синхронизации сначала полной, а затем частичной.
  3. Устранена проблема с ошибками при массовой загрузке данных таблиц для синхронизации.
    https://github.com/brokercap/Bifrost/issues/249
  4. Устранена проблема, когда изменения источника данных не приводят к изменению информации о соединении источника данных и его описании.
    https://github.com/brokercap/Bifrost/issues/248
  5. После добавления полной задачи синхронизации происходит переход на список всех полных задач синхронизации, используя новое окно для перехода.
    https://github.com/brokercap/Bifrost/issues/250
  6. Поддерживается ввод Mock, что позволяет более удобно тестировать вывод во время разработки.
  7. Разработка плагина ввода поддерживает получение списка баз данных и таблиц, требующих синхронизации.
  8. Библиотека Bristol MySQL поддерживает запросы conn.Exec и conn.Query с параметрами для доступа к интерфейсу запросов.
Последнее сообщение коммита: v2.2.0
03.03.2025 22:40
GitLife Service Account
  1. Устранена проблема отображения undefined для полей конфигурации синхронизации
    https://github.com/brokercap/Bifrost/issues/237
  2. В режиме вывода ClickHouse добавлена возможность выбора конфигурации для автоматического создания таблиц с движком MergeTree
    https://github.com/brokercap/Bifrost/issues/244
  3. Устранена проблема нераспознанного разрыва соединения с источником MySQL
    https://github.com/brokercap/Bifrost/issues/188
Последнее сообщение коммита: v2.1.1-beta
03.03.2025 22:40
GitLife Service Account
  1. Добавлена поддержка конфигурационных данных в формате input Kafka для преобразования в формат Bifrost
  2. Выходные данные ClickHouse теперь поддерживают преобразование типа данных json.Number в String
  3. Устранена проблема с входными данными MongoDB при событии update, когда фактическое значение обновляемого поля равно nil, что приводило к ошибкам
Последнее сообщение коммита: v2.1.0-beta
03.03.2025 22:40
GitLife Service Account
  1. Поддержка синхронизации по всей JSON-строке таблицы (ввод Kafka)
Последнее сообщение коммита: Merge pull request #210 from brokercap/v2.0.3
03.03.2025 22:40
GitLife Service Account

Жизнь человека длится всего несколько сотен лет, но горы и реки остаются неизменными.

  1. Устранена проблема с невозможностью запуска источника данных MySQL из-за отсутствия настройки GTID.
  2. Устранена проблема с источником данных MySQL, который включает функцию GTID, но фактически использует другой метод синхронизации; после перезапуска он автоматически переходит в режим синхронизации с использованием GTID.
  3. Добавлена поддержка подключения к источнику данных Kafka с использованием SASL SHA256 и SHA512 аутентификации.
Последнее сообщение коммита: Merge pull request #207 from brokercap/v2.0.2
03.03.2025 22:40
GitLife Service Account

Долгий путь к успеху обязательно будет иметь своё время, прямо поднимайте паруса и плывите через бурное море.

Поддержка источника Kafka для структур данных Debezium MySQL
Источник Kafka поддерживает просмотр последней точки
Устранение ошибок в других источниках Kafka
Устранение ошибок с использованием названий баз данных с символами "."
Устранение других ошибок

Последнее сообщение коммита: v2.0.1
Предпросмотр версии
03.03.2025 22:40
GitLife Service Account

Желаем скорейшего завершения пандемии!
Желаем скорейшего завершения пандемии!
Желаем скорейшего завершения пандемии!

  1. Поддержка многоточечной архитектуры
  2. Добавлена поддержка Kafka как источника данных с возможностью синхронизации в форматах string, canal json, bifrost json
  3. Целевой конец поддерживает запись данных в формате Canal
03.03.2025 22:40
GitLife Service Account

Добро пожаловать в ближайшее окончание пандемии COVID-19!

  1. Устранена уязвимость бесконечных попыток взлома пароля через подделку IP-адреса с помощью заголовков типа X-Real-IP.
  2. Устранён баг, при котором в среде MariaDB гарантии уникальности записей могут нарушаться.
Последнее сообщение коммита: v1.8.8
03.03.2025 22:40
GitLife Service Account

При встрече нет необходимости спешить домой.

  1. Устранена уязвимость безопасности в проверке прав доступа basicAuth для группы пользователей monitor (issue https://github.com/brokercap/Bifrost/issues/200).
  2. Устранена уязвимость, при которой отсутствие прав доступа для группы пользователей monitor не приводило к появлению соответствующего сообщения об ошибке.
Последнее сообщение коммита: v1.8.7
03.03.2025 22:39
GitLife Service Account

Поздравляем всех с Днем осеннего полнолуния!

  1. Устранена проблема с невозможностью успешного перезапуска окружения Docker (issue https://github.com/brokercap/Bifrost/issues/198)
  2. Устранена проблема с часовым поясом для DateTime64(N) (issue https://github.com/brokercap/Bifrost/issues/191)
  3. Организовано тестирование плагина ck
Последнее сообщение коммита: v1.8.6
03.03.2025 22:39
GitLife Service Account

Желаем скорейшего завершения пандемии

  1. Добавлена возможность конфигурирования префикса таблиц библиотеки CK
  2. Устранено несовместимое сбоё в плагине CK версии 1.7.4 при обновлении до версии 1.8 (issue #196)
  3. Устранён сбой в HTTP-плагине при отправке запросов с использованием Basic Auth (issue #195)
  4. Устранён сбой в ElasticSearch-плагине при работе с ElasticSearch версий 8.x, когда параметр type не поддерживается (issue #177)
  5. Устранены другие известные сбои
Последнее сообщение коммита: v1.8.5-release
1
https://api.gitlife.ru/oschina-mirror/jc3wish-Bifrost.git
git@api.gitlife.ru:oschina-mirror/jc3wish-Bifrost.git
oschina-mirror
jc3wish-Bifrost
jc3wish-Bifrost