следующий релиз

Устранение ошибок

Ядро

• [Ядро] [API] Исправлена потеря общего класса для списков (#4421)
• [Ядро] [API] Исправлен парсинг вложенного типа данных строки с ключом, изменённым на верхний регистр (#4459)
• [Стартовая сборка][Flink] Поддержка преобразования transform-v2 для Flink #3396
• [Flink] Поддержка Flink 1.14.x #3963
• [Ядро][Перевод][Spark] Исправление ошибки конвертации SeaTunnelRowConvertor при наличии типа строки в схеме (#5170)

Преобразователи

• [Spark] Поддержка преобразования transform-v2 для Spark (#3409)
• [ВСЕ] Добавлен преобразователь FieldMapper Transform #3781
• [Все] Добавлен преобразователь JsonPath Transform #5633

Коннекторы

• [Elasticsearch] Поддержка протокола HTTPS и совместимость с OpenSearch
• [Hbase] Добавлен коннектор Hbase Sink #4049
• [Clickhouse] Исправление совместимости старых версий Clickhouse #5326
• [Easysearch] Поддержка INFINI Easysearch #5933
• [Web3j] Добавлен источник данных Web3j #6598

Форматы

• [Canal] Поддержка чтения сообщений в формате Canal #3950

• [Debezium] Поддержка сообщений в формате Debezium Canal #3981### Коннекторы-V2- [Формат Json] [Canal-Json] Исправление ошибки десериализации JSON NPE (#4195)

  • [Connector-V2] [Jdbc] Недоступность псевдонимов полей в запросах источника JDBC (#4210)
  • [Connector-V2] [Jdbc] Исправление сбоев соединения, вызванных временем ожидания соединения (#4322)
  • [Connector-V2] [Jdbc] Установка значения по умолчанию в false для параметра JdbcOption: generate_sink_sql (#4471)
  • [Connector-V2] [JDBC] Исправление проблемы TiDBCatalog без открытия (#4718)
  • [Connector-V2] [Jdbc] Исправление аварийного завершения работы XA DataSource (Oracle/Dameng/SqlServer) (#4866)
  • [Connector-V2] [Pulsar] Исправление ошибки, препятствующей постоянному чтению сообщений (#4125)
  • [Connector-V2] [Elasticsearch] Ошибка в описании документов (#4390)
  • [Connector-V2] [Elasticsearch] Ошибка декодера источника и неприемлемость (#4233)
  • [Connector-V2] [Kafka] Исправление проблем с освобождением ресурсов KafkaProducer (#4302)
  • [Connector-V2] [Kafka] Исправление проблем доступа, вызванных идентификатором клиента (#4246)
  • [Connector-V2] [Kafka] Исправление выхода KafkaConsumerThread из-за ошибки коммита смещения (#4379)
  • [Connector-V2] [MongoDB] Поддержка MongoDB CDC Sink (#4833)
  • [Connector-V2] [Kafka] Исправление проблемы получения информации о разделах при восстановлении Kafka (#4764)
  • [Connector-V2] [SFTP] Исправление логики обработки исключений (#4720)
  • [Connector-V2] [File] Исправление чтения временного файла (#4876)
  • [Connector-V2] [CDC Base] Исправление ConcurrentModificationException, вызванной одновременным изменением состояния снимка (#4877)
  • [Connector-V2] [Doris] Обновление последнего ID контрольной точки при создании снимка (#4881) - [Connector-v2] [Kafka] Исправление короткого интервала выгрузки данных и исправление формата (#4875)
  • [Connector-v2] [RabbitMQ] Исправление ошибки повторного подтверждения сообщений и стилистики кода (#4842)
  • [Connector-V2] [Jdbc] Исправление ошибки извлечения первичного ключа столбца в случае (#4815)
  • [Connector-V2] [Jdbc] Исправление возникновения исключения закрытия заявки при попытке пересоединения (#4801)
  • [Connector-V2] [Jdbc] Исправление чувствительности к регистру системных таблиц SQL Server (#4806)
  • [Connector-v2] [File] Исправление формата конфигурационного файла и комментариев ошибок (#4762)
  • [Connector-v2] [Jdbc] Исправление идентификатора таблицы Oracle SQL (#4754)
  • [Connector-v2] [Clickhouse] Исправление получения имени локальной таблицы ClickHouse с закрывающей скобкой из движка таблицы Distributed (#4710)
  • [Connector-v2] [CDC] Исправление утечки соединения JDBC для MySQL (#5037)
  • [Connector-v2] [File] Исправление проблемы параллельного записи стратегии WriteStrategy (#5546)
  • [Connector-v2] [File] Внедрение FileSystem в OrcWriteStrategy — [Connector-v2] [Файл] Поддержка назначения кодировки файла для источника/приемника данных (#5973)

• [Connector-v2] [MongoDB] Поддержка конвертации в тип double из числового типа, который MongoDB хранит внутренне как числовой (#6997)

• [Connector-v2] [Redis] Использование команды операции сканирования ключей, поддержка пакетной записи в одиночном режиме (#7030, #7085)

• [Connector-V2] [Clickhouse] Добавлена новая необязательная конфигурация clickhouse.config для соединителя источника данных ClickHouse (#7143)- [Connector-v2] [Redis] Команда сканирования Redis поддерживается в версиях 3, 4, 5, 6, 7 (#7666)### Zeta(ST-ityEngine)- [Зета] Исправление тестового случая LogicalDagGeneratorTest (#4401)

• [Зета] Исправление парсинга MultipleTableJobConfigParser, который обрабатывает только один трансформатор (#4412)

• [Зета] Исправление отсутствия общих плагинов JAR (#4448)

• [Зета] Исправление вызова handleCheckpointError при завершении точки контроля (#4442)

• [Зета] Исправление некорректного сообщения об ошибке задачи (#4463)

• [Зета] Исправление ошибки поиска узла развертывания TaskGroup (#4449)

• [Зета] Исправление конфигурационной ошибки (#4488)

• [Зета] Исправление логики загрузки Connectors из Zeta (#4510)

• [Зета] Исправление конфликтного зависимости hadoop-hdfs (#4509)

• [Зета] Исправление проблемы синхронизации TaskExecutionService (#4886)

• [Зета] Исправление возврата неактивного ExecutionContext TaskExecutionService (#4869)

• [Зета] Исправление ошибки завершения операции развертывания после истечения времени ожидания, хотя задача уже завершена (#4867)

• [Зета] Исправление ошибки завершения восстановленной точки контроля при отмене задачи (#4863)

• [Зета] Исправление ошибки операции IMap с истечением времени ожидания (#4859)

• [Зета] Исправление ошибки неправильного состояния пайплайна (#4823)

• [Зета] Исправление некорректного установления параллелизма трансформации (#4814)

• [Зета] Исправление ошибки активности мастера (#4855)

• [Зета] Исправление одновременного действия completePendingCheckpoint (#4854)

• [Зета] Исправление ошибки выполнения движка (#4850)- [Zeta] Исправление ситуации, когда TaskGroupContext всегда удерживает загрузчик классов, что препятствует его повторному использованию (#4849)

• [Zeta] Исправление ошибки уведомления статуса задачи мастеру при отсутствии запущенной задачи или её преждевременном завершении (#4847)

• [Zeta] Исправление проблемы загрузки ЦПУ (#4828)

• [zeta] Исправление проблемы мёртвого замка при загрузке JDBC-драйвера (#4878)

• [zeta] Динамическое замещение значения переменной во время выполнения (#4950)

• [Zeta] Добавление функции from_unixtime (#5462)

• [zeta] Исправление выброса NullPointerException при восстановлении CDC-задачи (#5507)

• [Zeta] Исправление документации хранения точек контроля с использованием OSS (#7507)### E2E

• [E2E] [Kafka] Исправление тестового примера Kafka E2E (#4520)

• [Container Version] Исправление риска неповторяемости тестовых случаев (#4591)

• [E2E] [MySQL-CDC] Удаление избыточного MySqlIncrementalSourceIT E2E для ускорения CI (#4738)

• [E2E] [Общее] Обновление версии контейнера тестирования ST-engine (#5323)

• [E2E] [JDBC] Исправление удаления образа Docker после завершения тестирования в suite JDBC (#5586)

Улучшение

• [Улучшение][Connector-V2][Jdbc-Source] Поддержка типов данных Decimal как ключей разделения (#4634)

Ядро - [Основной модуль] [Spark] Передача операции преобразования данных от Spark Driver к Executor'ам (#4503)

• [Основной модуль] [Starter] Оптимизация структуры кода и удаление избыточных участков кода (#4525)
• [Основной модуль] [Перевод] [Flink] Оптимизация структуры кода и удаление избыточных участков кода (#4527)
• [Основной модуль] [Starter] Добавление проверки конфигураций источника и синка для предотвращения ошибки null pointer (#4734)
• [Основной модуль] [Flink] Удаление избыточных участков кода, связанных со типами этапов (#5650)

Форматы данных

• [JSON] Удаление ключевого слова assert. (#5919)
• [Форматы] Замена CommonErrorCodeDeprecated.JSON_OPERATION_FAILED. (#5948)
• [Форматы] Переработка перехвата исключений для ignoreParseErrors. (#6065)

Connector-V2- [Connector-V2] [CDC] Улучшение опций startup.mode/stop.mode. (#4360)

• [Connector-V2] [CDC] Оптимизация опций jdbc.fetch-size. (#4352)

• [Connector-V2] [CDC] Исправление ошибочного типа параметра начала/конца блока. (#4777)

• [Connector-V2] [SQLServer] Исправление каталога sqlserver. (#4441)

• [Connector-V2] [StarRocks] Улучшение сообщения об ошибке сериализации в StarRocks. (#4458)

• [Connector-V2] [Jdbc] Добавление логирования SQL и обновление стилей. (#4475)

• [Connector-V2] [Jdbc] Исправление автоматического получения имени таблицы при работе с несколькими таблицами. (#4514)

• [Connector-V2] [S3 & Kafka] Удаление недоступных каталогов S3 & Kafka. (#4477)

• [Connector-V2] [Pulsar] Поддержка формата Canal.

• [Connector-V2] [CDC базовый] Реализация стратегии шардинга на основе выборки с конфигурируемой частотой выборки. (#4856)

• [Connector-V2] [SelectDB] Добавление jobId для отличия задач в метках SelectDB. (#4864)

• [Connector-V2] [Doris] Добавление jobId для отличия задач в метках Doris. (#4839) (#4853)

• [Connector-v2] [MongoDB] Переработка соединителя MongoDB. (#4620)

• [Connector-v2] [Jdbc] Наполнение первичного ключа при создании jdbc sink с использованием CatalogTable. (#4755)

• [Connector-v2] [Neo4j] Поддержка режима пакетной записи для Neo4j sink. (#4835)

• [Transform-V2] Оптимизация пакета SQL Transform и исправление ошибки преобразования типов Spark в transform. (#4490)

• [Connector-V2] [Общие] Удаление ключевого слова assert. (#5915)

• [Connector-V2] Замена CommonErrorCodeDeprecated.JSON_OPERATION_FAILED. (#5978)### CI

• [CI] Исправление названия репозитория в файлах конфигурации CI. (#4795)

• [CI][E2E][Zeta] Увеличение времени ожидания точки контроля Zeta для предотвращения частых провалов теста connector-file-sftp-e2e. (#5339)### Zeta(ST-Engine) - [Зета] Поддержка запуска сервера в режиме демона (#4161)

• [Зета] Изменение ClassLoader для повышения совместимости SDK клиента (#4447)

• [Зета] Поддержка асинхронной отправки задач клиентом (#4456)

• [Зета] Добавление более подробного вывода логов (#4446)

• [Зета] Улучшение скрипта seatunnel-cluster.sh (#4435)

• [Зета] Снижение затрат на ЦП при отсутствии готовых задач (#4479)

• [Зета] Добавление парсеров логов (#4485)

• [Зета] Удаление избыточного кода (#4489)

• [Зета] Удаление избыточного кода в validateSQL (#4506)

• [Зета] Улучшение производительности получения JobMetrics (#4467)

• [Зета] Снижение количества операций imap_running_job_metrics (#4861)

• [Зета] Ускорение функции listAllJob (#4852)

• [Зета] Асинхронное выполнение триггеров проверки состояния и других блокирующих методов (#4846)

• [Зета] Снижение количества используемых IMAPs для счетчика checkpointId (#4832)

• [Зета] Отмена пайплайна с добавлением повтора для избежания ошибки отмены (#4792)

• [Зета] Улучшение максимального количества операций Zeta и игнорирование NullPointerException (#4787)

• [Зета] Удаление затрат на сериализацию(десериализацию) при использовании действия перемешивания (#4722)

• [Зета] Исключение данных состояния из сообщений об ошибках чекпоинтов (#5547)

• [Зета] Удаление ключевых слов assert (#5947)

Возможность### Ядро

• [Ядро] [API] Поддержка преобразования строк в список List<T> (#4362)
• [Ядро] [API] Добавление метода копирования для каталоговых кодов (#4414)
• [Ядро] [API] Проверка опций перед созданием источника, приемника и трансформации в FactoryUtil (#4424)
• [Ядро] [Shade] Добавление модуля guava shade (#4358)
• [Ядро] [Spark] Поддержка типа времени SeaTunnel (#5188)
• [Ядро] [Flink] Поддержка десятичного типа с конфигурируемой точкой и масштабом (#5419)
• [Ядро] [API] Поддержка объявления типа строки в общем типе в стиле hocon (#6187)

Коннектор-V2- [Connector-V2] [CDC] [SQLServer] Support for reading multiple tables (#4377)

• [Connector-V2] [Kafka] Support for skipping deserialization errors in the Kafka source (#4364)
• [Connector-V2] [Jdbc] [TiDB] Addition of TiDB catalog (#4438)
• [Connector-V2] [File] Addition of Excel file source and sink (#4164)
• [Connector-V2] [FILE-OBS] Addition of Huawei Cloud OBS connector (#4577)
• [Connector-V2] [Snowflake] Addition of Snowflake source and sink connectors (#4470)
• [Connector-V2] [Pulsar] Support for reading Pulsar format (#4111)
• [Connector-V2] [Paimon] Introduction of Paimon connector (#4178)
• [Connector V2] [Cassandra] Separation of configurable options in Cassandra (#3681)
• [Connector V2] [Jdbc] Support for GEOMETRY data type in PostgreSQL (#4673)
• [Connector V2] [Jdbc] Support for Kingbase database (#4803)
• [Transformation-V2] Addition of SPI UDF and example implementation of SQL Transform plugin (#4392)
• [Transformation-V2] Support for field list to copy (#4404)
• [Transformation-V2] Addition of support for CatalogTable for FieldMapperTransform (#4423)
• [Transformation-V2] Addition of support for CatalogTable for ReplaceTransform (#4411)
• [Transformation-V2] Addition of support for catalog for FilterRowKindTransform (#4420)
• [Transformation-V2] Addition of support for CatalogTable for FilterFieldTransform (#4422)
• [Transformation-V2] Addition of support for catalog for SQL Transform plugin (#4819)
• [Connector-V2] [Assert] Support for precision and scale validation of decimal type (#6110)
• [Connector-V2] [Assert] Support for field type validation and equality check of all data types (#6275)- [Connector-V2] [Iceberg] Support for Iceberg receiver (#6198)
• [Connector-V2] [FILE-OBS] Addition of Huawei Cloud OBS connector (#4578)
• [Connector-V2] [ElasticsearchSource] Support for multiple sources (#6730)### Zeta(ST-Engine) - [Зета] Поддержка смешивания Factory и Plugin SPI (#4359)
• [Зета] Добавление получения информации о выполняющемся задании по jobId через REST API (#4140)
• [Зета] Добавление REST API для получения информации о мониторинге системы (#4315)
• [Трансформация V2 & Зета] Обеспечение поддержки SplitTransform для CatalogTable и эволюции CatalogTable (#4396)
• [Зета] Перемещение драйвера в каталог lib и изменение количества операций (#4845)
• [Зета] Добавление значения по умолчанию для размера метаспейса в конфигурационный файл (#4848)
• [Зета] Уменьшение частоты получения данных с imap (#4851)
• [Зета] Добавление поддержки OSS для хранения imap в типе режима кластера (#4683)
• [Зета] Улучшение портов запуска в локальном режиме (#4660)

Документация- [Documentation] Optimization of the connector documentation for Doris and SelectDB (#4365)

• [Documentation] Fixing code formatting issues in the documentation (#4368)
• [Documentation] Updating the JDBC and Kafka documentation (#4380)
• [Documentation] Correcting the default value of max_retries to be 3 (#4383)
• [Documentation] Fixing Markdown syntax errors (#4426)
• [Documentation] Correcting an incorrect Kafka configuration key in the documentation (#4427)
• [Documentation] Adding a Transformation section in the Quick Start v2 guide (#4436)
• [Documentation] Fixing the Dockerfile and seatunnel-flink.yaml file in the Set Up with Kubernetes section (#4788)
• [Documentation] Correcting the documentation on the record format for the MySQL Sink (#4800)
• [Documentation] Adding SQL generation parameters to the JDBC Sink documentation (#4797)
• [Documentation] Adding an example of using SQL generation parameters (#4769)
• [Documentation] Adding the parameter defaultRowFetchSize for Redshift (#4616)
• [Documentation] Refactoring the connector-v2 documentation into a unified MySQL format (#4590)
• [Documentation] Adding Java data types to schema characteristics (#5087)
• [Documentation] Changing the FTP option name from username to user (#5421)
• [Documentation] Adding information about setting logging parameters for SeaTunnel-E2E Test (#5589)
• [Documentation] Removing unnecessary double quotes from code examples (#5845)
• [Documentation] Adding the default value for Hive JDBC (#5882)