Новые функции

• Добавлена конфигурация npm
• Добавлен шаблон версий ошибок
• Добавлен встроенный Flink History Server для уменьшения неизвестного состояния и повышения точности конечной информации о задачах Flink
• Добавлена поддержка Flink 1.20 и обновлены зависимости для других версий Flink
• Добавлена поддержка экспорта заданий
• Добавлен глобальный токен
• Добавлена поддержка физического удаления ресурсов
• Добавлена поддержка источников данных Paimon, HDFS и Hive
• Использование ingress-адреса для получения информации о заданиях
• Поддержка предварительного просмотра вставляемых результатов для задач Flink SQL
• Добавлена страница для первой инициализации
• Поддержка реального времени обновления состояния заданий для FlinkSQL разработки данных
• Добавлена форма для Flink jar
• Добавлены средства инициализации
• Добавлена поддержка каталога Flink для pgsql
• Добавлены E2E тесты

  Исправления

• Исправлено выполнение команды show
• Исправлено сериализация и десериализация JSON
• Исправлены проблемы Flink cli
• Исправлено сообщение об ошибке "все IP-порты недоступны"
• Исправлено отсутствие значения по умолчанию для кнопки включения в форме проекта Git
• Исправлены проблемы метода saveOrUpdate в модуле проекта Git
• Исправлена логика пути savepoint и скорректированы методы получения конфигураций Flink - Исправлено сообщение об ошибке "превышено лимит хранения" при открытии большого количества ярлыков заданий
• Исправлены проблемы в процессе сборки Git
• Исправлено отсутствие поддержки глобальных переменных в трассировке данных
• Исправлено отображение миниатюр в редакторе кода
• Исправлено автоматическое инициализирование PG SQL
• Исправлено преобразование типов полей Oracle
• Исправлены многие проблемы Flink в режиме Local
• Исправлено отсутствие поддержки MySQL 5.7 в Flyway
• Исправлены проблемы с аномальными данными в PG-запросах
• Исправлены проблемы при нажатии на задачу в оптимизированном рабочем столе из-за отсутствия экземпляра
• Исправлены проблемы при неудачном выполнении
• Исправлены проблемы при запросе первичного ключа в Oracle
• Исправлены проблемы при запуске программы
• Исправлены проблемы сортировки задачи
• Исправлены проблемы бесконечного обновления страницы проекта Git
• Исправлены проблемы с пустым указателем при настройке оповещений Dinky
• Исправлены незначительные проблемы
• Исправлены проблемы выхода за пределы массива при получении информации о трассировке данных
• Исправлены проблемы SQL-инъекции, вызванные обновлением версии Druid
• Исправлены проблемы отображения полей в каталоге
• Исправлены проблемы выполнения jar-файлов в yarn-приложениях
• Исправлены проблемы с пустым указателем при оповещениях - Исправлены проблемы выполнения заданий из-за наличия тире в имени таблицы
• Исправлены проблемы конфигурации ключа
• Исправлены проблемы URL-адреса оповещений заданий Dinky
• Исправлены проблемы маппера меню
• Исправлены проблемы аномальных данных при пустом ID задания в модели запроса
• Исправлены проблемы, связанные с Kerberos, такие как отсутствие эффекта от SQL SET значений
• Исправлены проблемы сохранения экземпляров заданий при работе в режиме запроса
• Исправлены проблемы с websockets
• Исправлены проблемы упаковки web-исправление работы CI-потока backend Dinky для совместимости с Flink 1.20
• Исправление проблемы с политикой генерации первичных ключей
• Исправление проблемы с отсутствием объекта при имитации оператора
• Исправление состояния разработки данных в нижней части экрана
• Исправление проблемы с неполными зависимостями в модуле документации
• Отключение плавающей кнопки на странице разработки данных
• Исправление страницы разработки данных и включение системной конфигурации
• Исправление проблем с формами ingress k8s
• Исправление ошибки переадресации маршрута на странице приветствия
• Исправление проблемы с неудачной отправкой задач Flink session
• Исправление проблемы с web npe
• Исправление проблемы с очисткой web
• Исправление ошибки при использовании кнопки копирования в центре ресурсов- Исправление проблемы при создании нового задания с именем, совпадающим с именем подкаталога
• Исправление ограничений на имена заданий при работе в режиме Kubernetes
• Исправление проблем с тестированием k8s
• Исправление проблемы с разработкой данных, вызванной введением LESS, что приводило к путанице глобальных стилей CSS
• Исправление отображения панели инструментов для задач Flink jar в разработке данных
• Исправление проблем с pg
• Исправление проблем с аномальным выполнением задач DolphinScheduler при вызове Dinky задач и параллельного выполнения
• Исправление проблемы с невозможностью получения состояния задач Flink через Yarn webui после включения Kerberos аутентификации
• Исправление проблемы с постоянным именем задачи при переименовании задачи
• Исправление проблемы сериализации оповещений
• Исправление проблемы с входом
• Исправление отправки задач Flink jar
• Исправление проблемы с путями автоматических сценариев
• Исправление ошибки сборки Git code
• Исправление проблемы параллельной отправки yarn
• Исправление проблемы с пустым указателем при выполнении запросов на PG таблицах
• Исправление проблемы с невозможностью использования глобальных переменных в FlinkJar

Оптимизация

• Оптимизация логики обновления версий для решения проблем с кэшированием, вызванных обновлением
• Оптимизация интерфейса рабочего стола
• Переработка запросов метрик- Переработка метода получения user.dir
• Переключение SSE на глобальный WebSocket, переключение Web-контейнера с Tomcat на Undertow
• Добавление API для схем и получения таблиц
• Удаление индекса dinky_cluster
• Оптимизация запросов мапперов
• Оптимизация проблем с типами атрибутов классов
• Удаление сообщений о предупреждениях на странице управления пользовательскими функциями (UDF)
• Оптимизация размещения некоторых веб-страниц для лучшего отображения на маленьких экранах
• Оптимизация проблемы виртуального скроллинга в списке деталей источников данных
• Оптимизация страницы входа
• Оптимизация действий документации
• Обновление зависимостей документации
• Улучшение получения структуры таблиц
• Оптимизация конфигурации кластера и запуска сессий кластера для ручной регистрации
• Оптимизация описания и размещения параметров конфигурации в центре конфигураций
• Оптимизация предупреждений о правах ролей
• Добавление эффекта загрузки при получении родства
• Реализация единой JSON (Jackson) сериализации
• Добавление предупреждения: роли и арендаторы связаны
• Изменение и обновление номеров версий SQL файлов
• Оптимизация отображения схемы операторов Flink в центре управления
• Улучшение пользовательского интерфейса Dinky Flink Web UI
• Изменение порядка колонок типа TIMESTAMP в Oracle, чтобы они располагались перед колонками типа TIME
• Оптимизация размещения списка задач- Улучшение многих кодов
• Добавление функции повторного импорта задач
• Ограничение максимального процента использования памяти JVM с помощью параметра -XX:MaxRAMPercentage
• Улучшение вывода логов K8S
• Оптимизация обновления состояния приложения Flink в режиме application
• Переработка страницы разработки данных для улучшения пользовательского опыта
• Удаление ограничений на использование подчеркивания в названиях задач
• Изменение названия ключа токена
• Удаление кавычек при построении FlinkSQL
• Обновление версии FlinkCDC до 3.2
• Переработка метода получения номера версии
• Добавление метода правого щелчка мыши для вкладок
• Улучшение нового пользовательского интерфейса
• Оптимизация отладки задач для предварительного просмотра данных
• Улучшение порядка выполнения FlinkDDL
• Удаление старых страниц разработки данных и исправление мелких недочетов
• Переход на использование / как разделителя файлов
• Добавление файла package-lock.json
• Улучшение проверки инструкций и добавление тестов
• Перемещение DataStudioNew в DataStudio
• Переработка запросов результатов
• Добавление метода PING PONG для websocket
• Добавление времени последнего изменения в нижней части экрана
• Улучшение стиля IDE
• Удаление старого анализа зависимости
• Оптимизация темы разработки данных
• Улучшение CDCSOURCE для поддержки вывода в print и mock
• Оптимизация иконок кнопок отключения- Улучшение иконок разработки данных
• Изменение метода отображения данных таблиц
• Улучшение состояния выполняющихся задач и улучшение пользовательского интерфейса
• Оптимизация логики построения меню ролей
• Улучшение старта Dinky без зависимости от Flink
• Улучшение отсутствия сообщений об ошибках при загрузке файлов в центре управления ресурсами
• Улучшение вывода ошибок при отправке задач
• Синхронизация переключения вкладок задач на соответствующие сервисы
• Удаление предыдущих неудачных кластеров при повторной отправке задач
• Улучшение выпадающего списка выбора jar-файлов для Flink
• Улучшение размера пакета приложения
• Улучшение адаптивного дизайна интерфейса входа
• Улучшение подсказок переменных
• Улучшение размера пакета приложения и протокола rs
• Добавление страницы управления ресурсами для разработки данных
• Добавление мониторинга состояния развертывания
• Улучшение некоторых скриптов
• Добавление параметра по умолчанию jobmanager.memory.process.size
• Улучшение метода утверждения ошибок запроса от调度器请求错误断言方法

Улучшение метода утверждения ошибок запроса от调度器请求错误断言方法 → Улучшение метода утверждения ошибок запроса от调度器请求错误断言方法 (переводить только текст вокруг числовых выражений и терминов)- Реорганизовать выполнение UDF

• Оптимизировать получение родства данных, добавить точки сохранения, оптимизировать отображение имен классов UDF
• Оптимизировать пользовательский интерфейс страницы разработки данных
• Изменить местоположение хранения данных SQLite
• Заменить китайские комментарии на английские
• Добавить автоматическое изменение ширины для страницы приветствия
• Добавить документацию по отправке заданий в Dolphin Scheduler

  Документация

  • Добавить документацию по отправке заданий K8S
  • Добавить интеграцию с Datasophon
  • Добавить документацию по Flink CLI
• Обновить информацию о регистрации ICP
• Обновить руководство по развертыванию
• Исправить документацию по развертыванию
• Обновить документацию для предварительного просмотра данных
• Обновить изображения в руководстве по быстрому началу работы
• Исправить неверные ссылки в README.md и README_zh_CN.md по развертыванию исходного кода.

  Сотрудники

  @aiwenmo
  @binggana
  @chenhaipeng
  @dagenjun
  @emmanuel-ferdman
  @gaoyan1998
  @gphwxhq
  @hashmapybx
  @Jam804
  @javaht
  @jianjun159
  @leechor
  @MactavishCui
  @maikouliujian
  @MaoMiMao
  @miaoze8
  @RainHXXXX
  @stevenkitter
  @soulmz
  @suger-bl
  @suxinshuo
  @yuxiqian
  @zackyoungh
  @zhuangchong
  @zhuxt2015
  @Zzm0809
  @18216499322

Уведомление об обновлении

• Dinky 1.0 является переработанной версией, которая включает переработку существующих функций и добавление нескольких корпоративных функций. В этой версии исправлены некоторые ограничения версии 0.7. Прямое обновление с версии 0.7 до 1.0 невозможно. Рекомендуется перенести на версию 1.0.
• С версии Dinky 1.0, сообщество Dinky перестанет поддерживать все версии, предшествующие 1.0.
• С версии Dinky 1.0, сообщество Dinky будет поддерживать Flink версий 1.14.x и выше, а также прекратит поддержку версий Flink ниже 1.14. В то же время, Flink добавит новые функции, которые будут постепенно поддерживаться Dinky.
• С версии Dinky 1.0 и выше, для каждого нового основного выпуска Flink будет добавлен новый основной выпуск Dinky, а также будет исключен один выпуск Dinky-Client. Исключение версий может быть осуществлено путем голосования, результаты которого определят исключаемую версию.
• В процессе переработки было выпущено 4 RC-версии. RC-версии могут быть обновлены, но рекомендуется перенести на версию 1.0-RELEASE, чтобы избежать некоторых проблем.
• Пользователи версии Dinky 0.7 могут продолжать использовать 0.7, но поддержка и обслуживание будут прекращены. Рекомендуется как можно скорее перенести на версию 1.0.### Нерекомендуемые изменения
• Динамические переменные CDCSOURCE были переопределены с ${} на #{}.
• Глобальные переменные _CURRENT_DATE_ и другие были удалены, их заменили выражениями переменных.
• Определение задач Flink Jar было изменено с EXECUTE JAR формы на синтаксис EXECUTE JAR.
• Определение dinky-app-xxxx.jar для режима Application было перемещено в конфигурацию кластера.
• Некоторые части DDL базы данных несовместимы с обновлением.
• Тип атрибута встроенных каталогов Dinky был изменен с dlink_catalog на dinky_catalog.### Переработка
• Переработка разработки данных.
• Переработка центра управления.
• Переработка центра регистрации.
• Переработка процесса подачи задач Flink.
• Переработка способа подачи задач Flink JAR.
• Переработка архитектуры целостного синхронного копирования базы данных CDCSOURCE.
• Переработка мониторинга и оповещений задач Flink.
• Переработка управления правами доступа.
• Переработка конфигурации системы на онлайн-конфигурацию.
• Переработка процесса отправки DolphinScheduler.
• Переработка метода упаковки.### Новые функции
• Поддержка подсказок кода для разработки данных.
• Поддержка реального времени вывода данных таблиц Flink.
• Реальное время вывода логов подачи задач в консоль.
• Поддержка целостного синхронного копирования базы данных Flink CDC 3.0.
• Поддержка пользовательских правил оповещений и пользовательских шаблонов оповещений.
• Поддержка подачи задач Flink k8s operator.
• Поддержка прокси-доступа к Flink webui.
• Добавлены пользовательские графики мониторинга метрик задач Flink.
• Поддержка мониторинга JVM Dinky.
• Добавлены функции центра ресурсов (local, hdfs, oss) и расширены протоколы rs.
• Добавлены функции управления проектами Git UDF/JAR и процесса сборки.
• Поддержка подачи задач Flink Jar в полном режиме.
• Добавлены синтаксисы ADD CUSTOMJAR и ADD FILE для динамической загрузки зависимостей и файлов.
• Поддержка OpenAPI для отправки пользовательских параметров.
• Обновление системы прав доступа, поддерживающей арендаторов, роли, токены и права доступа к меню.
• Поддержка LDAP.
• Добавление функции небольших инструментов на страницу разработки данных.
• Поддержка отправки зависимых задач в DolphinScheduler.
• Реализация функции остановки Flink-экземпляров.
• Реализация синхронизации всей базы данных с использованием CDCSOURCE с несколькими степенями параллелизма и сохранением порядка данных.- реализация функции предотвращения повторной отправки уведомлений с настраиваемым подходом
• реализация функции выполнения обычных SQL-запросов с помощью DolphinScheduler
• добавление функции получения зависимых JAR, загруженных в систему, и их группировки для упрощения диагностики проблем, связанных с JAR
• реализация функции тестирования подключения к конфигурации кластера
• поддержка развертывания H2, MySQL, PostgreSQL, по умолчанию используется H2

Новые синтаксические конструкции

• CREATE TEMPORAL FUNCTION для определения временных функций
• ADD FILE для динамической загрузки файлов классов/конфигураций и т. д.
• ADD CUSTOMJAR для динамической загрузки зависимых JAR
• PRINT TABLE для реального времени просмотра данных таблицы
• EXECUTE JAR для определения задач Flink Jar
• EXECUTE PIPELINE для определения задач Flink CDC 3.x для синхронизации всей базы данных

Исправления

• исправление проблемы отсутствия пути extends в переменной CLASS_PATH в auto.sh
• исправление проблемы, когда состояние жизненного цикла списка задач не обновляется после публикации/снятия с эксплуатации
• исправление проблемы, когда синтаксис set в Flink 1.18 не работает и вызывает ошибку null
• исправление проблемы сохранения точек контроля в истории
• исправление проблемы создания представлений в Dinky Catalog
• исправление проблемы, когда Flink application не выбрасывает исключение
• исправление проблемы неправильного отображения опций уведомлений- исправление проблемы жизненного цикла задач
• исправление проблемы отображения YAML k8s в конфигурации кластера
• исправление проблемы неправильного форматирования времени выполнения в списке задач в центре управления
• исправление проблемы диалогового окна Flink DAG
• исправление проблемы отсутствия пути точки контроля
• исправление проблемы неправильного расположения узлов при отправке задач в DolphinScheduler
• исправление проблемы, когда параметры задач не применяются при наличии одинарных кавычек в конфигурации set
• обновление jmx_prometheus_javaagent до версии 0.20.0 для решения некоторых уязвимостей CVE
• исправление проблемы отображения точек контроля
• исправление проблемы, когда экземпляр задачи всегда находится в состоянии выполнения
• исправление проблемы отсутствия вывода логов при неудачной отправке задачи Yarn Application
• исправление проблемы неправильного отображения конфигурации yarn prejob
• исправление проблемы неправильного формирования URL, приводящей к неудаче запроса
• исправление проблемы вставки одного и того же значения токена при одновременном входе нескольких пользователей
• исправление проблемы неправильного отображения формы уведомлений
• исправление проблемы неправильной проверки FlinkSQLEnv
• исправление проблемы, когда синтаксис set не применяется- Исправлено проблему применения пользовательских конфигураций Flink и Hadoop в конфигурации кластера Yarn
• Исправлено проблему получения информации о точках контроля в центре управления
• Исправлено проблему отсутствия проверки состояния задач после их завершения в Yarn Application
• Исправлено проблему отсутствия вывода логов при неудачной отправке задачи Yarn
• Исправлено проблему с выбором конфигурации заданий при запуске Flink-экземпляров из кластерной конфигурации
• Исправлено неверное определение состояния заданий в состоянии RECONNECT
• Исправлено проблему с отправкой заданий FlinkJar в режиме PreJob
• Исправлено проблему с обнаружением PID при запуске Dinky
• Исправлено конфликтное поведение встроенной Paimon при несоответствии версий пользовательской интеграции (используя shade)
• Исправлено проблему с параметрами CheckPoint для заданий FlinkJar в режиме Application
• Исправлено проблему с обновлением имени и примечаний при изменении заданий
• Исправлено обязательное требование к вводу пароля при регистрации источников данных
• Исправлено неверное обнаружение пульса экземпляров кластера
• Исправлено проблему с невозможностью использования команды set при отправке заданий Jar
• Исправлено проблему с невозможностью сворачивания списка заданий в разделе "Разработка данных" в определенных случаях- Исправлена проблема повторного отправления уведомлений при использовании многопоточности
• Исправлена проблема с высотой тега при открытии заданий в разделе "Разработка данных"
• Исправлена проблема с неправильным отображением логов JobManager в разделе "Детали заданий" в центре управления
• Исправлена проблема с NullPointerException (NPE) в Catalog
• Исправлено неверное определение состояния заданий PreJob
• Исправлена проблема с синтаксисом добавления пользовательских Jar
• Исправлена проблема с невозможностью мониторинга заданий Jar
• Исправлена проблема с недействительным токеном
• Исправлена проблема с разделителями команд и связанными с ними проблемами, а также удалены системные конфигурации
• Исправлена проблема с рендерингом состояния заданий в центре управления
• Исправлена проблема с невозможностью удаления заданий при отсутствии экземпляров заданий
• Исправлена проблема повторного отправления уведомлений об ошибках
• Исправлена проблема с отправкой заданий PythonFlink
• Исправлена проблема с невозможностью использования глобальных переменных в режиме Application
• Исправлена проблема с невозможностью запуска заданий K8s из-за неинициализированных типов ресурсов
• Исправлена проблема с неверным получением pipeline для заданий Jar, что приводило к невозможности использования в фронтенде
• Исправлена проблема с преобразованием временных меток SQLServer в строки- Исправлена проблема с NullPointerException (NPE) при публикации заданий с UDF
• Исправлена проблема с невозможностью получения истории выполнения для заданий Jar
• Исправлена проблема с NullPointerException (NPE) при получении DDL и запросов для источников данных Doris, что приводило к падению фронтенда

Оптимизации

• Добавлено увеличение ширины ключей для конфигураций заданий
• Оптимизировано получение дерева каталогов заданий
• Оптимизировано отправление приложений Flink на Yarn
• Оптимизировано использование паттерна Builder для класса Explainer
• Оптимизировано управление документами
• Реализовано использование SPI для операторов
• Оптимизировано отображение модального окна для форм документов
• Оптимизировано отображение типов Flink-экземпляров
• Оптимизировано поле поиска для деталей источников данных
• Оптимизировано получение версий через API сервера
• Оптимизирована логика отмены заданий, позволяющая принудительно остановить отсоединенные задания
• Оптимизировано обнаружение ссылок при частичном удалении из центра регистрации
• Оптимизировано создание заданий с возможностью указания шаблонов заданий
• Оптимизировано удаление заданий
• Оптимизировано частичное локализирование фронтенда
• Оптимизировано переключение тегов результатов и консоли при предварительном просмотре
• Оптимизирована логика загрузки UDF для K8S- Оптимизация синхронизации всей базы данных по таблицам
• Оптимизация логики перехода к странице с деталями для списка источников данных в центре регистрации
• Оптимизация логики конфигурации заданий (редактирование конфигурации заданий недоступно в состоянии "опубликовано")
• Оптимизация логики рендеринга кластерных экземпляров для конфигурации заданий в разработке данных
• Оптимизация обнаружения пульса для кластера Flink
• Оптимизация обработки ошибок получения данных источниками данных
• Оптимизация стратегии остановки программ на грубую остановку
• Поддержка CDCSOURCE для настройки режима запуска с использованием самых ранних смещений и меток времени
• Отмена ограничений уникальности пути сохранения для таблиц заданий
• Оптимизация light_schema_change для CDCSOURCE при переносе данных из MySQL в Doris
• Оптимизация добавления пути к домашнему каталогу FLINK_HOME в скрипты запуска
• Оптимизация замены абсолютных путей на относительные в некоторых фронтендовых компонентах
• Изменение пароля по умолчанию для учетной записи администратора на сильный пароль### Документация
• Улучшение документации для списка кластерных экземпляров в центре регистрации
• Улучшение документации для оповещений в центре регистрации
• Улучшение документации для проектов Git в центре регистрации
• Изменение домена
• Улучшение документации для центра регистрации и центра аутентификации
• Улучшение документации для разработчиков вкладчиков
• Добавление описаний параметров для CDCSOURCE для debezium.*
• Изменение структуры документации на официальном сайте
• Добавление части документации для разработки данных
• Удаление устаревших/ошибочных документов
• Добавление документации для быстрого старта
• Добавление документации для развертывания
• Оптимизация документации для синхронизации по таблицам
• Оптимизация документации для стандартного развертывания
• Добавление документации для предотвращения повторной отправки оповещений
• Оптимизация документации для openapi
• Добавление документации для конфигурации HDFS HA
• Оптимизация документации для LDAP
• Исправление ошибок в словах в некоторых документах
• Исправление ошибок версий в документации по интеграции с DolphinScheduler

Безопасность

• CVE-2023-2976
• CVE-2020-8908

Другое

• Добавление некоторых автоматизированных действий

Исправления:
[Fix-2739] Исправлено отсутствие пути extends в переменной CLASS_PATH скрипта auto.sh
[Fix-2740] Исправлено отсутствие перерendering значения жизненного цикла списка заданий после публикации/снятия с публикации
[Fix] Исправлено несоответствие синтаксиса set в Flink 1.18 и возникновение ошибки null
[Fix] Исправлено поведение механизма сохранения истории коммитов
[Fix] Исправлено отображение таблиц Flink
[Fix] Исправлено создание представлений в каталоге
[Fix] Исправлено отсутствие выбрасывания исключений при выполнении Flink application
[Fix] Исправлено некорректное отображение опций оповещений
[Fix] Исправлено поведение жизненного цикла заданий
[Fix-2754] Исправлено отображение YAML конфигурации k8s в конфигурации кластера
[Fix-2756] Исправлено форматирование времени выполнения списка заданий в центре управления
[Fix-2777] Исправлено отображение диалогового окна Flink dag
[Fix-2782] Исправлено отсутствие нахождения пути checkpoint
[Fix] Исправлено некорректное положение узлов при отправке заданий в распределитель задач DolphinScheduler
[Fix-2806] Исправлено отсутствие применения параметров задания при наличии одинарных кавычек в конфигурации set
[Fix-2811] Обновлен jmx_prometheus_javaagent до версии 0.20.0 для решения некоторых уязвимостей CVE
[Fix-2814] Исправлено отображение checkpoint
[Fix] Исправлено отсутствие применения ADDJAR синтаксиса в Flink catalog
[Fix] Исправлены некоторые проблемы в центре управления [Fix-2832] Исправлено отсутствие упаковки по умолчанию для драйвера H2
[Fix] Исправлены некоторые проблемы с SQL
[Fix] Исправлено отсутствие выхода из состояния выполнения для экземпляров заданий
[Fix-2843] Исправлено отсутствие вывода логов при неудачной отправке задачи Yarn Application
[Fix] Исправлены некоторые проблемы с UDF в H2
[Fix-2823] Исправлено отсутствие рендеринга кластера prejob Yarn при конфигурации заданий
[Fix] Исправлено некорректное формирование URL, приводящее к неудаче запроса
[Fix-2855] Исправлено отображение параметров таблицы savepoint
[Fix-2776] Исправлено отсутствие уникальности значений токенов при многопользовательской авторизацииОптимизации:
[Improve] Улучшено извлечение YAML из команды execute pipeline
[Optimization] Добавлено увеличение ширины ключей конфигурации заданий
[Optimization] Добавлено конфигурирование порта dinky в PrintNetSink
[Improve] Улучшено отображение текущего дерева заданий
[Optimization-2773] Улучшено отображение дерева каталогов источников данных с двумя полосами прокрутки
[Optimization-2822] Улучшено отображение подсказок страницы метрик
[Optimization] Улучшено отправление Flink на Yarn
[Optimization] Улучшено использование паттерна Builder для построения результатов в классе Explainer
[Optimization] Улучшено управление документами
[Optimization] Реализовано использование SPI для операторов
[Improve] Улучшено отображение всплывающих окон форм документов
[Optimization-2757] Улучшено отображение типа экземпляров Flink
[Optimization-2755] Улучшено отображение поля поиска деталей источников данных
[Optimization] Добавлено реализование ресурсов для DinkyClassLoaderДокументация:
[Документ] Улучшено описание списка экземпляров кластера в центре регистрации
[Документ] Улучшено описание оповещений в центре регистрации
[Документ] Улучшение документации Git-проекта для регистративного центра
[Документ] Улучшение документации быстрого старта для k8s
[Документ] Изменение домена
[Документ] Улучшение документации для регистративного и аутентификационного центров
[Документ] Улучшение документации для вкладчиков-разработчиков
[Документ] Добавление описания параметров в CDCSOURCE для Debezium.*
[Документ-2830] Обновление официальной документации по загрузке
[Документ] Изменение структуры официальной документации

Вкладчики:
@aiwenmo
@gayyan1998
@gitfortian
@leeoo
@leechor
@stdnt-xiao
@yangzehan
@zackyoungh
@Zzm0809

Введение

Dinky — это платформа для разработки данных на основе Apache Flink, которая позволяет быстро создавать и развертывать данные.

Обновление

Dinky 1.0 — это переработанная версия, которая включает переработку существующих функций и добавление нескольких корпоративных функций, а также исправление некоторых ограничений версии 0.7. В настоящее время прямое обновление с 0.7 до 1.0 невозможно, но в будущем будут предоставлены схемы обновления.

Функции

Основные функции включают:- Разработка данных с использованием FlinkSQL: автозавершение, синтаксическое выделение, форматирование запросов, проверка синтаксиса, план выполнения, MetaStore, анализ зависимости, сравнение версий и т. д.

• Поддержка разработки FlinkSQL для нескольких версий и различных режимов выполнения: локальный, standalone, Yarn/Kubernetes Session, Yarn Per-Job, Yarn/Kubernetes Application.
• Поддержка экосистемы Apache Flink: соединители, FlinkCDC, Paimon и т. д.
• Поддержка улучшений синтаксиса FlinkSQL: полное синхронное копирование базы данных, среда выполнения, глобальные переменные, объединение запросов, агрегирующие функции таблиц, загрузка зависимостей, права доступа на уровне строк, загрузка JAR и т. д.
• Поддержка полного синхронного копирования базы данных в реальном времени с использованием FlinkCDC: вывод из нескольких баз данных, автоматическое создание таблиц, эволюция схемы, разделение на базы данных и таблицы.
• Поддержка разработки SQL-заданий и просмотра метаданных: ClickHouse, Doris, Hive, MySQL, Oracle, Phoenix, PostgreSQL, Presto, SQL Server, StarRocks и т. д.
• Поддержка реального времени отладки Flink: просмотр данных таблиц, логов изменений, операторов, каталогов, UDF.
• Поддержка пользовательских метрик и аналитики для Flink-заданий: пользовательские правила оповещений.- Поддержка операций управления в реальном времени: запуск и остановка, информация о задании (включая получение checkpoint), логи задания, информация о версии, снимки задания, мониторинг, анализ зависимости SQL, записи оповещений и т. д.
• Поддержка оповещений в реальном времени для заданий: DingTalk, WeChat Enterprise, Feishu, электронная почта, SMS и т. д.
• Поддержка автоматического восстановления SavePoint/CheckPoint: последний, самый ранний, определённый и т. д.
• Поддержка управления ресурсами: экземпляры кластера, конфигурации кластера, источники данных, оповещения, документация, глобальные переменные, проекты Git, UDF, системные конфигурации и т. д.
• Поддержка корпоративного управления: арендаторы, пользователи, роли, меню, токены, права доступа к данным.# Новые функции
• Добавлена панель управления на главной странице
• Поддержка автозавершения кода для разработки данных
• Поддержка реального времени вывода данных Flink-таблиц
• Поддержка вывода логов подачи заданий в реальном времени в консоли
• Поддержка полного синхронного копирования базы данных с использованием Flink CDC 3.0
• Поддержка пользовательских правил оповещений и шаблонов сообщений оповещений
• Полная переработка центра управления
• Поддержка k8s и k8s оператора
• Поддержка прокси-доступа к Flink webui
• Поддержка мониторинга Flink-заданий
• Поддержка мониторинга JVM для Dinky
• Добавлена функция центра управления ресурсами, расширена протокол rs
• Добавлена поддержка управления проектами Git UDF/JAR и полного процесса сборки
• Поддержка полномасштабного режима application для пользовательских jar
• Поддержка пользовательских параметров в openapi
• Обновление системы прав доступа, поддерживающей арендаторов, роли, токены и права доступа к меню
• Поддержка аутентификации через LDAP
• Добавлены новые инструменты в страницы разработки данных
• Поддержка отправки зависимых задач в DolphinScheduler

Характеристики:

• Поддержка Apache Flink 1.16.0
• Добавлена поддержка упаковки Java UDF
• Поддержка автоматической загрузки UDF в режиме Flink Session
• Поддержка автоматической загрузки UDF в режиме Flink Per-Job
• Поддержка автоматической загрузки UDF в режиме Flink Application
• Поддержка онлайн-разработки Python UDF
• Поддержка онлайн-разработки Scala UDF
• Поддержка пользовательских K8S Application
• Добавлена возможность загрузки FlinkJar файлов
• Поддержка анализа родства полей из логического плана для всех версий Flink
• Поддержка Flink JDBC для фильтрации данных
• Поддержка Flink JDBC для фрагментированного запроса с использованием datetime
• Добавлена поддержка многосессионного управления
• Добавлена возможность выбора сессии при входе
• Добавлена поддержка автоматического создания задач Dolphin Scheduler
• Добавлен системный лог-контроллер
• Добавлен контроллер выполнения прогресса
• Добавлены шаблоны Flink UDF
• Добавлена поддержка источника данных Presto
• Добавлена поддержка удаления узлов дерева задач
• Добавлена поддержка записи метаданных в datastream-doris-ext для CDCSOURCE
• Добавлена кнопка обновления метаданных в среде разработки данных
• Добавлена поддержка копирования источников данных
• Добавлена поддержка интернационализации фронтенда
• Добавлена поддержка интернационализации бэкенда
• Добавлена поддержка автоматического развертывания приложений K8S
• Добавлен FlinkWebUI в режиме Local- Добавлены встроенные глобальные переменные даты для FlinkSQL
• Добавлен SQL-контроллер
• Добавлена поддержка Kerberos-аутентификации в режиме Flink Session
• Добавлена эволюция режима Doris для CDCSOURCE
• Добавлена возможность пользователей самостоятельно менять пароли
• Добавлена возможность остановки Flink кластера
• Добавлена поддержка автоматического развертывания Flink Session кластера через конфигурацию кластера
• Добавлена поддержка мониторинга JMX
• Добавлена очистка консоли управления задачамиИсправления:
• Исправлено отсутствие пути к файлу savepoint при восстановлении задачи из указанного savepoint
• Исправлено отсутствие видимости источника данных StarRocks
• Исправлено возникновение ошибок при смене источника данных после запроса данных
• Исправлено возникновение ошибок при запросе метаданных представлений источника данных
• Исправлено возникновение ошибок при проверке Oracle
• Исправлено возникновение ошибок при получении схемы метаданных PG-базы данных
• Исправлено отсутствие включения kafka properties
• Исправлено неправильное передача параметра useAutoCancel в jobConfig
• Исправлено возникновение ошибок мониторинга задач из-за многосессионности
• Исправлено возникновение ошибок при удалении экземпляра кластера, что приводит к невозможности остановки существующих задач
• Исправлено отсутствие переменных источников данных в режиме Application
• Исправлено открытие нескольких вкладок при повторном нажатии на задачу
• Исправлено отсутствие поддержки добавления transactionalIdPrefix в cdcsource KafkaSink, что приводит к ошибкам отправки сообщений Kafka
• Исправлено отсутствие отображения кластера при пустом алиасе кластера
• Исправлено возникновение ошибок при запросе действующих версий
• Исправлено возникновение ошибок при завершении задач Per-Job и Application, когда состояние остается неизвестным
• Исправлено возникновение ошибок при подключении на странице входа- Исправлено отсутствие сессии пользователя при использовании Open API.
• Исправлено возникновение ошибок при переключении редактора задач.Оптимизации:
• Добавлена настройка параметров MySQL CDC
• Оптимизированы datastream kafka-json и datastream starrocks
• Поддержка кэширования метаданных в Redis
  Автоматически добавлять uuid после doris label prefix
  Оптимизировать переключение тенантов
  Изменить центр ресурсов на центр аутентификации
  Добавить плагин spotless
  Оптимизировать SQL-файлы для разных версий
  Улучшить автоматическое создание таблиц MySQL
  Оптимизировать метаданные PostgreSQL
  Оптимизировать DDL-запросы для PostgreSQL
  Оптимизировать Flink Oracle Connector
  Оптимизировать maven assembly и profile
  Совместимость с Java 11
  Удалить повторную инициализацию источников данных
  Обновить драйвер MySQL до версии 8.0.28
  Обновить Flink до версии 1.14.6
  Обновить версии Guava и Lombok
  Обновить версии jackson и sa-token
  Оптимизировать анализ линеек для поддержки watermark, пользовательских функций, LOCALTIMESTAMP, CEP и ROW_NUMBER
  Центр аутентификации недоступен для обычных пользователей
  Документация:
• Оптимизировать ReadMe
• Обновить официальный сайт
• Оптимизировать документацию по развертыванию
• Добавить документацию по мониторингу Flink Metrics и оптимизации

Новые функции:

• Реализация многосайтового режима
• Однокликовый запуск и остановка задач
• Добавление глобального управления переменными
• Добавление формы для именованных пространств и паролей
• Выбор многосайтового режима при входе
• Реализация многосайтового управления бизнесом на фронтенде
• Добавление GitHub рабочего процесса для проверки стиля кода, тестов и сборки
• Добавление Druid подключения для решения проблемы множественных подключений JDBC
• Добавление функции назначения ролей пользователям
• Изменение по умолчанию версии Flink на OnClickListener 1.14
• Добавление реализации глобального управления переменными
• Добавление синхронизации всей базы данных SQLServer
• Добавление глобальных переменных в FlinkSQL
• Добавление анализа происхождения данных из логического плана Flink
• Добавление синхронизации всей базы данных PostgreSQL
• Изменение checkstyle на обязательное требование
• Добавление документации Swagger API
• Добавление функции многоцелевой синхронизации баз данных для cdcsource
• Добавление загрузки файлов
• Добавление загрузки файлов в управление конфигурациями JAR и кластера
• Добавление источника данных StarRocks
• Добавление времени повторной попытки при ошибке задачи
• Добавление кнопки для просмотра подробной информации о логах задачи
• Исправление:
• Исправление повторного определения задачи в коде мониторинга задач- Исправление параметров уведомления по электронной почте
• Исправление получения неправильной информации о примере задачи
• Исправление ошибок при массовом вводе данных через Doris connector
• Исправление ошибки в методе buildRow класса SQLSinkBuilder
• Исправление проблем с отсутствующими зависимостями при выполнении Flink 1.14
• Исправление проблемы с отсутствием taskId в форме кластера для получения savepoint
• Исправление проблемы с невозможностью автоматического освобождения ресурсов при использовании yarn per-job
• Исправление проблем с добавлением и удалением ролей в многосайтовом режиме
• Исправление ошибки SubscriptionType в dlink-conector-pulsar-1.14
• Исправление проблемы с jackjson при выполнении savepoint Flink 1.14
• Исправление ошибок преобразования типов полей метаданных
• Исправление ошибок при несериализации KafkaSinkBuilder при синхронизации всей базы данных
• Исправление ошибок в запросах управления документацией в реестре
• Исправление проблем с конфигурацией кластера для yarn perjob/application и k8s application
• Исправление ошибок при подаче заявки в режиме k8s application, оптимизация добавлена ожидание времени получения JobId
• Исправление ошибок в баннерах логов
• Исправление ошибок UDF и UDTAF в Flink 1.14
• Исправление ошибок разделения задач в yarn-application
• Исправление ошибок сохранения задачи после переименования
• Исправление отсутствия контента во втором окне при отправке истории
• Оптимизация:- Оптимизация фронтенда и документации
• Оптимизация удаления версий задач после удаления задач
• Оптимизация проблемы переполнения дерева задач после импорта задач
• Оптимизация списка процессов в разработке данных
• Оптимизация логики разделения при синхронизации всей базы данных
• Оптимизация типов файлов для игнорирования при коммите git
• Оптимизация README на китайском и английском языках
• Удаление чувствительной информации из некоторых интерфейсов
• Оптимизация многосайтового режима
• Добавление Maven Wrapper
• Оптимизация проблемы часового пояса при синхронизации всей базы данных
• Оптимизация разделителя по умолчанию для SQL на ;
• Оптимизация стиля кода
• Добавление .DS_Store в список игнорируемых файлов в git
• Оптимизация многостандартного арендного бизнеса и отрисовки форм
• Оптимизация многостандартного арендного бизнеса и переключения ролей с фронтальным отображением
• Оптимизация отрисовки ролей пользователя
• Оптимизация стиля кода для dlink-admin
• Оптимизация стиля кода для dlink-alert
• Оптимизация стиля кода для dlink-common
• Оптимизация стиля кода для dlink-catalog
• Оптимизация стиля кода для dlink-client
• Оптимизация стиля кода для dlink-app
• Оптимизация пула подключений к источникам данных и создания подключений
• Оптимизация стиля кода для dlink-connectors
• Оптимизация стиля кода для dlink-core
• Оптимизация стиля кода для dlink-daemon
• Оптимизация стиля кода для dlink-executorОптимизация стиля кода для dlink-function и dlink-gateway
  Оптимизация стиля кода для dlink-metadata
  Добавление заголовков протоколов в файл pom
  Оптимизация сборки проекта и файлов запуска
  Добавление ServicesResourceTransformer для сборки dlink-client-hadoop
  Оптимизация сборки файлов конфигурации и статических ресурсов
  Настройка глобальной проверки стиля кода checkstyle
  Добавление преобразования типа date для SQL Server
  Оптимизация SQL для поиска schema_name в PG базе данных
  Поддержка большего количества синтаксиса в Doris
  Оптимизация полной синхронизации базы данных DorisSink
  Оптимизация отображения и уведомлений в фронтальной части
  Оптимизация по умолчанию скрытия папок разработки данных
  Оптимизация DorisSink и обновление Flink до версии 1.15.2
  Обновление версии Flink 1.15 до 1.15.2
  Оптимизация запросов SQL Server для типов полей

Документация:
Объединение исходного кода официального сайта в папку docs основного репозитория
Добавление документации для Flink 1.15
Исправление документации по полной синхронизации базы данных
Добавление документации для импорта и экспорта заданий
Оптимизация нескольких документов
Обновление документации для главной страницы и базовой информации
Добавление документации по расширению Flink для Redis
Оптимизация документации по развертыванию

Новые функции:

• Добавлен список версий истории заданий в центре эксплуатации.
• Добавлена функция сравнения исторических версий для разработки данных.
• Добавлен Flink MySQL Catalog.
• Добавлен FlinkSQLEnv по умолчанию для Flink MySQL Catalog.
• Добавлены версии 1.13 Doris со скрытым по умолчанию _DORIS_DELETE.
• Добавлен dlink-connector-pulsar.
• Добавлена возможность выбора Checkpoint для перезапуска задач.
• Обновлен Flink с версии 1.15.0 до 1.15.1.
• Добавлена функция просмотра метаданных разработки данных.
• Добавлена функция просмотра метаданных Flink и деталей столбцов.
• Добавлены и обновлены заголовки открытых лицензий.
• Добавлена возможность массового экспорта и импорта JSON файлов заданий.

Исправления:

• Исправлены проблемы Flink-connector-phoenix.
• Исправлены проблемы переполнения памяти из-за заданий.
• Обновлен Flink и исправлены проблемы CDC.
• Исправлены ошибки анализа времени выполнения задач.
• Исправлены проблемы Catalog SPI и SQL.
• Исправлены ошибки Checkpoint в центре эксплуатации и добавлены Savepoint данные.
• Исправлены исключения в SQLSinkBuilder при переводе в план.
• Исправлены ошибки при сборке.
• Исправлены проблемы CopyrightUtil.
• Исправлены проблемы с подачей Flink Yarn Application.
• Исправлены проблемы удаления уведомлений.
• Добавлена поддержка циклических зависимостей.
• Удалены неиспользуемые классы.
• Исправлены проблемы с null значениями в истории заданий.Оптимизации:
• Улучшена поддержка получения графа выполнения FlinkSQL при неудачном выполнении.
• Удалены чувствительные данные, такие как пароли, из API.
• Исправлены проблемы с неправильным отображением информации для удалённых пользователей.
• Улучшена страница Checkpoint в центре эксплуатации.

Конtribуторы:

• @a279780399
• @aiwenmo
• @Arnu-
• @darren-da
• @dzygcc
• @Forus0322
• @gaogao110
• @JPengCheng
• @mydq
• @syyangs799
• @wmtbnbo
• @zhu-mingye

Характеристики:

• Добавлен подключатель Flink для версии Phoenix 1.14
• Добавлена возможность получения пустых и непустых значений из метаданных при генерации FlinkSQL
• Добавлен интерфейс для получения информации о примерах выполнения заданий
• Добавлены интерфейсы для получения информации о снимках Flink, конфигурации JobManager в центре управления
• Добавлены интерфейсы для получения информации о TaskManager в центре управления
• Добавлены опции для получения информации о заданиях и вкладка для информации о заданиях
• Добавлены интерфейсы для получения детальной информации о таблицах и формах TaskManager в центре управления
• Добавлена система управления версиями заданий
• Добавлена информация о истории проверочных точек заданий
• Добавлена возможность отлавливания исключений преобразования значений столбцов в CDCSOURCE
• Добавлены интерфейсы для получения информации о TaskManager
• Добавлена возможность копирования заданийИсправления:
• Исправлено имя источника данных при разработке данных, если оно пустое
• Исправлено отключение других страниц при разработке данных, если первая страница не отключается
• Исправлены исключения при смене метаданных
• Исправлены пустые значения flinkLibPath и cluster-id в конфигурации K8S
• Исправлены исключения при отсутствии точки с запятой в конце FlinkSql
• Исправлены проблемы получения пользовательских конфигураций в конфигурации K8S
• Исправлены исключения NullPointerException при выполнении заданий yarn per-job
• Исправлены проблемы очистки информации о примерах выполнения заданий при принудительной перезагрузке и потере соединения
• Исправлены проблемы применения параметра 'table.local-time-zone'
• Исправлены проблемы поиска класса javax.mail.Address при отправке уведомлений по электронной почте
• Исправлены проблемы проверки 'show databases'
• Исправлены ошибки при проверке null в методе setParentId
• Исправлены проблемы создания таблиц Flink при использовании ключевых слов в FlinkSql в CDCSOURCE
• Исправлены проблемы анализа зависимости полей при наличии одинаковых имен полей
• Исправлены проблемы страницы конфигурации кластера
• Исправлены проблемы настройки псевдонима при отправке уведомлений по электронной почте
• Исправлены проблемы компиляции dlink-connector-phoenix-1.14
• Исправлены проблемы определения полей Oracle, которые могут быть пустыми- Исправлены проблемы поддержки типов MySQL varbinary и binary в CDCSOURCEОптимизации:
• Улучшена подсветка и цвет фона при выборе элементов в поиске дерева заданий
• Улучшено отображение пустых значений в нескольких местах
• Улучшена логика кода explainSqlRecord
• Улучшена страница с информацией о примерах выполнения кластера
• Улучшена скорость обновления анализа зависимости полей
• Улучшена информация об интерфейсе для получения информации о примерах выполнения заданий
• Улучшена информация об отправке уведомлений для всех типов уведомлений

Upgrade Instructions
1.0.2 is a BUG repair version with table structure/data changes, please execute DINKY_HOME/sql/upgrade/1.0.2_schema/data source type/dinky_dml.sql
About SCALA version: The release version uses Scala-2.12. If your environment must use Scala-2.11, please compile it yourself.
Please refer to Compile Deployment and change the scala-2.12 in the profile. for scala-2.11

New Feature
Adapt to various Rest SvcTypes in KubernetsApplicationOperator mode and modify JobId to obtain judgment logic
Added SSE heartbeat mechanism
Added the function of automatically retrieving the latest highly available JobManager address (currently implemented in Yarn; not yet implemented in K8s)
Added the function of clearing logs in the console during data development
Support Flink1.19
Add task group related configuration when pushing to Apache DolphinScheduler
Added a user designated by the user to submit YarnApplication tasks
The startup script adds GC related startup parameters and supports configuring the DINKY_HOME environment variable
Implement FlinkSQL configuration item in cluster configuration to support RS protocol (Yarn mode only)
Fix
Fixed the problem of global variables not being recognized in YarnApplication mode, and reconstructed the YarnApplication submission method
Fixed the problem of data source heartbeat detection feedback error
Fix the possible 404 issue in front-end route jump
Fixed the issue of incorrect error prompt when global variable does not exist
Fixed the issue of cursor movement and flickering in the editor during front-end data development
Fixed the path error problem in the docker file of DockerfileDinkyFlink
Fixed the problem of unrecognized configuration Python options
Fixed null pointer exception in role user list
Fixed some issues when submitting K8s tasks
Fixed Oracle's Time type conversion problem when synchronizing the entire database
Fixed the problem that k8s pod template cannot be parsed correctly
Fixed the issue where SPI failed to load CodeGeneratorImpl
Fixed an issue where numeric columns declared with UNSIGNED / ZEROFILL keywords would cause parsing mismatches
Fixed the issue where the status of batch tasks is still unknown after completion
Fixed some unsafe interfaces that can be accessed without login authentication
Fixed the problem of unknown status in Pre-Job mode
Fixed the problem of retrieving multiple job instances due to duplicate Jid
Fixed the problem that the user list cannot be searched using worknum
Fixed the problem that the query data button on the right side of the result Tag page cannot be correctly rendered when querying data.
Fixed issues with print table syntax
Fixed the problem that the resource list cannot be refreshed after adding or modifying it
Fixed the issue of incorrect console rolling update task status for data development
Fixed the problem of occasional packaging failure
Fixed problems when building Git projects
Optimization
Optimize start and stop scripts
Optimize the problem of partial overflow of the global configuration page
Tips for optimizing UDF management
Optimize the user experience of the operation and maintenance center list page and support sorting by time
Optimize the warehouse address of default data in Git projects
Optimize flink jar task submission to support batch tasks
Optimize the problem that the right-click menu cannot be clicked when it overflows the visual area.
Optimize the primary key key of the list component of the operation and maintenance center
When modifying tasks, the modifiable template is optimized to an unmodifiable template.
Optimize the display method and type of cluster configuration
Optimize the logic of deleting clusters in K8s mode
Fixed the problem that the cluster is not automatically released in Application mode
Remove the logic of using Paimon for data source caching and change it to the default memory cache, which can be configured as redis cache
Removed the automatic pop-up of Console when switching tasks
Optimize the rendering logic of resource management. The resource management function cannot be used when resources are not turned on.
Optimize the detection logic of login status
Optimize login page feedback prompts
Removed some useless code on the front end
Optimize the problem that when the entire library is synchronized to build operator graphs multiple times, the order of the operator graphs is inconsistent, resulting in the inability to recover from the savepoint.
Some tips for optimizing resource allocation
Optimize and improve the replication function of the resource center, supporting all reference scenarios within Dinky currently
Safety
Exclude some high-risk jmx exposed endpoints
Document
Optimize expression variable expansion documentation
Optimize some practical documents for synchronization of the entire database
Add JDBC FAQ about tinyint type
Added a carousel image on the home page of the official document website
Fixed the description problem of resource configuration in document global configuration
Added documents related to environment configuration in global configuration
Delete some configuration items of Flink configuration in the global configuration
Added document configuration description for alarm type email