MLSQL Версия 1.6.0 (2020-06-29)

Этот выпуск был подготовлен за долгие шесть месяцев. Основной код практически не меняется и стабилизировался. Больше всего было добавлено новых плагинов для расширения экосистемы MLSQL. Основная причина длительного времени разработки заключается в необходимости накопления и исправления большего количества ошибок, чтобы получить более стабильную версию.

Языковой уровень

Добавлена поддержка автозаполнения кода с помощью нового консольного приложения. Теперь вы можете воспользоваться автозаполнением кода MLSQL. Мы заметили, что его можно использовать как отдельное приложение, поэтому мы также создали отдельный проект.

sql-code-intelligence

Уровень API

Мы добавили mlsql-jdbc, таким образом, помимо HTTP, MLSQL теперь может работать с запросами JDBC.

Кроме того, для REST API мы добавили параметр includeSchema, который будет возвращать информацию о схеме JSON, а не требовать её предположения со стороны клиента.

Плагины

1. Поддержка хранения метаданных плагинов для delta и MySQL. MySQL обеспечивает лучшую производительность запуска.
2. Возможность установки конкретной версии плагина.

Защита при стартеПри запуске система может ещё не быть полностью инициализирована. В этом случае входящий запрос может привести к тому, что некоторые инициализирующие функции не будут завершены. Версия 1.6.0 предоставляет защиту, которая задерживает запрос до полной инициализации.## Совместимость с Spark 3.0.0

На данный момент только MLSQL Core адаптирован к Spark 3.0.0. Многие плагины MLSQL, такие как spark-binlog/delta-plus/pyjava, ещё не были адаптированы. Однако обычные потоковые и батч-задачи работают корректно. Мы планируем завершить адаптацию всех плагинов в версии OnClickListener.CLICK.

Расширенная поддержка Python

MLSQL Engine поддерживает выполнение Python проектов и взаимодействие данных через Ray.

И много исправлений ошибок

Не будем подробно перечислять их здесь.

MLSQL Версия 1.5.0 (2020-01-xx)

MLSQL Версия 1.4.0 (2019-09-xx)

Язык MLSQL

• MLSQL Анализатор

Исправление ошибок

• При извлечении пространства имён HBase возвращается ссылка вместо реального пространства имён.
• При использовании ET JDBC для обновления MySQL происходит потеря данных.
• и многое другое...

Новые возможности

• Python
  • Кластер Tensorflow
  • Интерактивный режим Python
  • Режим таблиц Python
• Batch
  • AdHoc Kafka
• Stream
  • Вывод схемы из данных Kafka
  • Инструменты для Kafka

Прекращённые возможности

• Удалите streamingpro-opencv, streamingpro-dl4j, streamingpro-automl
• Объедините streamingpro-crawler в stremingpro-mlsql
• /stream/jobs/kill и /stream/jobs/running, /run/sql удаленыКомпоненты

• PyJava представляет собой непрерывные усилия по обеспечению возможности обмена данными между Java/Scala и Python.
• Поддержка PyEcharts отображения в консоли MLSQL.
• Поддержка ноутбука в консоли MLSQL

План следующего выпуска

• Поддержка Python должна стать более надёжной.

Ссылки на документацию

• MLSQL-1.4.0

Ссылки на скачивание

• MLSQL-1.4.0

MLSQL Версия 1.3.0 (2019-06-xx)

Основные изменения

• Удалена поддержка Spark 2.2.x

Новые возможности

• Динамическое увеличение/уменьшение ресурсов движка
• Кэширование таблиц
• Создание нового сессионного контекста для каждого запроса (sessionPerRequest)
• Поддержка аутентификации прямых запросов (directQuery Auth)
• Настройка аутентификации SQL-запросов
• Обратный вызов потока
• Режим пакетной обработки потока (для источника)
• Источник данных MySQL Binlog
• Delta Plus
• Умозрительная схема потока
• Инструмент Kafka
• Отслеживание прогресса выполнения скрипта можно получить с помощью команды "load __mlsql__.jobs.get.[jobid]" как выход.MLSQL Версия 1.2.0 (2019-04-14) ==========================

Язык MLSQL

• Добавлен новый символ ! для выполнения команд в MLSQL.
• Валидация грамматики перед фактическим выполнением скрипта MLSQL.

Исправление ошибок

• PR-1011 Jython udf не поддерживает параметры со значением NULL
• PR-1010 Kill не может завершить работу при включенной опции sessionPerUser
• PR-1000 Система показывает задачи без потоковых задач

Новые возможности

• Поддержка аутентификации в момент компиляции / во время выполнения Select Statement
• Поддержка UDF, написанных на Java

Приостановленные возможности

• Используйте streamJDBC вместо JDBC в потоках вывода.
• Используйте streamParquet вместо Parquet в потоках вывода.

Компоненты

• MLSQL Console можно использовать с MLSQL Engine.

План следующего выпуска

• API /stream/jobs/kill, /stream/jobs/running и /run/sql будут удалены в следующем выпуске.
• Модуль streamingpro-automl будет удален в следующем выпуске.

Ссылки на документацию

• MLSQL-1.2.0

Ссылки на скачивание

• MLSQL-1.2.0