1 В избранное 0 Ответвления 0

OSCHINA-MIRROR/duhanmin_admin-bigdata-sql-parser

Присоединиться к Gitlife
Откройте для себя и примите участие в публичных проектах с открытым исходным кодом с участием более 10 миллионов разработчиков. Приватные репозитории также полностью бесплатны :)
Присоединиться бесплатно
Клонировать/Скачать
Внести вклад в разработку кода
Синхронизировать код
Отмена
Подсказка: Поскольку Git не поддерживает пустые директории, создание директории приведёт к созданию пустого файла .keep.
Loading...
README.md

Введение

Данные о происхождении, поддержка Spark SQL, Presto SQL, TiDB SQL, Flink SQL, анализ происхождения выполнения команд Spark/Flink jar.

  • Особое примечание: Presto и Spark поддерживают синтаксис with.
  • В настоящее время анализ выполняется на уровне таблиц, возможно расширение до уровня полей.
  • Поддерживается происхождение DataX (MySQL/PG/S3).

Компиляция

mvn antlr4:antlr4

mvn clean package

Использование

  • Spark SQL
val sql = "CREATE DATABASE IF NOT EXISTS bigdata"
val statementData = SparkSQLHelper.getStatementData(sql)
println(statementData.statement)
  • Presto SQL
val sql = "INSERT INTO adc.fsfd with recursive t as (select a,b,v from a.x)  select a,b,v from t"
val statementData = PrestoSQLHelper.getStatementData(sql)
println(statementData.statement)
  • TiDB SQL/MySQL
val sql = "insert into bigdata.user select * from users a left outer join address b on a.address_id = b.id"
val statementData = PrestoSQLHelper.getStatementData(sql)
println(statementData.statement)
  • Flink SQL
val sql = "CREATE SOURCE TABLE student_scores (\n" +
        "  student_number varchar comment '学号', \n" +
        "  student_name varchar comment '姓名', \n" +
        "  subject varchar comment '学科',\n" +
        "  score INT comment '成绩' \n" +
        ")\n" +
        "WITH (\n" +
        "  type = \"dis\",\n" +
        "  kafka.region = \"cn-north-1\"\n" +
        ") TIMESTAMP BY proctime proctime1"

val statementData = StreamSQLHelper.getStatementData(sql).get(0)
println(statementData.statement)

Комментарии ( 0 )

Вы можете оставить комментарий после Вход в систему

Введение

Данные происхождения, поддержка Spark SQL, Presto SQL, TiDB SQL, Flink SQL, DataX происхождения, анализ происхождения команд запуска jar-файлов Spark/Flink; поддержка синтаксиса with. Развернуть Свернуть
Apache-2.0
Отмена

Обновления

Пока нет обновлений

Участники

все

Недавние действия

Загрузить больше
Больше нет результатов для загрузки
1
https://api.gitlife.ru/oschina-mirror/duhanmin_admin-bigdata-sql-parser.git
git@api.gitlife.ru:oschina-mirror/duhanmin_admin-bigdata-sql-parser.git
oschina-mirror
duhanmin_admin-bigdata-sql-parser
duhanmin_admin-bigdata-sql-parser
master