OSCHINA-MIRROR/idela-hp-sylph

Sylph

Добро пожаловать в Sylph!

Sylph — это менеджер потоковых заданий.

Sylph использует SQL-запросы для описания вычислений и связывает несколько источников (входов) и стоков (выходов), чтобы визуально разрабатывать и развёртывать потоковые приложения. Через веб-IDE можно легко разрабатывать, развёртывать, отслеживать потоковые приложения и анализировать поведение потоковых приложений в любое время.

Sylph имеет богатую поддержку источников/стоков и гибкие расширения для визуальной разработки и развёртывания приложений потокового анализа и визуального управления жизненным циклом потоковых приложений.

Ядро Sylph заключается в создании распределённых приложений через описания рабочих процессов. Поддерживаются:

Spark Streaming (Spark1.x);
Structured Streaming (Spark2.x);
Flink Streaming.

Лицензия

Copyright (C) 2018 The Sylph Authors

Licensed under the Apache License, Version 2.0 (the "License");
you may not use this file except in compliance with the License.
You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

Unless required by applicable law or agreed to in writing, software
distributed under the License is distributed on an "AS IS" BASIS,
WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
See the License for the specific language governing permissions and
limitations under the License.

StreamingSql

create function get_json_object as 'com.github.harbby.sylph.runner.flink.runtime.UDFJson';

create source table topic1(
    _topic varchar,
    _key varchar,
    _partition integer,
    _offset bigint,
    _message varchar,
    ip varchar extend '$.conntent.ip',                 -- json path
    event_time varchar extend '$.conntent.event_time'  -- json path
) with (
    type = 'kafka08',
    kafka_topic = 'event_topic',
    auto.offset.reset = latest,
    kafka_broker = 'localhost:9092',
    kafka_group_id = 'test1',
    zookeeper.connect = 'localhost:2181'
);

-- 定义数据流输出位置
create sink table event_log(
    key varchar,
    user_id varchar,
    offset bigint
) with (
    type = 'kudu',
    kudu.hosts = 'localhost:7051',
    kudu.tableName = 'impala::test_kudu.log_events',
    kudu.mode = 'INSERT',
    batchSize = 5000
);

insert into event_log
select _key,get_json_object(_message, 'user_id') as user_id,_offset 
from topic1

UDF UDAF UDTF

Регистрация пользовательской функции согласуется с hive.

create function get_json_object as 'com.github.harbby.sylph.runner.flink.runtime.UDFJson';

Сборка

Для сборки Sylph используется Gradle и требуется Java 8. Также, если вы хотите прочитать китайские документы по развёртыванию, 中文部署文档 может вам помочь.

# Build and install distributions
./gradlew clean assemble dist

Запуск Sylph в вашей IDE

После первой сборки Sylph вы можете загрузить проект в свою IDE и запустить сервер. Рекомендуется использовать IntelliJ IDEA.

После открытия проекта в IntelliJ дважды проверьте правильность настройки Java SDK для проекта:

Откройте меню «Файл» и выберите «Структура проекта».
В разделе «SDK» убедитесь, что выбран JDK версии 1.8 (создайте его, если его нет).
В разделе «Проект» убедитесь, что уровень языка проекта установлен на 8.0, поскольку Sylph использует несколько функций языка Java 8.
HADOOP_HOME (2.6.x+) SPARK_HOME (2.4.x+) FLINK_HOME (1.7.x+).

Sylph поставляется с примером конфигурации, которая должна работать сразу после установки. Используйте следующие параметры для создания конфигурации запуска:

Основной класс: com.github.harbby.sylph.main.SylphMaster
Параметры виртуальной машины: -Dconfig=etc/sylph/sylph.properties -Dlogging.config=etc/sylph/logback.xml
Параметры среды: FLINK_HOME=<ваш дом flink> HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
Рабочий каталог: sylph-dist/build
Использовать путь к классам модуля: sylph-main

Полезно 1. yezhixinghai@gmail.com — для обсуждения кода, дизайна и функций.

lydata_jia@163.com — для обсуждения кода, дизайна и функций.
jeific@outlook.com — для обсуждения кода, дизайна и функций.

Получение помощи

Отправьте сообщение в Google Group.
Присоединяйтесь к QQ Group: 438625067.