OSCHINA-MIRROR/opensci-piflow

jar:
- Edit Configurations --> Add New Configuration --> Maven
- Name: package - Command line: clean package -Dmaven.test.skip=true -X
- run 'package' (piflow jar file будет создан в ../piflow/piflow-server/target/piflow-server-0.9.jar)

run HttpService:
- Edit Configurations --> Add New Configuration --> Application
- Name: HttpService
- Main class : cn.piflow.api.Main
- Environment Variable: SPARK_HOME=/opt/spark-2.2.0-bin-hadoop2.6 (измените путь на свой домашний каталог spark)
- запустить 'HttpService'
test HttpService:
- запустить /../piflow/piflow-server/src/main/scala/cn/piflow/api/HTTPClientStartMockDataFlow.scala
- измените IP-адрес и порт сервера piflow на свои настройки

Запуск сервера piflow с помощью версии выпуска:

скачать piflow.tar.gz:
https://github.com/cas-bigdatalab/piflow/releases/download/v1.2/piflow-server-v1.5.tar.gz
распаковать piflow.tar.gz:
tar -zxvf piflow.tar.gz
отредактировать config.properties
запустить start.sh, stop.sh, restart.sh, status.sh
протестировать сервер piflow
- установить PIFLOW_HOME
  - vim /etc/profile
    export PIFLOW_HOME=/yourPiflowPath/bin
    export PATH=$PATH:$PIFLOW_HOME/bin
  - команда
    piflow flow start example/mockDataFlow.json
    piflow flow stop appID
    piflow flow info appID
    piflow flow log appID
    
    piflow flowGroup start example/mockDataGroup.json
    piflow flowGroup stop groupId
    piflow flowGroup info groupId

Как настроить config.properties:

#spark и yarn config
spark.master=yarn
spark.deploy.mode=cluster

#hdfs default file system
fs.defaultFS=hdfs://10.0.86.191:9000

#yarn resourcemanager.hostname
yarn.resourcemanager.hostname=10.0.86.191

#если вы хотите использовать hive, установите hive metastore uris
#hive.metastore.uris=thrift://10.0.88.71:9083

#показать данные в журнале, установите 0, если вы не хотите показывать данные в журналах
data.show=10

#порт сервера
server.port=8002

#порт h2db
h2.port=50002

#Если вы хотите загрузить python стоп, пожалуйста, настройте hdfs configs
#пример hdfs.cluster=hostname:hostIP
#hdfs.cluster=master:127.0.0.1
#hdfs.web.url=master:50070

Запуск πFlow Web:

Посетите адрес, скачайте соответствующий файл *.tar.gz и измените соответствующий конфигурационный файл (версия должна соответствовать piflow-серверу)
https://github.com/cas-bigdatalab/piflow-web/releases/tag/v1.5
Если вы хотите загрузить python остановки, пожалуйста, измените docker.service

vim /usr/lib/systemd/system/docker.service
ExecStart=/usr/bin/dockerd -H tcp://0.0.0.0:2375 -H unix://var/run/docker.sock
systemctl daemon-reload
systemctl restart docker

Restful API:

flow json

flow example


{
"flow": {
"name": "MockData",
"executorMemory": "1g",
"executorNumber": "1",
"uuid": "8a80d63f720cdd2301723b7461d92600",
"paths": [
{
"inport": "",
"from": "MockData",
"to": "ShowData",
"outport": ""
}
],
"executorCores": "1",
"driverMemory": "1g",
"stops": [
{
"name": "MockData",
"bundle": "cn.piflow.bundle.common.MockData",
"uuid": "8a80d63f720cdd2301723b7461d92604",
"properties": {
"schema": "title:String, author:String, age:Int",
"count": "10"
},
"customizedProperties": {
}
},
{
"name": "ShowData",
"bundle": "cn.piflow.bundle.external.ShowData",
"uuid": "8a80d63f720cdd2301723b7461d92602",
"properties": {
"showNumber": "5"
},
"customizedProperties": {
}
}
]
}
}

CURL POST:
curl -0 -X POST http://10.0.86.191:8002/flow/start -H "Content-type: application/json" -d 'this is your flow' Настройка и использование PiFlow

Командная строка:

Задайте PIFLOW_HOME:
- Откройте файл /etc/profile с помощью vim.
- Экспортируйте PIFLOW_HOME, указав путь к папке piflow-bin.
- Добавьте путь к папке bin в переменную PATH.
Примеры команд:
- Запустите поток с помощью команды piflow flow start yourFlow.json.
- Остановите приложение с помощью команды piflow flow stop appID.
- Получите информацию о приложении с помощью команды piflow flow info appID.
- Просмотрите логи приложения с помощью команды piflow flow log appID.
- Аналогично для группы потоков:
  - Запустите группу потоков с помощью команды piflow flowGroup start yourFlowGroup.json.
  - Остановите группу с помощью команды piflow flowGroup stop groupId.
  - Получите информацию о группе с помощью команды piflow flowGroup info groupId.

Docker

Извлеките образы PiFlow:
- Извлеките образ из реестра с помощью docker pull.
Просмотрите образы Docker:
- Используйте команду docker images.
Запустите контейнер с образом PiFlow:
- Укажите параметры запуска контейнера, включая IP хоста, имя контейнера и другие настройки.
- Подключите необходимые папки и файлы с помощью параметров -v.
- Добавьте хост в файл hosts с помощью параметра --add-host.
Посетите HOST_IP:6001.
В случае проблем все приложения находятся в папке /opt.