1 В избранное 0 Ответвления 0

OSCHINA-MIRROR/aalansehaiyang-technology-talk

Присоединиться к Gitlife
Откройте для себя и примите участие в публичных проектах с открытым исходным кодом с участием более 10 миллионов разработчиков. Приватные репозитории также полностью бесплатны :)
Присоединиться бесплатно
В этом репозитории не указан файл с открытой лицензией (LICENSE). При использовании обратитесь к конкретному описанию проекта и его зависимостям в коде.
Клонировать/Скачать
Spark-stream.md 1.1 КБ
Копировать Редактировать Web IDE Исходные данные Просмотреть построчно История
wenwan Отправлено 19.08.2017 07:26 51efffc

Spark 安装、启动


下载安装

下载地址:

http://spark.apache.org/

根据需要选择安装包,spark-2.1.1-bin-hadoop2.7.tgz

然后解压,并在 vi ~/.bash_profile配置环境变量

SPARK_HOME=/Users/onlyone/software/spark-2.1.1-bin-hadoop2.7

启动

  • 启动Master,Master会记录并分配系统资源。

并提供界面查看系统的运行情况 : http://172.16.104.120:8080/

./sbin/start-master.sh
  • 启动工作节点,它将会执行Spark作业
./bin/spark-class org.apache.spark.deploy.worker.Worker spark://onlyonedeMacBook-Pro.local:7077 & 
  • 如果想停止所有的进程
 ./sbin/stop-all.sh  

运行任务

将工程导出jar文件,并保存在$SPARK_HOME根目录下

终端执行下面命令,提交任务:

./bin/spark-submit --class com.data.spark.StudentAvgScore  --master spark://onlyonedeMacBook-Pro.local:7077 spark-core-1.0-SNAPSHOT.jar

运行结果:

//若干spark系统日志
。。。。。
zhangsan的平均分:85.5
lihua的平均分:85.0
xiaoming的平均分:93.0
wangwu的平均分:76.5

Опубликовать ( 0 )

Вы можете оставить комментарий после Вход в систему

1
https://api.gitlife.ru/oschina-mirror/aalansehaiyang-technology-talk.git
git@api.gitlife.ru:oschina-mirror/aalansehaiyang-technology-talk.git
oschina-mirror
aalansehaiyang-technology-talk
aalansehaiyang-technology-talk
master