Слияние кода завершено, страница обновится автоматически
下载地址:
根据需要选择安装包,spark-2.1.1-bin-hadoop2.7.tgz
然后解压,并在 vi ~/.bash_profile配置环境变量
SPARK_HOME=/Users/onlyone/software/spark-2.1.1-bin-hadoop2.7
并提供界面查看系统的运行情况 : http://172.16.104.120:8080/
./sbin/start-master.sh
./bin/spark-class org.apache.spark.deploy.worker.Worker spark://onlyonedeMacBook-Pro.local:7077 &
./sbin/stop-all.sh
将工程导出jar文件,并保存在$SPARK_HOME根目录下
终端执行下面命令,提交任务:
./bin/spark-submit --class com.data.spark.StudentAvgScore --master spark://onlyonedeMacBook-Pro.local:7077 spark-core-1.0-SNAPSHOT.jar
运行结果:
//若干spark系统日志
。。。。。
zhangsan的平均分:85.5
lihua的平均分:85.0
xiaoming的平均分:93.0
wangwu的平均分:76.5
Вы можете оставить комментарий после Вход в систему
Неприемлемый контент может быть отображен здесь и не будет показан на странице. Вы можете проверить и изменить его с помощью соответствующей функции редактирования.
Если вы подтверждаете, что содержание не содержит непристойной лексики/перенаправления на рекламу/насилия/вульгарной порнографии/нарушений/пиратства/ложного/незначительного или незаконного контента, связанного с национальными законами и предписаниями, вы можете нажать «Отправить» для подачи апелляции, и мы обработаем ее как можно скорее.
Опубликовать ( 0 )