09 - Spark - 将Spark程序部署到Yarn中运行

一、启动hadoop

二、修改hadoop配置文件yarn-site.xml，并分发到节点

<property>
<name>yarn.nodemanager.pmem-check-enabled</name>
<value>false</value>
</property>
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>

三、修改Spark配置文件spark-env.sh

YARN_CONF_DIR=/usr/local/src/hadoop

运行

bin/spark-submit  \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode client \
./examples/jars/spark-examples_2.11-2.1.1.jar \
100

spark-defaults.conf 查看日志的配置

spark.yarn.historyServer.address=master:18080
spark.history.ui.port=18080

重启日志服务

[root@master spark]# sbin/stop-history-server.sh

[root@master spark]# sbin/start-history-server.sh

再次执行,然后登录UI日志查看

http://master:8088/

来源：CSDN

作者：软件手

链接：https://blog.csdn.net/weixin_44593925/article/details/104542737