6、hadoop_maprduce_ha_yarn

目录（hadoop_maprduce_ha_yarn）

• 节点分布 mr-hd2.x yarn
• 配置
• 两个rm节点互免秘钥：
• mapred-site.xml
• yarn-site.xml:
• 启动：
• 停止：

节点分布 mr-hd2.x yarn

	NN1		NN2		DN		ZK		ZKFC		JNN		RS		NM

NODE06 * * *
NODE07 * * * * * *
NODE08 * * * * *
NODE09 * * *

node06:

配置

两个rm节点互免秘钥：

3节点 .ssh 目录下： ssh-keygen -t dsa -P ‘’ -f ./id_dsa
cat ~id_dsa.pub >> authorized_keys

	    scp id_dsa.pub root@node4:`pwd`/node3.pub

4节点 .ssh 目录下 ：
cat node3.pub >> authorized_keys
ssh-keygen -t dsa -P ‘’ -f ./id_dsa
cat ~id_dsa.pub >> authorized_keys
scp id_dsa.pub root@node3:pwd/node4.pub

3节点 .ssh 目录下：
cat node4.pub >> authorized_keys

（别忘了退出）

重命名: mv mapred-site.xml.template mapred-site.xml

mapred-site.xml

mapreduce.framework.name yarn

yarn-site.xml:

yarn.nodemanager.aux-services mapreduce_shuffle yarn.resourcemanager.ha.enabled true yarn.resourcemanager.cluster-id cluster1 yarn.resourcemanager.ha.rm-ids rm1,rm2 yarn.resourcemanager.hostname.rm1 node3 yarn.resourcemanager.hostname.rm2 node4 yarn.resourcemanager.zk-address node2:2181,node3:2181,node4:2181

分发两个文件到：2,3,4节点
scp maprexxxx yarn-xxx node2:pwd
scp maprexxxx yarn-xxx node3:pwd
scp maprexxxx yarn-xxx node4:pwd

启动：

node1:

1 zookeeper 全部会话：zkServer.sh start
2 hdfs （注意，有一个脚本不要用，start-all）start-dfs.sh
如果nn 和 nn2没有启动，需要在node1，node2分别手动启动：
hadoop-daemon.sh start namenode
3 start-yarn.sh (启动nodemanager)
4 在node3,node4节点 启动resourcemanager
分别执行脚本： yarn-daemon.sh start resourcemanager

UI访问：node3或者 node4：8088 访问 resourcemanager

停止：

node1: stop-dfs.sh
node1: stop-yarn.sh (停止nodemanager)
node3,node4: yarn-daemon.sh stop resourcemanager （停止resourcemanager）
zkServer.sh stop 全部会话 停止zookeeper

来源：CSDN

作者：sean_spring

链接：https://blog.csdn.net/m0_37778709/article/details/103824563