Hadoop高可用集群——HA

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>>

在Hadoop2.0之前，HDFS的NameNode存在单点故障问题。所谓HA，集高可用（7*24小时不中断服务）。HA严格意义来说应分成各个组件的HA机制：HDFS的HA和YARN的HA。HDFS HA功能通过配置Active/Standby两个NameNode实现在集群中对NameNode的热备份来解决单点故障。如果出现故障（如：机器崩溃/机器需要升级维护），这时可以通过HA将NameNode很快切换到另一台机器。

HA 集群配置

环境准备

1. 配置主机名及主机名和ip映射
2. 关闭防火墙
3. ssh免密登录
4. 安装JDK，配置环境变量

配置Zookeeper集群

解压Zookeeper到指定目录

$ tar -zxvf zookeeper-3.4.10.tar.gz -C /export/servers

在/export/servers/zookeeper-3.4.10/这个目录下创建 zkData

mkdir -p zkData

重命名/export/servers/zookeeper-3.4.10/conf 这个目录下的 zoo_sample.cfg 为 zoo.cfg并修改

mv zoo_sample.cfg zoo.cfg

//具体配置
dataDir=/export/servers/zookeeper-3.4.10/zkData

#######################cluster########################## 
server.2=had01:2888:3888 
server.3=had02:2888:3888 
server.4=had03:2888:3888

在/export/servers/zookeeper-3.4.10/zkData 目录下创建一个 myid 的文件并加入编号

touch myid

vi myid
2       ### 每台机器编号不同

拷贝配置好的 zookeeper 到其他机器上

scp -r zookeeper-3.4.10/ root@had02:/export/servers/
scp -r zookeeper-3.4.10/ root@had03:/export/servers/

并修改每台myid文件的内容为3、4

分别启动Zookeeper并检查状态

//启动
zkServer.sh start    ###所有机器都要执行

//检查
zkServer.sh status   ###两台follower，一台leader

配置Hadoop_HA集群

在 export目录下创建一个 data文件夹

mkdir data

配置 hadoop-env.sh

export JAVA_HOME=/export/servers/jdk1.8.0_144

配置 core-site.xml

<configuration>
	<!-- 把两个 NameNode 的地址组装成一个集群 mycluster -->
	<property>
	    <name>fs.defaultFS</name>         
		<value>hdfs://cluster1</value>
	</property>
	<!-- 指定 hadoop 运行时产生文件的存储目录 -->	    
	<property>         
		<name>hadoop.tmp.dir</name>         
		<value>/export/hadoop/tmp</value>     
	</property> 
	<!-- 指定 Zookeeper 的机器地址 -->
	<property>
		<name>ha.zookeeper.quorum</name>
		<value>had01:2181,had02:2181,had03:2181</value>
	</property>
	<property>
		<name>hadoop.proxyuser.root.hosts</name>
        <value>*</value>
    </property>
    <property>
        <name>hadoop.proxyuser.root.groups</name>
        <value>*</value>
    </property>
</configuration>

配置 hdfs-site.xml

<configuration>
 <property>
	<name>dfs.replication</name>
	<value>3</value>
    </property>
	<!-- 完全分布式集群名称 -->
    <property>
        <name>dfs.nameservices</name>
        <value>cluster1</value>
    </property>
	<!-- 集群中 namenode 存放地址-->
	<property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/export/data/hadoop/dfs/name</value>
    </property>
	<!-- 集群中 datanode 存放地址-->
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/export/data/hadoop/dfs/data</value>
    </property>
	<!-- 集群中 NameNode 节点都有哪些 -->
    <property>
        <name>dfs.ha.namenodes.cluster1</name>
        <value>had01,had02</value>
    </property>
	<!-- nn1 的 RPC 通信地址 -->
    <property>
        <name>dfs.namenode.rpc-address.cluster1.had01</name>
        <value>had01:8020</value>
    </property>
	<!-- nn1 的 http 通信地址 -->
    <property>
        <name>dfs.namenode.http-address.cluster1.had01</name>
        <value>had01:50070</value>
    </property>
	<!-- nn2 的 RPC 通信地址 -->
    <property>
        <name>dfs.namenode.rpc-address.cluster1.had02</name>
        <value>had02:8020</value>
    </property>
	<!-- nn1 的 http 通信地址 -->
    <property>
        <name>dfs.namenode.http-address.cluster1.had02</name>
        <value>had02:50070</value>
    </property>
	<!-- 指定 NameNode 元数据在 JournalNode 上的存放位置 -->
    <property>
        <name>dfs.namenode.shared.edits.dir</name>
        <value>qjournal://had01:8485;had02:8485;had03:8485/cluster1 </value>
    </property>
    <!-- 故障自动转移-->
    <property>
        <name>dfs.ha.automatic-failover.enabled.cluster1</name>
        <value>true</value>
    </property>
	<!-- 访问代理类：client，mycluster，active 配置失败自动切换实现 方式-->
    <property>
        <name>dfs.client.failover.proxy.provider.cluster1</name>
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider </value>
    </property>
	<!-- 配置隔离机制，即同一时刻只能有一台服务器对外响应 -->
    <property>
        <name>dfs.ha.fencing.methods</name>
        <value>sshfence</value>
    </property>
	<!-- 使用隔离机制时需要 ssh 无秘钥登录-->
    <property>
        <name>dfs.ha.fencing.ssh.private-key-files</name>
        <value>/export/servers/hadoop-2.8.2/.ssh/id_rsa</value>
    </property>

   <property>
        <name>dfs.ha.fencing.ssh.connect-timeout</name>
        <value>30000</value>
    </property>
	<!-- 关闭权限检查-->
    <property>
         <name>dfs.permissions</name>
         <value>false</value>
    </property>

</configuration>

配置mapred-site.xml

<configuration>
 <property>
	<name>mapreduce.framework.name</name>
	<value>yarn</value>
</property>
<property>
	<name>mapreduce.jobhistory.address</name>
	<value>had01:10020</value>
</property>
<property>
	<name>mapreduce.jobhistory.webapp.address</name>
	<value>had01:19888</value>
</property>
<property>
	<name>mapreduce.job.ubertask.enable</name>
	<value>true</value>
</property>
</configuration>

配置yarn-site.xml

<configuration>
	<!--启用 resourcemanager ha-->
    <property>
        <name>yarn.resourcemanager.ha.enabled</name>
        <value>true</value>
    </property>
	<!--声明两台 resourcemanager 的地址-->
	<property>
		   <name>yarn.resourcemanager.cluster-id</name>
		   <value>yrc</value>
	</property>
	<property>
		  <name>yarn.resourcemanager.ha.rm-ids</name>
		  <value>rm1,rm2</value>
	 </property>
	<property>
		  <name>yarn.resourcemanager.hostname.rm1</name>
		  <value>had01</value>
	 </property>
	<property>
		 <name>yarn.resourcemanager.hostname.rm2</name>
		 <value>had12</value>
	 </property>
     <!--启用自动恢复--> 
     <property> 
         <name>yarn.resourcemanager.recovery.enabled</name> 
         <value>true</value> 
     </property>
	 <!--指定 zookeeper 集群的地址-->
	 <property>
		  <name>yarn.resourcemanager.zk-address</name>
		  <value>had01:2181,had02:2181,had03:2181</value>
	 </property>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	<property>
		<name>yarn.log-aggregation-enable</name>
		<value>true</value>
	</property>
	<property>
		<name>yarn.nodemanager.remote-app-log-dir</name>
		<value>/user/yarn/logs</value>
	</property>
	<property>
		<name>yarn.log.server.url</name>
		<value>http://had01:19888/jobhistory/logs</value>
	</property>
	<property>
		<name>yarn.nodemanager.local-dirs</name>
		<value>/export/servers/hadoop-2.8.2/yarn/local</value>
	</property>
	<property>
		<name>yarn.nodemanager.log-dirs</name>
		<value>/export/servers/hadoop-2.8.2/yarn/logs</value>
	</property>
	<property>
		<name>yarn.nodemanager.delete.debug-delay-sec</name>
		<value>600</value>
	</property>
	<property>
		<name>yarn.log-aggregation.retain-seconds</name>
		<value>864000</value>
	</property>

</configuration>

启动Hadoop_HA集群

启动Zookeeper，并格式化ZK

bin/zkServer.sh start
bin/hdfs zkfc -formatZK

在namenode节点上启动zkfc

sbin/hadoop-daemin.sh start zkfc

在各个 JournalNode 节点上，输入以下命令启动 journalnode 服务

sbin/hadoop-daemon.sh start journalnode   ###所有机器

在[nn1]上，对其进行格式化，并启动

bin/hdfs namenode -format 
sbin/hadoop-daemon.sh start namenode

在[nn2]上，同步 nn1 的元数据信息，并启动

bin/hdfs namenode -bootstrapStandby
sbin/hadoop-daemon.sh start namenode

启动所有datanode

sbin/hadoop-daemons.sh start datanode   ###所有机器

启动yarn

bin/start-yarn.sh

jps检查：2个namenode，3个datanode，2个ResourceManager，3个NodeManager

页面检查：had01:50070/had02:50070     一个Action，一个Standby，3个可用节点          had01:7077

来源：oschina

链接：https://my.oschina.net/u/4427158/blog/3150674