CDH-Namenode-Yarn-Hbase-Hive的HA配置-Flink on yarn配置

配置namenode HA高可用
使用cloudera manager方式安装，namenode是单节点方式，需要额外配置成HA。配置NameNode HA的两点前提条件：
（1）至少是3个或3个以上奇数个JournalNode，否则将无法继续配置NameNode HA.
（2）配置NameNode需要有Zookeeper.
在hdfs - 操作 -选择启用HA

填写nameservice名称，自定义即可：

选择另外一台服务器安装namenode ，三个或5个节点安装journalnode。

配置namenode,journalnode数据目录,如/data1/dfs/nn，/data1/dfs/jn

继续等待命令执行完成，按照向导操作即可
启用HA成功

配置yarn HA高可用
使用管理员用户登录Cloudera Manager的Web管理界面，进入YARN服务

点击“启用High Avaiability”，选择ResourceManager主机

点击“继续”，启用ResourceManager HA

点击“完成”，查看YARN服务实例

可以看到YARN的ResourceManager实例为两个，一个是活动状态，一个是备用状态，至此已完成YARN HA的启用，那么接下来就测试下YARN HA功能的可用性。

Yarn HA功能可用性测试

ResourceManager服务状态

向集群提交一个PI作业

hadoop jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar pi 100 10000

PI作业正常完成

Hbase高可用配置
直接添加master即可。




配置Hive高可用
HiveServer2 高可用
登录cloudera manager:
在cm中添加至少两个HiveServer2服务实例

打开 hive -> Configuration -> Category -> Advanced
搜索"HiveServer2 Advanced Configuration Snippet (Safety Valve) for hive-site.xml"
增加配置

<property>
<name>hive.server2.support.dynamic.service.discovery</name>
<value>true</value>
</property>

下面可以不用设置，默认会直接在zookeeper创建/hiveserver2，如果多个hive集群共用同一个zookeeper就需要单独设置）

<property>  
<name>hive.server2.zookeeper.namespace</name>  
<value>hiveserver2_zk</value>  
</property>  

重启 hiveserver2 服务并注册到 zookeeper.

验证zookeeper是否有hiveserver2信息
zkCli.sh

[zk: localhost:2181(CONNECTED) 1] ls /hiveserver2
[serverUri=node2:10000;version=1.2.1.2.3.0.0-2557;sequence=0000000016, serverUri=node1:10000;version=1.2.1.2.3.0.0-2557;sequence=0000000015]
[zk: localhost:2181(CONNECTED) 2] quit
Quitting...
2019-03-01 10:56:00,543 - INFO [main:ZooKeeper@684] - Session: 0x1532d60dbea0006 closed
2019-03-01 10:56:00,543 - INFO [main-EventThread:ClientCnxn$EventThread@512] - EventThread shut down
[root@node1 /]#

5、 测试验证：

jdbc:hive2://<zookeeper quorum>/;serviceDiscoveryMode=zookeeper;zookeeperNamespace=hiveserver2

e.g.
jdbc:hive2://node1:2181,node2:2181,host3:2181/;serviceDiscoveryMode=zookeeper;zookeeperNamespace=hiveserver2

FLINK ON YARN 配置

[flink@node10 conf]$ cat flink-conf.yaml
#基础配置
jobmanager.rpc.address: node10
jobmanager.rpc.port: 6123
jobmanager.heap.size: 1024m
taskmanager.heap.size: 1024m
taskmanager.numberOfTaskSlots: 1
parallelism.default: 1

#故障恢复策略
jobmanager.execution.failover-strategy: region

# 配置 HistoryServer
jobmanager.archive.fs.dir: hdfs:///flink/completed-jobs/
historyserver.archive.fs.dir: hdfs:///flink/completed-jobs/
historyserver.archive.fs.refresh-interval: 10000
#historyserver.web.address: localhost
#historyserver.web.port: 8082
web.port: 8081

#容错和检查点配置
state.backend: filesystem
state.checkpoints.dir: hdfs://flink/flink-checkpoints
state.savepoints.dir: hdfs://flink/flink-savepoints

# 指定使用 zookeeper 进行 HA 协调
high-availability: zookeeper
high-availability.storageDir: hdfs:///flink/ha/
high-availability.zookeeper.quorum: node10:2181,node11:2181,node12:2181
high-availability.zookeeper.path.root: /flink

yarn.application-attempts: 2
fs.hdfs.hadoopconf: /etc/hadoop/conf
env.log.dir: /var/log/flink
[flink@node10 conf]$ 

flink on yarn测试：

来源：oschina

链接：https://my.oschina.net/u/4407543/blog/4691720