JobHistory介绍及安装配置

JobHistory

• • 1、namenode修改mapred-site.xml
  • 2、namenode修改yarn-site.xml
  • 3、修改后的文件分发到其他机器上面去
  • 4、重启yarn集群以及启动jobHistoryServer进程
  • 5、jobhistoryserver
  • 6、页面访问jobhistoryserver

我们可以通过Hadoop jar的命令来实现我们的程序jar包的运行，关于运行的日志，我们一般都需要通过启动一个服务来进行查看，就是我们的JobHistoryServer，我们可以启动一个进程，专门用于查看我们的任务提交的日志

要修改的配置文件中要将value里面的node01修改为namenode主机名

1、namenode修改mapred-site.xml

cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim mapred-site.xml

namenode服务器修改mapred-site.xml，添加以下配置:

<property>
		<name>mapreduce.jobhistory.address</name>
		<value>node01:10020</value>
	</property>

	<property>
		<name>mapreduce.jobhistory.webapp.address</name>
		<value>node01:19888</value>
	</property>

2、namenode修改yarn-site.xml

cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim yarn-site.xml

namenode服务器修改mapred-site.xml，添加以下配置:

<property>
<!--是否启用日志聚合功能，日志聚合开启后保存到HDFS上。-->
	<name>yarn.log-aggregation-enable</name>	<value>true</value>
</property>
<property>
<!--聚合后的日志在HDFS上保存多长时间，单位为s-->
	<name>yarn.log-aggregation.retain-seconds</name>
	<value>604800</value>
</property>
<property>
        <!--指定文件压缩类型用于压缩汇总日志-->
<name>yarn.nodemanager.log-aggregation.compression-type</name>
        <value>gz</value>
</property>
<!-- nodemanager本地文件存储目录-->
<property>
        <name>yarn.nodemanager.local-dirs</name>
        <value>/export/servers/hadoop-2.6.0/yarn/local</value>
</property>
<!-- resourceManager  保存最大的任务完成个数 -->
<property>
        <name>yarn.resourcemanager.max-completed-applications</name>
        <value>1000</value>
</property>

3、修改后的文件分发到其他机器上面去

将namenode修改后的mapred-site.xml和yarn-site.xml分发到其他机器上面去：

cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
scp mapred-site.xml  yarn-site.xml node02:$PWD
scp mapred-site.xml  yarn-site.xml node03:$PWD

4、重启yarn集群以及启动jobHistoryServer进程

cd /export/servers/hadoop-2.6.0-cdh5.14.0/sbin/
stop-yarn.sh
start-yarn.sh

5、jobhistoryserver

cd /export/servers/hadoop-2.6.0-cdh5.14.0/sbin/
sbin/mr-jobhistory-daemon.sh start historyserver

6、页面访问jobhistoryserver

http://namenode节点IP:19888

来源：oschina

链接：https://my.oschina.net/u/4405012/blog/4669424