谈谈Yarn的日志聚合

Yarn中的任务执行完成后，再想查看历史日志一般都查不到了，因为这时候运行任务的Container已经释放了，这种情况我们可以开启Yarn的日志聚合功能。

首先配置yarn-site.xml

<!-- Site specific YARN configuration properties -->
<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
</property>
<!-- 配置YARN日志聚集功能 -->
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>
<!-- 配置YARN日志聚集目录，默认/tmp/logs -->
<property>
    <name>yarn.nodemanager.remote-app-log-dirs</name>
    <value>/tmp/logs</value>
</property>
<property>
        <name>yarn.log.server.url</name>
        <value>http://localhost:19888/jobhistory/job/</value>
 </property>

然后启动history-server，RM，NM

start-yarn.cmd，sbin\mr-jobhistory-daemon.sh start historyserver

提交mapreduce作业到Yarn等执行完成后看看历史日志服务器能否看到。

提示：最好在linux上安装，我在windows下启动historyServer失败了。

来源：oschina

链接：https://my.oschina.net/u/778683/blog/4496758