MapReduce 计算流程(重点)

余生长醉 提交于 2019-12-10 02:32:13

在这里插入图片描述

(1)程序员所编写的MR代码,一旦运行就可以称之为一个Job

(2)Job在启动之后,会首先向RM注册相关信息

(3)如果注册通过 则向共享文件系统(HDFS)拷贝先关资源的信息

(4)提交完成的Job信息给RM

(5)拿到Job信息,根据Job的情况,消耗资源连接到某个节点的上NodeManager去启动MR AppMaster

(6)MR AppMaster 首先会初始化Job

(7)去共享文件系统中获取输入切片相关的信息

(8)MR AppMaster向RM申请资源去进行计算

(9)拿到资源后,连接到某个NodeManager去启动Yarn Child

(10)Yarn Child去共享文件系统获取完成的Job信息

(11)Yarn Child根据任务阶段启动MapTask或者ReduceTask进程进行真正的计算任务的执行,直至计算任务完成,此两个进程完全关闭,客户端停止等待,结束运行。

在这里插入图片描述

标签
易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!