YARN框架以及各个组件理解

瘦欲@ 提交于 2019-12-17 05:58:37

YARN运行资源图

注意:YARN集群有一个NameNode(Master)节点和多个DataNode(slaver)节点。

Client: 启动程序的地方。

ResourceManager:资源管理器(集群所有的资源都有这个管理)

NodeManager: 节点的资源管理器(只管理一个节点的资源)

ApplicationMaster:计算作业需要计算的任务

MapTask:Map任务

ReduceTask:Reduce任务

 

1.客户端提交作业给Master(NameNode);

2.Master找到一个Slaver(DataNode)来运行AppliactionMaster;

3.AppliactionMaster向ResourceManager申请任务所需要的资源;

4.申请完毕之后开始向分配的资源节点(NodeManager)发布任务(MapTask.ReduceTask);

标签
易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!