yarn

Yarn（Yet Another Resource Negotiator）是一个资源调度平台，负责为运算程序如Spark、MapReduce分配资源和调度，不参与用户程序内部工作。同样是Master/Slave架构。 以下图MapReduce提交到Yarn上运行为例，看看Yarn主要包括哪些核心组件以及每个组件的作用： 全局资源管理器（ResourceManager） 主节点，全局资源管理器，负责整个系统的资源管理和分配，主要由调度器和应用程序管理器组成。 调度器根据容量、队列等限制条件（如每个队列分配多少资源、最多执行一定数量的作业等）将系统中资源分配给各个正在运行的应用程序。 应用程序管理器（ApplicationsManager）负责管理整个系统中所有应用程序，包括应用程序提交、与调度器协商资源以启动、监控Application Master，并且在失败时重新启动它等 节点资源管理器（NodeManager） 从节点，每个节点上的资源和任务管理器，它需要向ResourceManager汇报本节点上的资源使用情况和各个Container的运行状态，同时接收并处理来自Application Master的Container启动/停止等各种请求 应用管理器（Application Master） 用户提交的每个应用程序均包含1个应用管理器

原创JackieChen1992 最后发布于2018-02-03 12:13:44 阅读数 13863 收藏 展开 查看yarn日志的两种方式 1.界面版 1）点击application 2）输入即可 2.命令行版 yarn logs -applicationId application_1517538889175_2550 > logs.txt 通过vim进行查看logs.txt文件 来源： CSDN 作者： u011250186 链接： https://blog.csdn.net/u011250186/article/details/104039891

Hadoop 环境搭建 参考资料: http://hadoop.apache.org/docs/r2.4.1/hadoop-project-dist/hadoop-common/ClusterSetup.html http://hadoop.apache.org/docs/r2.4.1/hadoop-yarn/hadoop-yarn-common/yarn-default.xml http://hadoop.apache.org/docs/r2.4.1/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml 下载 2.4.1 bin 包, 解压好以后按照链接上配置各个配置文件, 启动时会遇到 "Unable to load realm info from SCDynamicStore " 的问题, 这个问题需要在 hadoop-env.sh 中加入如下配置(配置 HBase 的时候也会遇到这个问题, 使用同样的方法在 hbase-env.sh 中加入如下配置解决) hadoop-env.sh(hbase-env.sh) 配置, 增加 export JAVA_HOME="/System/Library/Java/JavaVirtualMachines/1.6.0.jdk/Contents/Home" export HBASE_OPTS="

YARN基本框架介绍 转载请注明出处： http://www.cnblogs.com/BYRans/ 在之前的博客《 YARN与MRv1的对比 》中介绍了YARN对Hadoop 1.0的完善。本文将重点介绍下YARN各个模块的作用与YARN运行流程。 YARN模块介绍 概述 YARN是一个资源管理、任务调度的框架，主要包含三大模块：ResourceManager（RM）、NodeManager（NM）、ApplicationMaster（AM）。其中，ResourceManager负责所有资源的监控、分配和管理；ApplicationMaster负责每一个具体应用程序的调度和协调；NodeManager负责每一个节点的维护。对于所有的applications，RM拥有绝对的控制权和对资源的分配权。而每个AM则会和RM协商资源，同时和NodeManager通信来执行和监控task。几个模块之间的关系如图所示。 ResourceManager ResourceManager负责整个集群的资源管理和分配，是一个全局的资源管理系统。 NodeManager以心跳的方式向ResourceManager汇报资源使用情况（目前主要是CPU和内存的使用情况）。RM只接受NM的资源回报信息，对于具体的资源处理则交给NM自己处理。 YARN

引言 yarn是一款非常优秀的分布式资源管理和调度框架，我们的应用程序想要分布式运行，只要使用yarn来管理资源就会非常放心。现如今好多大型计算框架都可以运行在yarn框架上，比如天生运行在yarn上的MapReduce、优秀的内存计算引擎Spark、后起之秀Flink等都支持yarn的运行模式。那么我们自己开发的程序该如何运行在这款优秀的资源管理和调度框架呢。 友情链接: hadoop源码下载地址 hadoop-yarn官网地址 1. yarn的基本原理 说明: 1. 屎黄色的框框代表一个节点也就是一台机器，这几个节点上运行着几个常驻进程，图片上蓝色背景的ResourceManager，NodeManager。 2. 其他的红色和紫色北京的都是因为提交了yarn应用程序才启动的，也就是说不是常驻进程。 3. 我们自定义yarn应用程序主要就是需要完成Client、AppMaster、和container内的执行代码。 基本流程: a. 首先启动的是我们的Client客户端程序，这个程序会向ResourceManager发出要提交一个yarn应用的请求，ResourceManager是一个常驻进程可以看做是一个服务。 b. 当你的Client发出请求之后自认ResourceManager会做出相应的回应，此时Client就会得到一个回应response。 c.

1.1 失败 1.1.1 任务失败 Map 和reduce 任务失败 ：Map或者reduce任务有缺陷，抛出异常，JVM会会向applicationmaster 发出错误报告，applicationmaster将任务标记为failed，将错误报告写入用户日志，释放资源。 Stream 任务失败 ：Streaming任务以非零状态码退出，则标记为失败，属性stream.non.zero.exit.is.failure属性设置为true，才会触发。 Jvm失败：Jvm软件缺陷突然退出，节点管理器会发现进程一退出，通知applicationmaster标记任务失败。 任务超时失败 ：applicationmaster在一段时间内没有收到进度更新，则将任务标记失败，超时时间通过mapreduce.task.timeout设置，为0表示无超时限制，这样会导致挂起的任务无法结束，释放资源。 任务重试 ：任务失败后，application master会尽量安排在其他节点管理器上再次运行该任务，失败次数超过mapreduce.map.maxattempts属性设置的值（默认4）时，整个作业就会失败。如果不希望单个任务失败， 就判定整个作业失败，可以设置失败比例，mapreduce.map.faileures.maxpercent和mapreduce.reduce.failures