yarn

1.概述 　　在开发工作当中，提交 Hadoop 任务，任务的运行详情，这是我们所关心的，当业务并不复杂的时候，我们可以使用 Hadoop 提供的命令工具去管理 YARN 中的任务。在编写 Hive SQL 的时候，需要在 Hive 终端，编写 SQL 语句，来观察 MapReduce 的运行情况，长此以往，感觉非常的不便。另外随着业务的复杂化，任务的数量增加，此时我们在使用这套流程，已预感到力不从心，这时候 Hive 的监控系统此刻便尤为显得重要，我们需要观察 Hive SQL 的 MapReduce 运行详情以及在 YARN 中的相关状态。 　　因此，我们经过调研，从互联网公司的一些需求出发，从各位 DEVS 的使用经验和反馈出发，结合业界的一些大的开源的 Hadoop SQL 消息监控，用监控的一些思考出发，设计开发了现在这样的监控系统：Hive Falcon。 　　Hive Falcon 用于监控 Hadoop 集群中被提交的任务，以及其运行的状态详情。其中 Yarn 中任务详情包含任务 ID，提交者，任务类型，完成状态等信息。另外，还可以编写 Hive SQL，并运 SQL，查看 SQL 运行详情。也可以查看 Hive 仓库中所存在的表及其表结构等信息。下载地址，如下所示： ［ Hive Falcon 下载地址 ］ [ GitHub源代码托管地址 ] 2.内容 　

MR2.X架构设计（MR on Yarn流程 或者 mr提交job流程） Yarn由RM和NM组成 RM由 applications Manager（应用程序管理器）和resource scheduler（资源memory+cpu 调度器）组成 具体流程： 1.用户向yarn提交job，jar和sql。 2.RM为job分配一个container，运行job的ApplicationMaster 3.App Master向App Manager进行注册，之后可以在RM上查看job的运行状态 4.App Master通过Rpc协议向RM申请资源 5.拿到资源后，与各个NM进行通信，开始启动任务 6.NM为任务设置好运行环境（jar包等），将任务启动命令写在一个脚本里，通过脚本启动任务task。 7.各个task通过Rpc协议向App Master汇报状态和进度，让AppMaster随时掌握各个task的运行状态，从而在task运行失败重启任务 8.App Master向Applications Manager注销并且关闭自己 简要流程概述： 1.启动App Master，申请资源 2.运行任务，直到任务完成 压缩格式： Map Task的数量： 根据HDFS块的大小分为不同数量的输入分片，例如HDFS块大小为64MB，此时输入一个65MB的文件

/*--> */ /*--> */ 文件为转载：http://blog.csdn.net/liuwenbo0920/article/details/43304243 一.YARN基本架构 YARN是 Hadoop 2.0中的资源管理系统，它的基本设计思想是将MRv1中的JobTracker拆分成了两个独立的服务：一个 全局的资源管理器ResourceManager和每个应用程序特有的ApplicationMaster。 其中ResourceManager负责整个系统的资源管理和分配，而ApplicationMaster负责单个应用程序的管理。 二.YARN基本组成结构 YARN 总体上仍然是Master/Slave结构，在整个资源管理框架中，ResourceManager为Master，NodeManager为 Slave，ResourceManager负责对各个NodeManager上的资源进行统一管理和调度。当用户提交一个应用程序时，需要提供一个用以 跟踪和管理这个程序的ApplicationMaster，它负责向ResourceManager申请资源，并要求NodeManger启动可以占用一 定资源的任务。由于不同的ApplicationMaster被分布到不同的节点上，因此它们之间不会相互影响。在本小节中，我们将对YARN的基本组成 结构进行绍。

nvm Node Version Management nvm list 查看所有已安装的 node 版本 nvm install 版本号 安装指定版本的 node nvm use 版本号 切换到指定版本号 nvm proxy 代理地址 配置代理进行下载 nrm（node registry manager） 使用淘宝的 cnpm 镜像源下载： npm install --save express --registry=https://registry.npm.taobao.org 第一： npm install -g nrm Yarn Yarn 是一个 Facebook 开源的一个类似于 npm 的一个包管理工具，也就是 npm 能做的， yarn 也能做。 安装： npm install -g yarn 使用： # npm init yarn init # npm install --save 包名 yarn add 包名 # 离线安装 yarn add 包名@版本号 --offline # npm install yarn install # npm uninstall 包名 yarn remove 包名 # npm install -g 包名 yarn global add 包名 # npm uninstall -g 包名 yarn global remove 包名 来源：

Windows下编译 Hadoop-2.9.2 系统环境 系统： Windows 10 10.0_x64 maven： Apache Maven 3.6.0 jdk: jdk_1.8.0_201 ProtocolBuffer： portoc-2.5.0 zlib： 1.2.3-lib OpenSSL： 1_0_2r cmake： 3.14.3-win64-x64 Cygwin： 2.897_x86_64 Visual Studio： Visual Studio 2010 Professional hadoop： hadoop-2.9.2 Hadoop源码包你们的的编译环境要求 Building on Windows ---------------------------------------------------------------------------------- Requirements: * Windows System * JDK 1.7 or 1.8 * Maven 3.0 or later * Findbugs 1.3.9 (if running findbugs) * ProtocolBuffer 2.5.0 * CMake 2.6 or newer * Windows SDK 7.1 or Visual Studio 2010 Professional

目录（hadoop_maprduce_ha_yarn） 节点分布 mr-hd2.x yarn 配置 两个rm节点互免秘钥： mapred-site.xml yarn-site.xml: 启动： 停止： 节点分布 mr-hd2.x yarn NN1 NN2 DN ZK ZKFC JNN RS NM NODE06 * * * NODE07 * * * * * * NODE08 * * * * * NODE09 * * * node06: 配置 两个rm节点互免秘钥： 3节点 .ssh 目录下： ssh-keygen -t dsa -P ‘’ -f ./id_dsa cat ~id_dsa.pub >> authorized_keys scp id_dsa.pub root@node4:`pwd`/node3.pub 4节点 .ssh 目录下 ： cat node3.pub >> authorized_keys ssh-keygen -t dsa -P ‘’ -f ./id_dsa cat ~id_dsa.pub >> authorized_keys scp id_dsa.pub root@node3: pwd /node4.pub 3节点 .ssh 目录下： cat node4.pub >> authorized_keys （别忘了退出） 重命名: mv mapred-site.xml

FLINK ON YRAM flink on yram 提交流程 yarn-session提供两种模式 会话模式（适合大量的小任务不用重新调度） 分离模式（适合大任务） flink on yram 提交流程 flink运行在YARN上，可以使用 yarn-session 来快速提交作业到YARN集群。我们先来看下Flink On Yarn模式，Flink是如何和Yarn进行交互的。 上传jar包和配置文件到HDFS集群上 申请资源和请求AppMaster容器 Yarn分配资源AppMaster容器，并启动JobManager JobManager和ApplicationMaster运行在同一个container上。 一旦他们被成功启动，AppMaster就知道JobManager的地址（AM它自己所在的机器）。 它就会为TaskManager生成一个新的Flink配置文件（他们就可以连接到JobManager）。 这个配置文件也被上传到HDFS上。 此外，AppMaster容器也提供了Flink的web服务接口。 YARN所分配的所有端口都是临时端口，这允许用户并行执行多个Flink 4.申请worker资源，启动TaskManager yarn-session提供两种模式 会话模式（适合大量的小任务不用重新调度） 使用Flink中的yarn-session（yarn客户端）