yarn

CDH版本组件端口汇总 组件 端口号 端口用途 HDFS 50020 DataNode 协议端口 HDFS 50010 DataNode 收发器端口 HDFS 50075 DataNode HTTP Web UI 端口 HDFS 50475 安全 DataNode Web UI 端口 HDFS 14000 REST端口 HDFS 14001 管理端口 HDFS 8485 JournalNode RPC 端口 HDFS 8480 JournalNode HTTP 端口 HDFS 8481 安全JournalNode Web UI端口(TLS/SSL) HDFS 2049 NFS Gateway 服务器端口 HDFS 4242 NFS Gateway MountD端口 HDFS 8020 NameNode 端口 HDFS 8022 NameNode服务RPC端口 HDFS 50070 NameNode Web UI端口 HDFS 50470 安全NameNode Web UI端口(TLS/SSL) HDFS 50090 SecondaryNameNode Web UI端口 HDFS 50495 安全 SecondaryNameNode Web UI端口(TLS/SSL) HDFS 111 端口映射(或Rpcbind)端口 yarn 10020 MapReduce JobHistory

1.1.启动集群 sbin/start-dfs.sh 注：这个启动脚本是通过ssh对多个节点的namenode、datanode、journalnode以及zkfc进程进行批量启动的。 1.2.启动NameNode sbin/hadoop-daemon.sh start namenode 1.3.启动DataNode sbin/hadoop-daemon.sh start datanode 1.4. 启动 MR的HistoryServer sbin/mr-jobhistory-daemon.sh start historyserver 1.4.停止集群 sbin/stop-dfs.sh 1.5.停止单个进程 sbin/hadoop-daemon.sh stop zkfc sbin/hadoop-daemon.sh stop journalnode sbin/hadoop-daemon.sh stop datanode sbin/hadoop-daemon.sh stop namenode 参考：http://www.cnblogs.com/jun1019/p/6266615.html 2. Yarn (v 2.7.3) 2.1.启动集群 sbin/start-yarn.sh 注：start-yarn.sh启动脚本只在本地启动一个ResourceManager进程

RT 来源： https://www.cnblogs.com/juwan/p/12258256.html

一、Yarn简介 1、Yarn是什么 Apache Hadoop YARN （Yet Another Resource Negotiator，另一种资源协调者） 一种新的Hadoop资源管理器，一个通用资源管理系统 为上层提供统一的资源管理与任务调度及监控，提高了集群管理效率、资源使用率、数据共享效率 2、产生背景 在Hadoop1.x中MapReduce是Master/Slave结构，在集群中的表现形式为：1个JobTracker带多个TaskTracker，我们称之为MRv1。 Master：是整个集群的唯一全局管理者，功能包括：作业管理、状态监控和任务调度等即MapReduce中的JobTracker。 Slave：负责任务的执行和任务状态的汇报，即MapReduce中的TaskTracker。 MRv1包括三个部分：运行时环境(JobTracker和TaskTracker)、编程模型(MapReduce)和数据处理引擎(Map任务和Reduce任务)。 JobTracker主要功能： 资源管理，协调平衡集群中的计算节点，合理分配。 任务调度，一个作业对应多个任务，负责任务调度、状态监控、容错管理等。 TaskTracker主要功能： 执行任务，响应JobTracker命令，如启动、停止任务等 汇报心跳：汇报节点健康状况、资源使用情况等。汇报任务执行进度

node-schedule node 定时任务 typescript使用 Node Schedule 安装 yarn add node-schedule yarn add --save-dev @types/node-schedule 使用 import * as schedule from 'node-schedule'; // 每天 0 点数据清零 schedule.scheduleJob('1 0 0 * * *', () => { //todo }); 来源： https://www.cnblogs.com/mengfangui/p/12257734.html

Yarn 是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的 操作系统平台 ，而 MapReduce 等运算程序则相当于运行于 操作系统之上的应用程序 。 Yarn基本架构 YARN 主要由 ResourceManager 、 NodeManager 、 ApplicationMaster 和 Container 等组件构成 工作机制详解 （ 1 ） MR 程序提交到客户端所在的节点。 （ 2 ） YarnRunner 向 ResourceManager 申请一个 Application 。 （ 3 ） RM 将该应用程序的资源路径返回给 YarnRunner 。 （ 4 ）该程序将运行所需资源提交到 HDFS 上。 （ 5 ）程序资源提交完毕后，申请运行 mrAppMaster 。 （ 6 ） RM 将用户的请求初始化成一个 Task 。 （ 7 ）其中一个 NodeManager 领取到 Task 任务。 （ 8 ）该 NodeManager 创建容器 Container ，并产生 MRAppmaster 。 （ 9 ） Container 从 HDFS 上拷贝资源到本地。 （ 10 ） MRAppmaster 向 RM 申请运行 MapTask 资源。 （ 11 ） RM 将运行 MapTask 任务分配给另外两个 NodeManager ，另两个

spark-submit 可以提交任务到 spark 集群执行，也可以提交到 hadoop 的 yarn 集群执行。 1. 例子 一个最简单的例子，部署 spark standalone 模式后，提交到本地执行。 ./bin/spark-submit \ --master spark://localhost:7077 \ examples/src/main/python/pi.py 如果部署 hadoop，并且启动 yarn 后，spark 提交到 yarn 执行的例子如下。 注意，spark 必须编译成支持 yarn 模式，编译 spark 的命令为： build/mvn -Pyarn -Phadoop-2.x -Dhadoop.version=2.x.x -DskipTests clean package 其中, 2.x 为 hadoop 的版本号。编译完成后，可执行下面的命令，提交任务到 hadoop yarn 集群执行。 ./bin/spark-submit --class org.apache.spark.examples.SparkPi \ --master yarn \ --deploy-mode cluster \ --driver-memory 1g \ --executor-memory 1g \ --executor-cores 1 \ --queue

准备四台虚拟机 虚拟机安装 1.创建新虚拟机 2.点击典型安装 ( 推荐 ) 3.选择中文，点击自己分区 # 分区配置（JD使用） /boot 200M swap 512M # 本机内存不够用了，用swap / # 根目录 4.配置其它，如下图 更新yum yum install update -y 四台主机的ip 一主三从 172.20.10.9 密码：hadoop01 对应的虚拟机 hadoop01 172.20.10.10 密码：hadoop02 对应的虚拟机 hadoop02 172.20.10.11 密码：hadoop03 对应的虚拟机 hadoop03 172.20.10.12 密码：hadoop04 对应的虚拟机 hadoop04 # 重新设置root的密码 passwd root hadoop安装 https://www.cnblogs.com/shireenlee4testing/p/10472018.html 配置DNS 每个节点都配置 vim /etc/hosts 172.20.10.9 hadoop01 172.20.10.10 hadoop02 172.20.10.11 hadoop03 172.20.10.12 hadoop04 关闭防火墙 # 关闭防火墙 systemctl stop firewalld # 关闭自启动 systemctl