yarn

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 作者 | Jeskson 来源 | 达达前端小酒馆 搭建Node.js环境 什么是Node.js简介呢？它是一个基于JavaScript的运行环境，Node.js发布于2009年5月，对Chrome V8引擎进行了封装，是由RyanDahl开发的。Chrome V8引擎执行JavaScript的速度很快且性能好。 Node.js是用module模块划分不同的功能，modele模块类似于c++语言中的类库，用户可以通过相对路径或绝对路径，找到模块的位置。 var mymodule = require('./mymodule.js'); Node.js的下载 下载地址： https://nodejs.org/en/download/ 直接双击下载安装包文件即可： Linux系统安装： sudo apt-get update sudo apt-get install node 或是 sudo apt update sudo apt install node 查看Node.js的版本号： npm的安装使用，npm就是一个包管理工具，允许用户从npm服务器下载他人编写的第三方包到本地使用，允许用户从npm服务器下载并安装他人编写的命令行程序到本地使用。允许用户将自己编写的包或命令行程序上传到npm服务器供他人使用。

Hadoop基础 简介 Hadoop是 可靠的 、 可扩展 的开源 分布式计算 和 分布式存储 框架 由Hadoop Common,HDFS,MapReduce,Yarn 组成 HDFS ：分布式文件系统 MapReduce ：分布式计算框架 Yarn ：资源调度系统 Hadoop的优势 高可靠 数据存储: 数据块多副本 数据计算: 某个节点崩溃, 会自动重新调度作业计算 高扩展性 存储/计算资源不够时，可以横向的线性扩展机器 一个集群中可以包含数以千计的节点 集群可以使用廉价机器，成本低 Hadoop生态系统成熟 Hadoop能做什么 搭建大型数据仓库 PB级数据的存储 处理 分析 统计等业务 搜索引擎 日志分析 数据挖掘 BI 1、HDFS(数据分块,冗余存储) HDFS的启动 $HADOOP_HOME/sbin/start-dfs.sh 退出安全模式(safemode) hdfs dfsadmin -safemode leave 通过 IP:50070 查看hdfs的运行状态 HDFS的shell命令 和linux指令基本一致 只是需要加上 hadoop fs -命令 常用的例如：ls text mv put rm 例 : hadoop fs - mkdir - p / hadoop001 / test # 在HDFS中创建文件夹 文件基本操作(上传,删除,下载)

spark on yarn cline 模式 在YARN Client模式下，Driver在任务提交的本地机器上运行，Driver启动后会和ResourceManager通讯申请启动ApplicationMaster，随后ResourceManager分配container，在合适的NodeManager上启动ApplicationMaster，此时的ApplicationMaster的功能相当于一个ExecutorLaucher，只负责向ResourceManager申请Executor内存。 ResourceManager接到ApplicationMaster的资源申请后会分配container，然后ApplicationMaster在资源分配指定的NodeManager上启动Executor进程，Executor进程启动后会向Driver反向注册，Executor全部注册完成后Driver开始执行main函数，之后执行到Action算子时，触发一个job，并根据宽依赖开始划分stage，每个stage生成对应的taskSet，之后将task分发到各个Executor上执行。 spark on yarn cluster模式 在YARN Cluster模式下，任务提交后会和ResourceManager通讯申请启动ApplicationMaster

目前Apache Spark支持三种分布式部署方式，分别是standalone、spark on mesos和 spark on YARN，其中，第一种类似于MapReduce 1.0所采用的模式，内部实现了容错性和资源管理，后两种则是未来发展的趋势，部分容错性和资源管理交由统一的资源管理系统完成：让Spark运行在一个通用的资源管理系统之上，这样可以与其他计算框架，比如MapReduce，公用一个集群资源，最大的好处是降低运维成本和提高资源利用率（资源按需分配）。本文将介绍这三种部署方式，并比较其优缺点。 Standalone模式 即独立模式，自带完整的服务，可单独部署到一个集群中，无需依赖任何其他资源管理系统。从一定程度上说，该模式是其他两种的基础。借鉴Spark开发模式，我们可以得到一种开发新型计算框架的一般思路：先设计出它的standalone模式，为了快速开发，起初不需要考虑服务（比如master/slave）的容错性，之后再开发相应的wrapper，将stanlone模式下的服务原封不动的部署到资源管理系统yarn或者mesos上，由资源管理系统负责服务本身的容错。目前Spark在standalone模式下是没有任何单点故障问题的，这是借助zookeeper实现的，思想类似于Hbase master单点故障解决方案。将Spark

Hue集成YARN 修改hue.ini [ [yarn_clusters] ] [ [ [default] ] ] resourcemanager_host=node - 1 resourcemanager_port=8032 submit_to=True resourcemanager_api_url=http: / / node - 1:8088 history_server_api_url=http: / / node - 1:19888 开启yarn日志聚集服务 MapReduce 是在各个机器上运行的， 在运行过程中产生的日志存在于各个机器上，为了能够统一查看各个机器的运行日志，将日志集中存放在 HDFS 上， 这个过程就是日志聚集。 vim /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/yarn-site.xml <property> ##是否启用日志聚集功能。 <name>yarn . log - aggregation - enable< / name> <value>true< / value> < / property> <property> ##设置日志保留时间，单位是秒。 <name>yarn . log - aggregation . retain - seconds< / name> <value