yarn

1. MapReduce 跑得慢的原因 优化方法 MapReduce优化方法主要从六个方面考虑：数据输入、Map阶段、Reduce阶段、IO传输、数据倾斜问题和常用的调优参数。 数据输入 Map阶段 Reduce阶段 I/O传输 数据倾斜 数据倾斜现象 减小数据倾斜的方法 常用的调优参数 资源相关 以下参数是在用户自己的MR应用程序中配置就可以生效（mapred-default.xml） 配置参数 参数说明 mapreduce.map.memory.mb 一个MapTask可使用的资源上限（单位:MB），默认为1024。如果MapTask实际使用的资源量超过该值，则会被强制杀死。 mapreduce.reduce.memory.mb 一个ReduceTask可使用的资源上限（单位:MB），默认为1024。如果ReduceTask实际使用的资源量超过该值，则会被强制杀死。 mapreduce.map.cpu.vcores 每个MapTask可使用的最多cpu core数目，默认值: 1 mapreduce.reduce.cpu.vcores 每个ReduceTask可使用的最多cpu core数目，默认值: 1 mapreduce.reduce.shuffle.parallelcopies 每个Reduce去Map中取数据的并行数。默认值是5 mapreduce.reduce

本文转自：https://www.linuxidc.com/Linux/2018-02/150886.htm 一、Spark on Standalone 1.spark集群启动后，Worker向Master注册信息 2.spark-submit命令提交程序后，driver和application也会向Master注册信息 3.创建SparkContext对象：主要的对象包含DAGScheduler和TaskScheduler 4.Driver把Application信息注册给Master后，Master会根据App信息去Worker节点启动Executor 5.Executor内部会创建运行task的线程池，然后把启动的Executor反向注册给Dirver 6.DAGScheduler：负责把Spark作业转换成Stage的DAG（Directed Acyclic Graph有向无环图），根据宽窄依赖切分Stage， 　　　　　　　　然后把Stage封装成TaskSet的形式发送个TaskScheduler； 　　　　　　　 同时DAGScheduler还会处理由于Shuffle数据丢失导致的失败； 7.TaskScheduler：维护所有TaskSet，分发Task给各个节点的Executor（根据数据本地化策略分发Task），监控task的运行状态，负责重试失败的task；