spark任务提交的四个阶段
1、构建DAG
用户提交的job将首先被转换成一系列RDD并通过RDD之间的依赖关系构建DAG,然后将DAG提交到调度系统；
2、DAGScheduler将DAG切分stage（切分依据是shuffle）,将stage中生成的task以taskset的形式发送给TaskScheduler
3、Scheduler 调度task（根据资源情况将task调度到Executors）
4、Executors接收task，然后将task交给线程池执行。
DAG的生成、stage切分、task的生成、任务提交
stage的流程
park划分stage的整体思路是：从后往前推，遇到宽依赖就断开，划分为一个stage；遇到窄依赖就将这个RDD加入该stage中。
为什么要切分stage？
个复杂是业务逻辑（将多台机器上具有相同属性的数据聚合到一台机器上:shuffle）如果有shuffle，那么就意味着前面阶段产生结果后，才能执行下一个阶段，下一个阶段的计算依赖上一个阶段的数据在同一个stage中，会有多个算子，可以合并到一起，我们很难‘’称其为pipeline（流水线，严格按照流程、顺序执行）
来源：CSDN
作者：H.U.C.小黑
链接：https://blog.csdn.net/qq_37332702/article/details/87944361