-
ClusterManager:在Standalone模式中即为Master(主节点),控制整个集群,监控Worker。在YARN模式中为资源管理器
-
Worker:从节点,负责控制计算节点,启动Executor。在YARN模式中为NodeManager,负责计算节点的控制
-
Driver:运行Application的main()函数并创建SparkContext
-
Executor:执行器,在worker node上执行任务的组件、用于启动线程池运行任务。每个Application拥有独立的一组Executors
-
SparkContext:整个应用的上下文,控制应用的生命周期
-
RDD:Spark的基本计算单元,一组RDD可形成执行的有向无环图RDD Graph
-
DAG Scheduler:实现将Spark作业分解成一到多个Stage,每个Stage根据RDD的Partition个数决定Task的个数,然后生成相应的Task set放到TaskScheduler中
-
TaskScheduler:将任务(Task)分发给Executor执行
-
Stage:一个Spark作业一般包含一到多个Stage
-
Task:一个Stage包含一到多个Task,通过多个Task实现并行运行的功能
-
Transformations:Transformations操作是Lazy的,也就是说从一个RDD转换生成另一个RDD的操作不是马上执行,Spark在遇到Transformations操作时只会记录需要这样的操作,并不会去执行,需要等到有Actions操作的时候才会真正启动计算过程进行计算
-
Actions:Actions操作会返回结果或把RDD数据写到存储系统中。Actions是触发Spark启动计算的动因