spark 术语

匿名 (未验证) 提交于 2019-12-02 23:49:02
  • ClusterManager:在Standalone模式中即为Master(主节点),控制整个集群,监控Worker。在YARN模式中为资源管理器

  • Worker:从节点,负责控制计算节点,启动Executor。在YARN模式中为NodeManager,负责计算节点的控制

  • Driver:运行Application的main()函数并创建SparkContext

  • Executor:执行器,在worker node上执行任务的组件、用于启动线程池运行任务。每个Application拥有独立的一组Executors

  • SparkContext:整个应用的上下文,控制应用的生命周期

  • RDD:Spark的基本计算单元,一组RDD可形成执行的有向无环图RDD Graph

  • DAG Scheduler:实现将Spark作业分解成一到多个Stage,每个Stage根据RDD的Partition个数决定Task的个数,然后生成相应的Task set放到TaskScheduler中

  • TaskScheduler:将任务(Task)分发给Executor执行

  • Stage:一个Spark作业一般包含一到多个Stage

  • Task:一个Stage包含一到多个Task,通过多个Task实现并行运行的功能

  • Transformations:Transformations操作是Lazy的,也就是说从一个RDD转换生成另一个RDD的操作不是马上执行,Spark在遇到Transformations操作时只会记录需要这样的操作,并不会去执行,需要等到有Actions操作的时候才会真正启动计算过程进行计算

  • Actions:Actions操作会返回结果或把RDD数据写到存储系统中。Actions是触发Spark启动计算的动因

标签
易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!