spark源码分析之任务本地化

一世执手 提交于 2019-12-11 19:23:42

Spark也有数据本地化的概念(Data Locality),这和MapReduce的Local Task差不多,如果读取HDFS文件,Spark则会根据数据的存储位置,分配离数据存储最近的Executor去执行任务。

这么理解没错,我搭建的Spark集群情况是这样:

每台DataNode节点的HDFS集群,我在每个DataNode上都部署了一个Spark Worker,并且,启动Spark Application的时候,每个Worker都有一个Executor,这样理论上来说,只要读取HDFS文件,Spark都可以使用本地任务来读取(NODE_LOCAL)。

其中任务本地化后再器spark 提交任务界面存在。
在这里插入图片描述

通过分析源码 :spark 再sparkcontext 阶段已经再对应的wokers 上启动了excuter (里面指定了具体的内存和cpu ) 但通过源码分析都没有根据数据的具体位置去选择性的启动excutor

具体代码为
spark 1.3.1
在这里插入图片描述

spark 1.6.1 的excutor 资源分配为:
在这里插入图片描述

没有找到具体的执行代码

推测 为: 两种任务shuffleTask 和 resultTask 出现新的日志任务调度 (源码查看)

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!