SPARK调优之本地化级别

拥有回忆 提交于 2019-11-27 13:06:09

Spark在Driver上对Application的每个task任务进行分配之前,都会先计算出每个task要计算的对应的数据分片的位置。Spark的task分配算法优先考虑将task分配到分片数据所在的节点,以此来避免网络间数据传输带来的性能消耗。但是在实际的生产环境,有可能某些task没有机会分配到其所要计算的数据所在的节点;因为某些节点的计算资源都已经被占用完了;在这个时候,task会等待一段时间,默认情况是3s,等待时间过了以后,还是没有轮到其执行,task就会去选择一种比较差的本地化级别去执行

  • PROCESS_LOCAL:进程本地化,代码和数据在同一个进程中,也就是在同一个executor中;计算数据的task由executor执行,数据在executor的BlockManager中;性能最好

  • RACK_LOCAL:机架本地化,数据和task在一个机架的两个节点上;数据需要通过网络在节点之间进行传输

  • NODE_LOCAL:节点本地化,代码和数据在同一个节点中;比如说,数据作为一个HDFSblock块,就在节点上,而task在节点上某个executor中运行;或者是,数据和task在一个节点上的不同executor中;数据需要在进程间进行传输

  • ANY:数据和task可能在集群中的任何地方,而且不在一个机架中,性能最差

 

  • NO_PREF:对于task来说,数据从哪里获取都一样,没有好坏之分

标签
易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!