SPARK之分区器

匿名 (未验证) 提交于 2019-12-02 23:57:01

Spark目前支持Hash分区和Range分区,用户也可以自定义分区,Hash分区为当前的默认分区,Spark中分区器直接决定了RDD中分区的个数、RDD中每条数据经过Shuffle过程属于哪个分区和Reduce的个数

  • 只有Key-Value类型的RDD才有分区器的,非Key-Value类型的RDD分区器的值是None

  • 每个RDD的分区ID范围:0~numPartitions-1,决定这个值是属于那个分区的

标签
易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!