7. RDD 窄依赖&宽依赖

我是研究僧i 提交于 2019-12-27 22:18:56

窄依赖和宽依赖

RDD之间有一系列的依赖关系,依赖关系又分为窄依赖和宽依赖。

窄依赖 ---- 减少或不变

父RDD和子RDD partition之间的关系是一对一的。或者父RDD和子RDD partition关系是多对一的。不会有shuffle的产生。

宽依赖 ---- 增多

父RDD与子RDD partition之间的关系是一对多。会有shuffle的产生

宽窄依赖图理解

在这里插入图片描述
在这里插入图片描述

标签
易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!