reduceByKey和groupByKey的区别

好久不见. 提交于 2019-11-29 05:35:26
  • reduceByKey:按照key进行聚合,在shuffle之前有combine(预聚合)操作,返回结果是RDD[k,v]

  • groupByKey:按照key进行分组,直接进行shuffle

    建议使用reduceByKey。但是需要注意是否会影响业务逻辑

标签
易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!