reduceByKey和groupByKey的区别

匿名 (未验证) 提交于 2019-12-02 23:57:01
  • reduceByKey:按照key进行聚合,在shuffle之前有combine(预聚合)操作,返回结果是RDD[k,v]

  • groupByKey:按照key进行分组,直接进行shuffle

    建议使用reduceByKey。但是需要注意是否会影响业务逻辑

标签
易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!