Hadoop学习之路(7)MapReduce自定义分区排序

安稳与你 提交于 2019-12-13 15:27:08

本文测试文本:

tom 20 8000
nancy 22 8000
ketty 22 9000
stone 19 10000
green 19 11000
white 39 29000
socrates 30 40000

   在MapReduce程序中,Map阶段输出是一个<K,V>键值对,根据K的值进行排序分区、排序、分组,MapReduce会按照基本类型对应的key进行排序,如int类型的IntWritable,默认升序排序
为什么要自定义排序规则?
   现有需求,需要自定义key类型,并自定义key的排序规则,如按照人的salary降序排序,若相同,则再按age升序排序
   通常情况下会根据Text类型的值进行排序,先看一下Text类型代码

标签
易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!