Hadoop编写调试MapReduce程序详解
编程学习，最好的方法还是自己动手，所以这里简单介绍在Hadoop上编写调试一个MapReduce程序。 先说一下我的开发环境，我的操作系统是Centos6.0，Hadoop版本是0.20.2，开发环境是eclipse。在Hadoop的0.20.0版本以后，都包含一个新的Java MapReduce API，这个API有时也称为上下文对象，新的API在类型上不兼容以前的API。关于新旧API的区别，这里先不做介绍了，只是在编程的时候一定要注意下，网上好多MapReduce的程序是基于旧的API编写的，如果自己安装的是新版的Hadoop，就会在调试时出现错误，初学者不明白这一点或许会走弯路。 1问题描述：查找最高气温。就是从气候日志数据中查找当年的最高气温，假设每一条记录的格式如下：“China2013inbeijing023isok0"，其中2013是年份，023是温度记录，ok表示数据是完好的（为了简单易懂，省略其他的信息），我们的任务是从大量的数据记录中找出北京2013年的最高气温。这样的数据很适合用MapReduce来处理。 2问题分析，这个问题很简单，这里用这么简单的数据只是为了说明在Hadoop上编写调试MapReduce程序的过程。对于一条数据这需要提取出来年份和温度，然后找出最大温度就行了。这了类似于分治法，每一个Map过程就是分得过程，Reduce就是合的过程。 3