大数据学习(七)mapreduce wordCount讲解与实现
MR案例一(wordcount) 前面的文章写了HDFS和Mapreduce的机制,现在我们要动手写一些最基本的分布式计算实例。 本章主要写最基本的wordcount的一个基础demo,后面会逐渐进行丰富和完善。有基础的大佬还望勿喷。 目的 我们要完成一个MR,进行分词和计数 由: 最终得到: 目录结构 具体代码 mapper import org . apache . hadoop . io . IntWritable ; import org . apache . hadoop . io . LongWritable ; import org . apache . hadoop . io . Text ; import org . apache . hadoop . mapreduce . Mapper ; import java . io . IOException ; public class WordCountMapper extends Mapper < LongWritable , Text , Text , IntWritable > { /* * 继承Mapper类,源码我们后面再看 * 其中的四个参数分别是Mapper的输入(2)和输出(2) * LongWritable和IntWritable 相当于int, Text相当于String * 第一个参数是游标