MapReduce

摘要： 一个WordCount单词统计程序为实例，详细演示了如何编写MapReduce程序代码以及如何打包运行程序。 参考资料： Api 文档地址： http://hadoop.apache.org/docs/current/api/index.html maven资源库： https://mvnrepository.com/repos/central 用于配置pom的时候查询资源 1.创建maven项目 创建maven项目，项目名hdfs ##这里我用的文章“java操作hdfs”的项目hdfs pom.xml文件： //与文章“java操作hdfs”的项目一样。 2.编写WordCount类 在该项目包com.scitc.hdfs中新建WordCount.java类，代码如下： package com.scitc.hdfs; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import

这篇文章是基于 《Effective Python——编写高质量Python代码的59个有效方法》[美] 布雷特·斯拉特金 著 爱飞翔 译 这本书中的内容，写写自己在某方面的感悟，并摘录一些作为读书笔记供今后鞭策。侵删。 第 24 条：以 @classmethod 形式的多态取通用地构建对象 在 python 中，不仅对象支持多态，类也支持多态，那么类的多态是什么意思呢？ 多态，使得继承体系中多个类都能以各自所独有的方式来实现某个方法。这些类，都满足相同的接口或继承自相同的抽象类，但却有着不同的功能。 例如，为了实现一套 MapReduce 流程，我们需要定义公共基类来表示输入的数据。下面这段代码就定义了这样的基类，它的 read 方法必须由子类来实现。 In [ 1 ] : class InputData ( object ) : . . . : def read ( self ) : . . . : raise NotImplementedError . . . : In [ 2 ] : class PathInputData ( InputData ) : . . . : def __init__ ( self , path ) : . . . : super ( ) . __init__ ( ) . . . : self . path = path . . . : def

1、Yarn介绍 Apache Hadoop YARN 是 apache Software Foundation Hadoop的子项目，为分离Hadoop2.0资源管理和计算组件而引入。YARN的诞生缘于存储于HDFS的数据需要更多的交互模式，不单单是MapReduce模式。Hadoop2.0 的YARN 架构提供了更多的处理框架，比如spark框架，不再强迫使用MapReduce框架。 从hadoop2.0 的架构图可以看出，YARN承担着原本由MapReduce承担的资源管理的功能，同时将这部分的功能打包使得他们可以被新的数据处理引擎使用。这也同时简化了MapReduce的流程，使得MapReduce专注的将数据处理做到最好。使用YARN,可以用共同的资源管理，在Hadoop上跑很多应用程序。目前，很多机构已经开发基于YARN的应用程序。 2、Yarn架构 YARN的架构还是经典的主从（master/slave）结构，如下图所示。大体上看，YARN服务由一个ResourceManager（RM）和多个NodeManager（NM）构成，ResourceManager为主节点（master），NodeManager为从节点（slave） 在YARN体系结构中，全局ResourceManager作为主守护程序运行，该仲裁程序在各种竞争应用程序之间仲裁可用的群集资源

第1章 MapReduce概论 1.1 MapReduce定义 MapReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架 MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上 1.2 MapReduce优缺点 1.2.1 优点 A．MapReduce易于编程 B．良好的扩展性 C．高容错性 D．适合PB级以上海量数据的离线处理 1.2.2 缺点 A．不擅长实时计算 B．不擅长流式计算 C．不擅长DAG(有向图)计算 1.3 MapReduce核心思想 总结：分析WordCount数据流走向深入理解MapReduce核心思想 1.4 MapReduce进程 一个完整的MapReduce程序在分布式运行时有三类实例进程 A．MrAppMaster：负责整个程序的过程调度及状态协调 B．MapTask：负责Map阶段的整个数据处理流程 C．ReduceTask：负责Reduce阶段的整个数据处理流程 1.5 官方WordCount源码 采用反编译工具反编译源码，发现WordCount案例有Map类、Reduce类和驱动类。且数据的类型是Hadoop自身封装的序列化类型 1.6 常用数据序列化类型 Java类型 Hadoop Writable类型 Boolean

1：运行MapReduce任务 1 ：原始数据准备 统计用户的登录次数： 源数据login_log.txt如下： 7whygb5m@linshiyouxiang.net nuahvuhuoia@qq.com uashkufawuk@163.com wafwqfqw@gmail.com iuhukawhfuk@sina.com wfkwbfkuw@tom.com iuqwhfuihuqiw@yahoo.com hiuwqhuiryquiw545@yahoo.com uiwqyiuyr7qwrqa@sohu.com … 2 ：应用程序准备 集群目录： $HADOOP_HOME/share/hadoop/mapreduce/中找到程序包： hadoop-mapreduce-examples-2.6.4.jar 该程序包提供了一些测试模块： wordcount //对输入文件中的单词进行词频统计 pi //估算圆周率pi的值 wordmean //计算输入文件中单词的平均长度 3 ：提交任务指令解析 hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.4.jar wordcount /user/root/login_log.txt /user/root/output 说明：

前言 目前人工智能和大数据火热，使用的场景也越来越广，日常开发中前端同学也逐渐接触了更多与大数据相关的开发需求。因此对大数据知识也有必要进行一些学习理解。 基础概念 大数据的本质 一、数据的存储：分布式文件系统（分布式存储） 二、数据的计算：分部署计算 基础知识 学习大数据需要具备Java知识基础及Linux知识基础 学习路线 （1）Java基础和Linux基础 （2）Hadoop的学习：体系结构、原理、编程 第一阶段：HDFS、MapReduce、HBase（NoSQL数据库） 第二阶段：数据分析引擎 -> Hive、Pig 数据采集引擎 -> Sqoop、Flume 第三阶段：HUE：Web管理工具 ZooKeeper：实现Hadoop的HA Oozie：工作流引擎 （3）Spark的学习 第一阶段：Scala编程语言 第二阶段：Spark Core -> 基于内存、数据的计算 第三阶段：Spark SQL -> 类似于mysql 的sql语句 第四阶段：Spark Streaming ->进行流式计算：比如：自来水厂 （4）Apache Storm 类似：Spark Streaming ->进行流式计算 NoSQL：Redis基于内存的数据库 HDFS 分布式文件系统 解决以下问题： 1、硬盘不够大：多几块硬盘，理论上可以无限大 2、数据不够安全：冗余度，hdfs默认冗余为3

架构扼要 想读懂此文，读者必须先要明确以下几点，以作为阅读后续内容的基础知识储备： Mapreduce是一种模式。 Hadoop是一种框架。 Hadoop是一个实现了mapreduce模式的开源的分布式并行编程框架。 所以，你现在，知道了什么是mapreduce，什么是hadoop，以及这两者之间最简单的联系，而本文的主旨即是，一句话概括：在hadoop的框架上采取mapreduce的模式处理海量数据。下面，咱们可以依次深入学习和了解mapreduce和hadoop这两个东西了。 Mapreduce模式 前面说了，mapreduce是一种模式，一种什么模式呢?一种云计算的核心计算模式，一种分布式运算技术，也是简化的分布式编程模式，它主要用于解决问题的程序开发模型，也是开发人员拆解问题的方法。 Ok，光说不上图，没用。如下图所示，mapreduce模式的主要思想是将自动分割要执行的问题（例如程序）拆解成map（映射）和reduce（化简）的方式，流程图如下图1所示： 在数据被分割后通过Map 函数的程序将数据映射成不同的区块，分配给计算机机群处理达到分布式运算的效果，在通过Reduce 函数的程序将结果汇整，从而输出开发者需要的结果。 MapReduce 借鉴了函数式程序设计语言的设计思想，其软件实现是指定一个Map 函数，把键值对(key/value)映射成新的键值对(key