MapReduce

承接上文： Hadoop基础---流量求和MapReduce程序及自定义数据类型 一：实验数据 对上一篇文章中的数据进行排序处理： 13480253104 180 200 380 13502468823 102 7335 7437 13560439658 5892 400 6292 13600217502 186852 200 187052 13602846565 12 1938 1950 13660577991 9 6960 6969 13719199419 0 200 200 13726230503 2481 24681 27162 13760778710 120 200 320 13823070001 180 200 380 13826544101 0 200 200 13922314466 3008 3720 6728 13925057413 63 11058 11121 13926251106 0 200 200 13926435656 1512 200 1712 15013685858 27 3659 3686 15920133257 20 3156 3176 15989002119 3 1938 1941 18211575961 12 1527 1539 18320173382 18 9531 9549 84138413 4116 1432 5548 二

序言 MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）"和"Reduce（归约）"，是它们的主要思想。 MapReduce产生背景 　　如果让你统计日志里面的出现的某个URL的总次数，让你自己去写个单机版的程序，写个逻辑：无非就是读这个文件一行,然后把那个地方截取出来，截取出来之后，然后可以把它放到一个HashMap里面，用Map去重，看到一条新的URL ,就把它put进去，然后+1，如果下次看到再有就直接+1,没有就put进去，单机版的话逻辑是很好实现，但是数据量一大，你觉得单机版本还能搞定吗？ 　　首先2T的文件，你放在单机上可能存不下来，如果再他多一点呢？比如几千个文件，几十个T，单机存都存不下，那么存在哪里-------hdfs上。 　　因为放在HDFS上可以放很多很多，比如说HDFS上有100个节点，每个节点上能耐挂载8T的硬盘，那就有800T，800T，你每个文件存3个副本的话，你至少也能存100多个T文件，耗费了大概6个T的空间，但是你一旦放到HDFS上就有一个问题：你的文件就会被切散了，被切三到很多的机器上，这个时候，你再对它们进行统计，这个时候，按照原来的逻辑，会不会出现问题？ 资料 MapReduce介绍 来源： https://www.cnblogs.com/cnki/p/12348740.html

MapReduce Tutorial （个人指导） Purpose （目的） Prerequisites （必备条件） Overview （综述） Inputs and Outputs （输入输出） MapReduce - User Interfaces （用户接口） Payload （有效负载） Mapper Reducer Partitioner Counter Job Configuration （作业配置） Task Execution & Environment （任务执行和环境） Memory Management （内存管理） Map Parameters （Map参数） Shuffle/Reduce Parameters （Shuffle/Reduce参数） Configured Parameters （配置参数） Task Logs （任务日志） Distributing Libraries （分布式缓存 库） Job Submission and Monitoring （作业提交和监控） Job Control （作业控制） Job Input （作业输入） InputSplit （输入块） RecordReader （记录读取器） Job Output （作业输出） OutputCommitter （输出提交器） Task Side-Effect Files

Hadoop权威指南的Github https://github.com/tomwhite/hadoop-book hadoopAPI http://hadoop.apache.org/docs/current/api/ TopN之mapreduce http://www.mamicode.com/info-detail-1047670.html 刷SQL题网站 https://sqlzoo.net/wiki/SELECT_basics https://blog.csdn.net/flycat296/article/details/63681089 leetcode源码GitHub链接 https://github.com/grandyang/leetcode 　　　 mapreduce初级编程链接 https://www.cnblogs.com/xia520pi/archive/2012/06/04/2534533.html 　 https://blog.csdn.net/zhongqi2513/article/details/78321664 来源： https://www.cnblogs.com/hdc520/p/11012831.html

大数据本身是个很宽泛的概念，Hadoop生态圈（或者泛生态圈）基本上都是为了处理超过单机尺度的数据处理而诞生的。 你可以把它比作一个厨房所以需要的各种工具。锅碗瓢盆，各有各的用处，互相之间又有重合。你可以用汤锅直接当碗吃饭喝汤，你可以用小刀或者刨子去皮。但是每个工具有自己的特性，虽然奇怪的组合也能工作，但是未必是最佳选择。 大数据，首先你要能存的下大数据。 传统的文件系统是单机的，不能横跨不同的机器。HDFS（Hadoop Distributed FileSystem）的设计本质上是为了大量的数据能横跨成百上千台机器，但是你看到的是一个文件系统而不是很多文件系统。比如你说我要获取/hdfs /tmp/file1的数据，你引用的是一个文件路径，但是实际的数据存放在很多不同的机器上。你作为用户，不需要知道这些，就好比在单机上你不关心文件 分散在什么磁道什么扇区一样。HDFS为你管理这些数据。 存的下数据之后，你就开始考虑怎么处理数据。 虽 然HDFS可以为你整体管理不同机器上的数据，但是这些数据太大了。一台机器读取成T上P的数据（很大的数据哦，比如整个东京热有史以来所有高清电影的大 小甚至更大），一台机器慢慢跑也许需要好几天甚至好几周。对于很多公司来说，单机处理是不可忍受的，比如微博要更新24小时热博，它必须在24小时之内跑 完这些处理。那么我如果要用很多台机器处理

Hive数据导入导出的几种方式 一，Hive数据导入的几种方式 首先列出讲述下面几种导入方式的数据和hive表。 导入： 本地文件导入到Hive表； Hive表导入到Hive表; HDFS文件导入到Hive表; 创建表的过程中从其他表导入; 通过sqoop将mysql库导入到Hive表；示例见《通过sqoop进行mysql与hive的导入导出》和《定时从大数据平台同步HIVE数据到oracle》 导出： Hive表导出到本地文件系统； Hive表导出到HDFS； 通过sqoop将Hive表导出到mysql库； Hive表： 创建testA： CREATE TABLE testA ( id INT , name string , area string ) PARTITIONED BY ( create_time string ) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE ; 创建testB： CREATE TABLE testB ( id INT , name string , area string , code string ) PARTITIONED BY ( create_time string ) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',

一：MapReduce思想 （一）MapReduce解决的问题 1.如何实现将代码分发到集群中节点中，并且如何运行起来 2.将代码分发到哪些指定机器中运行 3.实时监控节点运行情况 4.结果如何汇总 总之：将我们简单的业务逻辑很方便的扩展到海量数据环境下的进行分布式运算 （二） MapReduce基本概念和程序编写逻辑 MapReduce的程序执行流程分为两个阶段：Mapper阶段和Reducer阶段 其中Mapper阶段包括： 1>指定输入文件的路径，并将输入文件在逻辑上切分成若干个split数据片。随后对输入切片按照一定的规则解析成键值对<k1,v1>,其中k1就是我们常说的起始偏移量，v1就是行文本的内容。 2>调用自己编写的map函数，将输入的键值对<k1,v1>转化成键值对<k2,v2>,其中每一个键值对<k1,v1>都会调用一次map函数。 3>对输出的键值对<k2,v2>进行分区、排序、分组，其中分组就是相同的key的value放到同一个集合当中。 4>（可选）对分组后的数据进行本地归并处理（combiner）。 其中Reducer阶段包括： 5>对多个Mapper任务的输出，按照不同的分区，通过网络拷贝到不同的Reducer节点上进行处理，随后对多个Mapper任务的输出进行合并，排序。 6>调用自己编写的reduce函数，将输入的键值对<k2,v2s>转化成键值对

大数据本身是个很宽泛的概念，Hadoop生态圈（或者泛生态圈）基本上都是为了处理超过单机尺度的数据处理而诞生的。 你可以把它比作一个厨房所以需要的各种工具。锅碗瓢盆，各有各的用处，互相之间又有重合。你可以用汤锅直接当碗吃饭喝汤，你可以用小刀或者刨子去皮。但是每个工具有自己的特性，虽然奇怪的组合也能工作，但是未必是最佳选择。 大数据，首先你要能存的下大数据。 传统的文件系统是单机的，不能横跨不同的机器。HDFS（Hadoop Distributed FileSystem）的设计本质上是为了大量的数据能横跨成百上千台机器，但是你看到的是一个文件系统而不是很多文件系统。比如你说我要获取/hdfs/tmp/file1的数据，你引用的是一个文件路径，但是实际的数据存放在很多不同的机器上。你作为用户，不需要知道这些，就好比在单机上你不关心文件分散在什么磁道什么扇区一样。HDFS为你管理这些数据。 存的下数据之后，你就开始考虑怎么处理数据。 虽然HDFS可以为你整体管理不同机器上的数据，但是这些数据太大了。一台机器读取成T上P的数据（很大的数据哦，比如整个东京热有史以来所有高清电影的大小甚至更大），一台机器慢慢跑也许需要好几天甚至好几周。对于很多公司来说，单机处理是不可忍受的，比如微博要更新24小时热博，它必须在24小时之内跑完这些处理。那么我如果要用很多台机器处理，我就面临了如何分配工作