MapReduce

Windows下编译 Hadoop-2.9.2 系统环境 系统： Windows 10 10.0_x64 maven： Apache Maven 3.6.0 jdk: jdk_1.8.0_201 ProtocolBuffer： portoc-2.5.0 zlib： 1.2.3-lib OpenSSL： 1_0_2r cmake： 3.14.3-win64-x64 Cygwin： 2.897_x86_64 Visual Studio： Visual Studio 2010 Professional hadoop： hadoop-2.9.2 Hadoop源码包你们的的编译环境要求 Building on Windows ---------------------------------------------------------------------------------- Requirements: * Windows System * JDK 1.7 or 1.8 * Maven 3.0 or later * Findbugs 1.3.9 (if running findbugs) * ProtocolBuffer 2.5.0 * CMake 2.6 or newer * Windows SDK 7.1 or Visual Studio 2010 Professional

编程模型之核心概念 Split InputFormat OutputFormat Combiner Partitoner 编程模型之执行步骤 准备map处理的输入数据 Mapper处理 Shuffle Reduce处理 结果输出 通过 InputFormat 读入HDFS上的文件 通过 Split 进行分片后，用 RecordReader 读取进来 input(k,v) pairs ⇒ map ⇒ intermediate(k,v) pairs 通过 Partitioner 进行分区后，按照一定的规则进行 Shuffling，然后按字典排序 通过 Reduce 后，OutputFormat 写回到 HDFS 上 来源： CSDN 作者： senga07 链接： https://blog.csdn.net/gates0087/article/details/104079579

本地模型运行 1/在windows的eclipse里面直接运行main方法，就会将job提交给本地执行器localjobrunner执行 ----输入输出数据可以放在本地路径下（c:/wc/srcdata/） ----输入输出数据也可以放在hdfs中(hdfs://weekend110:9000/wc/srcdata) 2/在linux的eclipse里面直接运行main方法，但是不要添加yarn相关的配置，也会提交给localjobrunner执行 ----输入输出数据可以放在本地路径下（/home/hadoop/wc/srcdata/） ----输入输出数据也可以放在hdfs中(hdfs://weekend110:9000/wc/srcdata) 集群模式运行 1/将工程打成jar包，上传到服务器，然后用hadoop命令提交 hadoop jar wc.jar cn.itcast.hadoop.mr.wordcount.WCRunner 2/在linux的eclipse中直接运行main方法，也可以提交到集群中去运行，但是，必须采取以下措施： ----在工程src目录下加入 mapred-site.xml 和 yarn-site.xml ----将工程打成jar包(wordcount.jar)，同时在main方法中添加一个conf的配置参数　conf.set(

下载源码 源码下载地址（Source download）： https://hadoop.apache.org/releases.html 这里以 2.9.2 为例，查看源码中的编译说明文件 BUILDING.txt ，截取 windows 部分 Requirements: * Windows System * JDK 1.7 or 1.8 * Maven 3.0 or later * Findbugs 1.3.9 (if running findbugs) * ProtocolBuffer 2.5.0 * CMake 2.6 or newer * Windows SDK 7.1 or Visual Studio 2010 Professional * Windows SDK 8.1 (if building CPU rate control for the container executor) * zlib headers (if building native code bindings for zlib) * Internet connection for first build (to fetch all Maven and Hadoop dependencies) * Unix command-line tools from GnuWin32: sh, mkdir,

本文始发于个人公众号： TechFlow 近两年AI成了最火热领域的代名词，各大高校纷纷推出了人工智能专业。但其实，人工智能也好，还是前两年的深度学习或者是机器学习也罢，都离不开底层的数据支持。对于动辄数以TB记级别的数据，显然常规的数据库是满足不了要求的。今天，我们就来看看大数据时代的幕后英雄——Hadoop。 Hadoop这个关键词其实有两重含义，最早它其实指的就是单纯的分布式计算系统。但是随着时代的发展，Hadoop系统扩大，如今hadoop已经是成了一个完整的技术家族。从底层的分布式文件系统（HDFS）到顶层的数据解析运行工具（Hive、Pig），再到分布式系统协调服务（ZooKeeper）以及分布式数据库（HBase），都属于Hadoop家族，几乎涵盖了大半大数据的应用场景。在Spark没有流行之前，Hadoop一直是大数据应用中的绝对主流，即使是现在，依旧有大量的中小型公司，还是依靠Hadoop搭建大数据系统。 如今的Hadoop虽然家族庞大，但是早年Hadoop的结构非常简单，几乎只有两块，一块是分布式文件系统，这个是整个数据的支撑，另一个就是MapReduce算法。 分布式文件系统 大数据时代，数据的量级大规模增长，动辄以TB甚至PB计。对于这么海量的数据，如果我们还使用常规的方法是非常困难的。因为即使是 O(n) 的算法，将所有的数据遍历一遍