MapReduce

大数据云计算出来也比较久了，目前也比较的火，最近打算学习下相关的知识。进行学习首先得选择一本书，这里我选择 Hadoop+Spark生态系统操作与实战指南，因为书比较薄，适合入门。作者也提供了相关的视频和配置文件，环境。 hadoop权威指南，书是不错，不过太厚，目前入门不想使用此书，此书打算放在后面再进行看。学习东西，比较喜欢由点到面，步步深入。我的博客也是自己学习总结的过程，同时希望也能帮助到一些人。想买书籍看的，可以点击链接 http://product.dangdang.com/25163568.html 。 要学hadoop首先我们需要了解一些相关的概念，知道hadoop是什么，可以干什么，然后我们才能深入的学习。 一：hadoop版本和生态系统 1，hadoop版本的优缺点 目前市面上hadoop主要有两种：apache版本和CDH版本 1）apache版本的hadoop 官网：http://hadoop.apache.org/ 优势：对硬件要求低 劣势：搭建繁琐，维护繁琐，升级繁琐，添加组件繁琐 2）CDH版本的hadoop 官网：https://www.cloudera.com/ 优势：搭建方便，维护较为容易，升级以及迁移容易，添加组件容易 缺点：对硬件要求高 2，Hadoop生态系统和组件介绍 Hadoop生态组件主要包括：MapReduce，HDFS,HBase

转： http://baike.baidu.com/link?url=HwhPVuqqWelWIr0TeSBGPZ5SjoaYb5_Givp9-rJN-PYbSTMlwpECSKvjzLBzUE7hn9VvmhDoKb5NNCPw1pCsTa Hadoop 是一个由Apache基金会所开发的 分布式系统 基础架构。 用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。 [1] Hadoop实现了一个 分布式文件系统 （Hadoop Distributed File System），简称HDFS。HDFS有高 容错性 的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问 应用程序 的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。 Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。 [2] 中文名 海杜普 外文名 Hadoop 类 别 电脑程序 全 称 Hadoop Distributed File System 目录 1 起源 ▪ 项目起源 ▪

大数据 1.分布式： 主节点（Master）、从节点（Slaves） 2.集群（多台机器） 同时存储数据，并行处理数据 3.分布式计算 核心思想：分而治之思想 一.Hadoop 1.Apache Hadoop 介绍 ： 对多个服务器中分布式并行处理数据的一种工具，可以无限的扩大数据规模，以此来解决大数据规模。 特点 ; 规模扩展性，灵活性，容错性和低成本。 功能 ： Apache Hadoop是一个100%开源的框架，主要有两个功能： （1） 存储 大数据 （2） 处理 大数据 2.Hadoop关键模块 （1）HDFS 分布式存储海量数据， 将大数据文件分割为小的block（默认值128MB）文件进行存储的 （2）YARN 管理集群中资源（内存和CPU CORE）、分配资源给程序运行使用，比如MapReduce、Spark （3）MapReduce 分析海量数据框架 思想：分而治之的思想 将大数据文件分为很多小的数据文件，每个数据文件启用一个Map Task进行处理，完成以后启用一个Reduce Task合并所有的Map Task处理的结果。 3.Hadoop模块具体流程 （1）HDFS（数据存储） 分布式存储数据 ，将大数据文件划分为小数据文件 Block ，存储在集群中各个节点的硬盘中， 每个block有三个副本数，由Block统一管理。 （2）YARN（资源管理） YARN中

一 、Hadoop 简介： 1. 大数据略知一二： 1）大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产，需要在合理的时间内达到提取、管理、处理、并且整理成为帮助企业运营决策更积极目的的信息； 2）在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》 中大数据指不用随机分析法（抽样调查）这样捷径，而采用所有数据进行分析处理； 3）大数据的5V特点（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性）。 图解大数据： http://www.ruanyifeng.com/blog/2017/07/iaas-paas-saas.html 3. 项目起源： Hadoop由 Apache Software Foundation 公司于 2005 年秋天作为Lucene的子项目Nutch的一部分正式引入。它受到最先由 Google Lab 开发的 Map/Reduce 和 Google File System(GFS) 的启发。2006 年 3 月份，Map/Reduce 和 Nutch Distributed File System (NDFS)

海量数据处理常用技术概述 如今互联网产生的数据量已经达到PB级别，如何在数据量不断增大的情况下，依然保证快速的检索或者更新数据，是我们面临的问题。 所谓海量数据处理，是指基于海量数据的存储、处理和操作等。因为数据量太大无法在短时间迅速解决，或者不能一次性读入内存中。 在解决海量数据的问题的时候，我们需要什么样的策略和技术，是每一个人都会关心的问题。今天我们就梳理一下在解决大数据问题 的时候需要使用的技术，但是注意这里只是从技术角度进行分析，只是一种思想并不代表业界的技术策略。 常用到的算法策略 分治：多层划分、MapReduce 排序：快速排序、桶排序、堆排序 数据结构：堆、位图、布隆过滤器、倒排索引、二叉树、Trie树、B树，红黑树 Hash映射：hashMap、simhash、局部敏感哈希 海量数据处理－－从分而治之到Mapreduce 分治 分治是一种算法思想，主要目的是将一个大问题分成多个小问题进行求解，之后合并结果。我们常用到的有归并排序: 先分成两部分进行排序，之后在合并 ， 当然还有其他的很多应用，就比如是我们上篇文章中提到的Top K问题，就是将大文件分成多个小文件进行统计，之后进行合并结果。这里我们对分治进行抽象， 依然从上述提到的Top K频率统计开始出发。定义如下：有M多个Query日志文件记录，要求得到Top K的Query。 我们可以抽象成几个步骤：

(题图：from unsplash ) 海量数据处理常用技术概述 如今互联网产生的数据量已经达到PB级别，如何在数据量不断增大的情况下，依然保证快速的检索或者更新数据，是我们面临的问题。 所谓海量数据处理，是指基于海量数据的存储、处理和操作等。因为数据量太大无法在短时间迅速解决，或者不能一次性读入内存中。 在解决海量数据的问题的时候，我们需要什么样的策略和技术，是每一个人都会关心的问题。今天我们就梳理一下在解决大数据问题 的时候需要使用的技术，但是注意这里只是从技术角度进行分析，只是一种思想并不代表业界的技术策略。 常用到的算法策略： 分治：多层划分、MapReduce 排序：快速排序、桶排序、堆排序 数据结构：堆、位图、布隆过滤器、倒排索引、二叉树、Trie树、B树，红黑树 Hash映射：hashMap、simhash、局部敏感哈希 从分而治之到Mapreduce 分治 分治是一种算法思想，主要目的是将一个大问题分成多个小问题进行求解，之后合并结果。我们常用到的有归并排序: 先分成两部分进行排序，之后在合并 ， 我们可以抽象成几个步骤： 多个文件的输入，我们叫做 input splits 多进程同时处理多个文档，我们叫做 map 。 partition 从上文中我们知道。因为我们要将相同的Query映射的一起 多进程处理划分或的文件，我们叫做 reduce 合并过个文件的结果