MapReduce

1、数据处理主要技术 Sqoop ：（发音：skup）作为一款开源的离线数据传输工具，主要用于Hadoop(Hive) 与传统数据库（MySql,PostgreSQL）间的数据传递。它可以将一个关系数据库中数据导入Hadoop的HDFS中， 也可以将HDFS中的数据导入关系型数据库中。 Flume： 实时数据采集的一个开源框架，它是Cloudera提供的一个高可用用的、高可靠、分布式的海量日志采集、聚合和传输的系统。目前已经是Apache的顶级子项目。使用Flume可以收集诸如日志、时间等数据 并将这些数据集中存储起来供下游使用（尤其是数据流框架，例如Storm）。和Flume类似的另一个框架是Scribe（FaceBook开源的日志收集系统，它为日志的分布式收集、统一处理提供一个可扩展的、高容错的简单方案） 　Kafka： 通常来说Flume采集数据的速度和下游处理的速度通常不同步，因此实时平台架构都会用一个消息中间件来缓冲，而这方面最为流行和应用最为广泛的无疑是Kafka。它是由LinkedIn开发的一个分布式消息系统， 以其可以水平扩展和高吞吐率而被广泛使用。目前主流的开源分布式处理系统（如Storm和Spark等）都支持与Kafka 集成。 Kafka是一个基于分布式的消息发布-订阅系统，特点是速度快、可扩展且持久。与其他消息发布-订阅系统类似

分布式大数据处理系统概览（一）   本博文主要对现如今分布式大数据处理系统进行概括整理，相关课程为华东师范大学数据科学与工程学院《大数据处理系统》，参考 大夏学堂 ，下面主要整理 HDFS/MapReduce/Spark/Yarn/Zookeeper/Storm/SparkStreaming/Lambda/DataFlow/Flink/Giraph 有关的内容。 分布式大数据处理系统大纲 分布式大数据处理系统概览（一）： HDFS/MapReduce/Spark 分布式大数据处理系统概览（二）： Yarn/Zookeeper 分布式大数据处理系统概览（三）： Storm/SparkStreaming 分布式大数据处理系统概览（四）： Lambda/DataFlow/Flink/Giraph   第一节部分主要总结分布式系统的目标、性质；简要介绍几种分布式计算的编程模型；介绍计算机进程与线程关系及远程调用方式；介绍文件系统DFS、介绍Hadoop的文件系统HDFS；介绍分布式计算批处理系统MapReduce和Spark。 0.绪论 0.1分布式系统的目标 0.2 大数据的五个特性（5V） （1）数量Volume （2）种类Variety （3）价值Value （4）真实性Veracity （5）速度Velocity 0.3 分布式计算生态圈 0.4分布式计算底层系统 （1

海量数据处理（1）：MapReduce 海量数据处理，就是基于海量数据的存储、删除、搜索等操作。由于数据量太大，导致要么无法在短时间内迅速处理，要么无法一次性装入内存。针对面试过程中的问题，主要有以下解决步骤 针对时间，可以采用更加迅速的数据结构和算法，比如BloomFilter、Hash、堆、Bitmap等 针对空间，无非就是大而化小，分而治之。 算法方面： 外排序算法（External Sorting） Map Reduce 非精确算法 概率算法 哈希算法与哈希函数（Hash Function） 数据结构方面： 哈希表（Hash Table） 堆（Heap） 布隆过滤器（BloomFilter） 位图（Bitmap） 一、MapReduce简介 给定一个有海量单词的集合，统计每个词的出现次数，最简单的就是for循环，放进map，一台机器这样做，明显是不合适的，所以我们想到了用两台机器for循环，两台服务器去处理数据，但是到了merge环节，还是一台机器啊，这也是个瓶颈。 合并时候也可以采用并行的方式，有两种选择 一是以机器来划分（比如第i台到第j台由某台机器合并） 二是根据key来划分（比如key由a、b、c、d，让一台机器合并key a和key b） 很显然以机器作为划分并不好，因为进行了第一轮合并了后，还要再进行合并…最后形成一个类似树状结构的

概述 1.什么是Hive Hive是建立在Hadoop上的数据仓库基础架构。可以将结构化的数据映射为一张数据库表，并提供类SQL查询功能。 详解 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行。 它提供了一系列的工具，可以用来进行数据 提取转化加载（ETL） ，这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。 架构 Hive提供了一个SQL命令的操作接口，允许用户可以使用类似SQL的Hive的Query Language执行一些离线的SQL分析。但是Hive和传统的数据库不同，Hive只是构建在Hadoop的MapReduce之上的SQL解析工具， 并不参与数据的管理和存储 ，Hive中所有的数据都是在运行任务的时候才会真正的加载。 具体流程为： 1.Hive读取用户的SQL脚本。 2.到数据库中(Mysql)中查询所映射的元数据信息。(Mysql主要负责存储Hive逻辑表到HDFS物理文件的映射信息，因此，Hive在做计算之前，需要查询Mysql生成逻辑计划，然后生成MapReduce可以执行的物理计划) 3.生成SQL的逻辑执行计划。 4.由MapReduce执行物理计划。 5.读取MapReduce的结构。 6.将结构返回用户。

作者：2551529836 Hive ** Facebook开源 ** 官网：hive.apache.org ** Hive是基于Hadoop的一个数据仓库工具 Hive与数据库： 数据库: mysql、oracle、DB2、sqlserver 数据仓库 !== 数据库 换言之, Hive不是数据库 为什么要选择hive ** MapReduce编程成本高 ** 针对传统的DBA,不会不熟悉java,要想数据分析,借助Hive Hive简介： ** 流程 ** hql --> Hive(java) --> mapreduce -->yarn --> hdfs ** 本质: 将HQL转化成MapReduce程序 ** 使用MapReduce计算模型，运行在yarn平台之上 ** Hive适合离线批量处理,延时比较大 ** 不适合在线业务实时分析结果,业务要求延时较低的场景不适合 Hive体系结构 ** 用户接口: Client ** 终端命令行CLI --主要的一种使用方式 ** JDBC方式 --几乎不用 ** 元数据：metastore ** 默认apache使用的是derby数据库(只能有一个客户端使用),CDH使用postgreDB ** 企业通常我们会选择另外一种mysql来存储 ** 元数据包括：表名、表所属的数据库（默认是default）、 表的拥有者、列/分区字段

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> Hadoop生态系统的特点： 源代码开源（免费） 社区活跃、参与者众多 涉及分布式存储和计算的方方面面 已得到企业界验证 Hadoop1.0和2.0： Hadoop概述： 分布式存储系统HDFS（Hadoop Distributed File System） 分布式存储系统 提供了高可靠性、高扩展性和高吞吐率的数据存储服务 资源管理系统YARN（Yet Another Resource Negotiator） 负责集群资源的统一管理和调度 分布式计算框架MapReduce 分布式计算框架 具有易于编程、高容错性和高扩展性等优点 Hadoop2.0层级关系： Hadoop构成 ：HDFS 分布式文件存储 源自于Google的GFS论文 发表于2003年10月 HDFS是GFS克隆版 HDFS特点 良好的扩展性 高容错性 适合PB级以上海量数据的存储 基本原理 将文件切分成等大的数据块，存储到多台机器上 将数据切分、容错、负载均衡等功能透明化 可将HDFS看成一个容量巨大、具有高容错性的磁盘 应用场景 海量数据的可靠性存储 数据归档 Hadoop构成 ：YARN（资源管理系统） YARN是什么 Hadoop 2.0新增系统 负责集群的资源管理和调度 使得多种计算框架可以运行在一个集群中

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 前言 几周前，当我最初听到，以致后来初次接触Hadoop与MapReduce这两个东西，我便稍显兴奋，觉得它们很是神秘，而神秘的东西常能勾起我的兴趣，在看过介绍它们的文章或论文之后，觉得Hadoop是一项富有趣味和挑战性的技术，且它还牵扯到了一个我更加感兴趣的话题：海量数据处理。 由此，最近凡是空闲时，便在看“Hadoop”，“MapReduce”“海量数据处理”这方面的论文。但在看论文的过程中，总觉得那些论文都是浅尝辄止，常常看的很不过瘾，总是一个东西刚要讲到紧要处，它便结束了，让我好生“愤懑”。 尽管我对这个Hadoop与MapReduce知之甚浅，但我还是想记录自己的学习过程，说不定，关于这个东西的学习能督促我最终写成和“经典算法研究系列”一般的一系列文章。 Ok，闲话少说。本文从最基本的mapreduce模式，Hadoop框架开始谈起，然后由各自的架构引申开来，谈到海量数据处理，最后谈谈淘宝的海量数据产品技术架构，以为了兼备浅出与深入之效，最终，希望得到读者的喜欢与支持。谢谢。 由于本人是初次接触这两个东西，文章有任何问题，欢迎不吝指正。Ok，咱们开始吧。 第一部分、mapreduce模式与hadoop框架深入浅出 架构扼要 想读懂此文，读者必须先要明确以下几点，以作为阅读后续内容的基础知识储备：