MapReduce

第1章 MapReduce概述 1.1 MapReduce定义 1.2 MapReduce优缺点 1.2.1 优点 1.2.2 缺点 1.3 MapReduce核心思想 1.4 MapReduce进程 1.5 官方WordCount源码 1.6 常用数据序列化类型 1.7 MapReduce编程规范 1.8 WordCount案例实操 第2章 Hadoop序列化 2.1 序列化概述 2.2 自定义bean对象实现序列化接口（Writable） 2.3 序列化案例实操 第1章 MapReduce概述 1.1 MapReduce定义 1.2 MapReduce优缺点 1.2.1 优点 1.2.2 缺点 1.3 MapReduce核心思想 MapReduce核心编程思想，如下图所示。 详解如下： 1）分布式的运算程序往往需要分成至少2个阶段。 2）第一个阶段的MapTask并发实例，完全并行运行，互不相干。 3）第二个阶段的ReduceTask并发实例互不相干，但是他们的数据依赖于上一个阶段的所有MapTask并发实例的输出。 4）MapReduce编程模型只能包含一个Map阶段和一个Reduce阶段，如果用户的业务逻辑非常复杂，那就只能多个MapReduce程序，串行运行。 总结 ：分析WordCount数据流走向，深入理解MapReduce核心思想。 1.4 MapReduce进程

MapReduce: 是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）"和"Reduce（归约）"，是它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在 分布式系统 上。 当前的软件实现是指定一个Map（映射）函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce（归约）函数，用来保证所有映射的键值对中的每一个共享相同的键组。 MapReduce是面向大数据并行处理的计算模型、框架和平台，它隐含了以下三层含义： 1）MapReduce是一个基于集群的高性能并行计算平台（Cluster Infrastructure）。它允许用市场上普通的商用服务器构成一个包含数十、数百至数千个节点的分布和并行计算集群。 2）MapReduce是一个并行计算与运行软件框架（Software Framework）。它提供了一个庞大但设计精良的并行计算软件框架，能自动完成计算任务的并行化处理，自动划分计算数据和计算任务，在集群节点上自动分配和执行任务以及收集计算结果，将数据分布存储、数据通信、容错处理等并行计算涉及到的很多系统底层的复杂细节交由系统负责处理，大大减少了软件开发人员的负担。 3）MapReduce是一个并行程序设计模型与方法（Programming

本文系原创，若有转载需要，请注明出处。 https://www.cnblogs.com/bigdata-stone/ 1.mapReduce简介　　 　　MapReduce是面向大数据并行处理的计算模型、框架和平台。 映射（Mapping） ：对集合里的每个目标应用同一个操作。即，如果你想把表单里每个单元格乘以二，那么把这个函数单独地应用在每个单元格上的操作就属于mapping（这里体现了移动计算而不是移动数据）。 化简（Reducing）：遍历集合中的元素来返回一个综合的结果。即，输出表单里一列数字的和这个任务属于reducing。 MapReduce将复杂的、运行于大规模集群上的并行计算过程高度地抽象到了两个函数：Map和Reduce。简单来讲，map就是分，而reduce 就是合。 数据从map端进入(以key,value的形式)，同样以(key,value)的形式传出mapper,进过shuffle过程，所有相同的key都会分配进入同一个reduce。而对于整个作业的map数目取决于split切片的个数，经过inputformat进行切割，切了多少块就有几个map,切完之后再在每个节点上并发执行，并行计算，所以可以有多个map，而reduce的个数是可以进行设置的，所以reduce的个数和map的个数是多对多的关系。 对于map端而言，产生的数据需要在map端进行分区

一、实验数据 链接： https://pan.baidu.com/s/1CSgRQ8OXe50ya_DwkLX8yw 提取码：kexq 二、实验背景 1.1 实验背景 （1）电力设备在线监测 电力设备在线监测指在不停电的情况下，对电力设备状况进行连续或周期性地自动监视检测，使用的技术包括：传感器技术、广域通信技术和信息处理技术。 电力设备在线监测是实现电力设备状态运行检修管理、提升生产运行管理精益化水平的重要手段，对提升电网智能化水平、实现电力设备状态运行管理具有积极而深远的意义。 （2） 监测大数据 智能电网建设的推进，智能化电力一次设备和常规电力设备在线监测得到了较大发展并成为趋势，监测数据变得日益庞大，逐渐构成电力设备监测大数据，这给电力设备在线监测系统在数据存储和处理方面带来非常大的技术挑战。 电力设备监测大数据具有体量大、类型多、价值密度低和处理速度快的特点。电网公司监测系统目前过于依赖集中式SAN存储，并基于SOA进行数据集成，主要采用“企业级关系型数据库”，受容量、扩展性以及访问速度的制约，目前只存储二次加工的“熟数据”，而所擅长的关联查询、事务处理在数据分析时又无用武之地，迫切需要新的大数据存储和处理技术来应对。 （3）典型的大数据计算场景 批量计算：其计算特点是定时发生、批量处理、数据量大、实时性差。批量计算的工具包括：阿里云MaxCompute、Hadoop

项目空间 • 项目空间（Project）是MaxCompute的基本组织单元，类似于传统数据库的DataBase或Schema的概念，是进行多用户隔离和访问控制的主要边界。项目空间中包含多个对象，例如表（Table）、资源（Resource）、函数（Function）和实例（Instance）等。 • 一个用户可以同时拥有多个项目空间的权限。通过安全授权，可以跨项目空间访问对象。 • 通过在MaxCompute客户端中运行use project命令进入一个项目空间。 表 • 表是MaxCompute的数据存储单元，逻辑上是二维结构，MaxCompute中不同类型计算任务的操作对象（输入、输出）都是表。 • MaxCompute的表分为内部表和外部表（2.0版本开始支持）。 • 对于内部表，所有的数据都被存储在MaxCompute中。 • 对于外部表，MaxCompute并不真正持有数据，表格的数据可以存放在OSS或OTS中，MaxCompute仅会记录表格的Meta信息，OSS上的信息可以是非结构化的，例如视频、音频等。 • MaxCompute与Oracle等数据库不同，系统并不会自动创建dual表。 分区 • 分区表是指在创建表时指定分区空间，即指定表内的一个或某几个字段作为分区列。分区表实际就是对应分布式文件系统上的独立文件夹，该文件夹下是该分区的所有数据文件。 •

摘要：本文由阿里巴巴技术专家贺小令（晓令）分享，主要介绍 Apache Flink 新场景 OLAP 引擎，内容分为以下四部分： 背景介绍 Flink OLAP 引擎 案例介绍 未来计划 一、背景介绍 1.OLAP 及其分类 OLAP 是一种让用户可以用从不同视角方便快捷的分析数据的计算方法。主流的 OLAP 可以分为3类：多维 OLAP ( Multi-dimensional OLAP )、关系型 OLAP ( Relational OLAP ) 和混合 OLAP ( Hybrid OLAP ) 三大类。 （1）多维 OLAP ( MOLAP ) 传统的 OLAP 分析方式 数据存储在多维数据集中 （2）关系型 OLAP ( ROLAP ) 以关系数据库为核心，以关系型结构进行多维数据的表示 通过 SQL 的 where 条件以呈现传统 OLAP 的切片、切块功能 （3）混合 OLAP ( HOLAP ) 将 MOLAP 和 ROLPA 的优势结合起来，以获得更快的性能 以下将详细介绍每种分类的具体特征。 ■ 多维 OLAP ( MOLAP ) MOLAP 的典型代表是 Kylin 和 Druid。 MOLAP 处理流程 首先，对原始数据做数据预处理；然后，将预处理后的数据存至数据仓库，用户的请求通过 OLAP server 即可查询数据仓库中的数据。 MOLAP 的优点和缺点

云栖号快速入门： 【点击查看更多云产品快速入门】 不知道怎么入门？这里分分钟解决新手入门等基础问题，可快速完成产品配置操作！ MaxCompute对存储、计算、下载操作进行计量计费。本文向您介绍如何选择MaxCompute按量计费和包年包月两种购买方式，以及如何进行初步的成本估算。 计量计费项 MaxCompute中，计量计费项如下所示。 存储费用 ：按照存储在MaxCompute的数据的容量大小进行阶梯计费。 计算费用：MaxCompute分按量计费和包年包月两种计算计费方式。 (1). 包年包月 ：此方式仅在阿里云大数据计算服务提供，包括SQL、MapReduce等计算任务。 (2). 按量计费 ：按量计费方式针对SQL任务、MapReduce任务等计算任务进行计费。 SQL任务按量计费：即SQL任务按I/O按量计费。标准版与开发者版的计费方式不同。详细请参见 SQL任务按量计费 。 MapReduce按量计费：即MapReduce任务按量进行计费，目前仅标准版支持MapReduce任务。 下载费用 ： MaxCompute将按照外网下载的数据大小进行计费。 结算说明：账单以Project（项目空间）为单位统计，结算周期为天。 报价速算器： MaxCompute报价速算器下载 。 有关计量计费的详细计算方式，请参见 查看账单详情 。 计费常见问题请参见 计量计费常见问题 。

曾经被问傻的一道面试题分享给你： 给你1个文件 bigdata ，大小4663M，5亿个数，文件中的数据随机，如下一行一个整数： 6196302 3557681 6121580 2039345 2095006 1746773 7934312 2016371 7123302 8790171 2966901 ... 7005375 现在要对这个文件进行排序，怎么搞？ 内部排序 先尝试内排，选2种排序方式： 3路快排： private final int cutoff = 8; public <T> void perform(Comparable<T>[] a) { perform(a,0,a.length - 1); } private <T> int median3(Comparable<T>[] a,int x,int y,int z) { if(lessThan(a[x],a[y])) { if(lessThan(a[y],a[z])) { return y; } else if(lessThan(a[x],a[z])) { return z; }else { return x; } }else { if(lessThan(a[z],a[y])){ return y; }else if(lessThan(a[z],a[x])) { return z; }else { return