MapReduce

全球最厉害的14位程序员是谁，您知道的有几位呢？ 以下排名不分先后： 1. Jon Skeet 个人名望： 程序技术问答网站Stack Overflow总排名第一的大神，每月的问答量保持在425个左右。 个人简介/主要荣誉： 谷歌软件工程师，代表作有《深入理解C#(C# In Depth)》。 网络上对Jon Skeet的评价： “他根本不需要调试器，只要他盯一下代码，错误之处自会原形毕露。” “如果他的代码没有通过编译的时候，编译器就会道歉。” “他根本不需要什么编程规范，他的代码就是编程规范。” 2. Gennady Korotkevich 个人声望： 编程大赛神童 个人简介/主要荣誉： 年仅11岁时便参加国际信息学奥林比克竞赛，创造了最年轻选手的记录。在2007-2012年间，总共取得6枚奥赛金牌；2013年美国计算机协会编程比赛冠军队成员；2014年Facebook黑客杯冠军得主。截止目前，稳居俄编程网站Codeforces声望第一的宝座，在TopCoder算法竞赛中暂列榜眼位置。 网络上对Gennady Korotkevich的评价： “一个编程神童。” “他太令人惊讶了，他相当于我在白俄罗斯建立了一支强大的编程队伍” “彻底的编程天才” 3. Linus Torvalds 个人名望： Linux之父 个人简介/主要荣誉： Linux和Git之父，一个开源的操作系统；

导读： 全球最厉害的14位程序员是谁？一起来看下让我们膜拜的这些大神都有哪些？ 排名不分先后。 01 Jon Skeet 个人名望： 程序技术问答网站Stack Overflow总排名第一的大神，每月的问答量保持在425个左右。 个人简介/主要荣誉： 谷歌软件工程师，代表作有《深入理解C#(C# In Depth)》。 网络上对Jon Skeet的评价： “他根本不需要调试器，只要他盯一下代码，错误之处自会原形毕露。” “如果他的代码没有通过编译的时候，编译器就会道歉。” “他根本不需要什么编程规范，他的代码就是编程规范。” 02 Gennady Korotkevich 个人声望： 编程大赛神童 个人简介/主要荣誉： 年仅11岁时便参加国际信息学奥林比克竞赛，创造了最年轻选手的记录。在2007-2012年间，总共取得6枚奥赛金牌；2013年美国计算机协会编程比赛冠军队成员；2014年Facebook黑客杯冠军得主。截止目前，稳居俄编程网站Codeforces声望第一的宝座，在TopCoder算法竞赛中暂列榜眼位置。 网络上对Gennady Korotkevich的评价： “一个编程神童。” “他太令人惊讶了，他相当于我在白俄罗斯建立了一支强大的编程队伍。” “彻底的编程天才。” 03 Linus Torvalds 个人名望： Linux之父 个人简介/主要荣誉：

1. 数据仓库基本介绍 　　英文名称为 Data Warehouse ，可简写为DW或DWH。数据仓库的目的是 构建面向分析的集成化数据环境 ，为企业提供 决策支持 （Decision Support）。它出于分析性报告和决策支持目的而创建。 　　数据仓库本身并不“生产”任何数据，同时自身也不需要“消费”任何的数据，数据来源于外部，并且开放给外部应用，这也是为什么叫“仓库”，而不叫“工厂”的原因。 2. 数据仓库的定义 　　数据仓库是 面向主题的 （Subject-Oriented ）、 集成的 （Integrated）、 稳定性的 （Non-Volatile）和 时变的 （Time-Variant ）数据集合，用以支持管理决策。 2.1、面向主题 　　数据仓库中的数据是按照一定的主题域进行组织。 　　主题是一个抽象的概念，是指用户使用数据仓库进行决策时所关心的重点方面，一个主题通常与多个操作型信息系统相关。 2.2、集成性 　　根据决策分析的要求，将分散于各处的源数据进行抽取、筛选、清理、综合等工作，最终集成到数据仓库中。 2.3、稳定性 　　数据的相对稳定性，数据仓库中的数据只进行新增，没有更新操作、删除操作处理。 　　反映历史变化，以查询分析为主。 2.4、时变性 　　数据仓库的数据一般都带有时间属性，随着时间的推移而发生变化，不断地生成主题的新快照 4.

当HiveQL跑不出来时，基本上是数据倾斜了，比如出现count(distinct)，groupby，join等情况，理解 MR 底层原理，同时结合实际的业务，数据的类型，分布，质量状况等来实际的考虑如何进行系统性的优化。 Hive on MR 调优主要从三个层面进行，分别是基于MapReduce优化、Hive架构层优化和HiveQL层优化。 MapReduce调优 　　如果能够根据情况对shuffle过程进行调优，对于提供MapReduce性能很有帮助。一个通用的原则是给shuffle过程分配尽可能大的内存，当然你需要确保map和reduce有足够的内存来运行业务逻辑。因此在实现Mapper和Reducer时，应该尽量减少内存的使用，例如避免在Map中不断地叠加。 运行map和reduce任务的JVM，内存通过mapred.child.java.opts属性来设置，尽可能设大内存。容器的内存大小通过mapreduce.map.memory.mb和mapreduce.reduce.memory.mb来设置，默认都是1024M。 1 map调优 　　在map阶段主要包括：数据的读取、map处理以及写出操作(排序和合并/sort&merge)，其中可以针对spill文件输出数量、Combiner的merge过程和数据压缩进行优化，避免写入多个spill文件可能达到最好的性能

MapReduce 跑的慢 的原因 Mapreduce 程序效率的瓶颈在于两点： 1）计算机性能 CPU、内存、磁盘健康、网络 2）I/O 操作优化 （1）数据倾斜 （2）map 和 reduce 数设置不合理 （3）map 运行时间太长，导致 reduce 等待过久 （4）小文件过多 （5）大量的不可分块的超大文件 （6）spill 次数过多 （7）merge 次数过多等。 MapReduce 优化方法 MapReduce 优化方法主要从六个方面考虑：数据输入、Map 阶段、Reduce 阶段、IO 传 输、数据倾斜问题和常用的调优参数。 数据输入 （1）合并小文件：在执行 mr 任务前将小文件进行合并，大量的小文件会产生大量的 map 任务，增大 map 任务装载次数，而任务的装载比较耗时，从而导致 mr 运行较慢。 （2）采用 CombineTextInputFormat 来作为输入，解决输入端大量小文件场景。 Map 阶段 1 ）减少 溢写（ （spill） ） 次数：通过调整 io.sort.mb 及 sort.spill.percent 参数值，增大触发 spill 的内存上限，减少 spill 次数，从而减少磁盘 IO。 2 ）减少 合并（ （merge） ） 次数：通过调整 io.sort.factor 参数，增大 merge 的文件数目，减 少 merge 的次数