MapReduce

服务器具有维护成本低，安全稳定，高可扩展性和 7 X 24 小时的售后支持的优势，因此云服务器成为中小企业建站的首要选择。国内的云服务器竞争也进入了跑马圈地的时代，以阿里云、腾讯云、百度云三大BAT为首，不断推出优惠活动，争取更多的用户体量；以华为云、天翼云、西部数据为代表的云产品服务商紧跟其后，谁也不愿意放弃云市场的这一篇蓝海；以压低价格、虚标配置来吸引客户的诸多小品牌也应运而生，可动不动就宕机、丢失数据、没有售后服务的用户体验葬送了他们的前途，只能坑一波小白用户。 购买阿里云服务器或其它阿里云任何产品，请先 领取阿里云代金券 ！ 云服务器的竞争中脱颖而出的是阿里云服务器和腾讯云服务器，好多用户在选择云服务器时都会有一个同样的问题，阿里云服务器和腾讯云服务器那个好？在笔者看来，不能绝对的用 “好” 或者 “不好” 来评价，各有利弊，使用场景不同，用户选择就不同。笔者在本文中从发展历程、主要产品、产品价格、产品稳定性、安全防护、售后服务方面对比分析阿里云服务器和腾讯云服务器，部分言论整理自网络。 发展历程： 阿里云：阿里云创立于2009年，是国内最早提出云计算的公司，现在为世界第三、亚洲第一云计算服务商，是全球领先的云计算及人工智能科技公司，致力于以在线公共服务的方式，提供安全、可靠的计算和数据处理能力，让计算和人工智能成为普惠科技。 腾讯云：腾讯云以最初的QQ起家

什么是spark? 网上有关spark的介绍一搜一大堆,这里就简单的说下它的优点: Apache Spark是一种包含流处理能力的下一代批处理框架。与Hadoop的MapReduce引擎基于各种相同原则开发而来的Spark主要侧重于通过完善的内存计算和处理优化机制加快批处理工作负载的运行速度 Spark可作为独立集群部署（需要相应存储层的配合），或可与Hadoop集成并取代MapReduce引擎 与MapReduce不同，Spark的数据处理工作全部在内存中进行，只在一开始将数据读入内存，以及将最终结果持久存储时需要与存储层交互。所有中间态的处理结果均存储在内存中 除了引擎自身的能力外，围绕Spark还建立了包含各种库的生态系统，可为机器学习、交互式查询等任务提供更好的支持。相比MapReduce，Spark任务易于编写 Spark的另一个重要优势在于多样性。该产品可作为独立集群部署，或与现有Hadoop集群集成。该产品可运行批处理和流处理，运行一个集群即可处理不同类型的任务 初级阶段: ----------------------------------------------------------------------------------------------------- 变量lines其实就是一个RDD,是从电脑上的本地文本文件创建出来的 在spark中

1、简介 1.1 Spark简介 Spark是加州大学伯克利分校AMP实验室（Algorithms, Machines, and People Lab）开发通用内存并行计算框架。Spark在2013年6月进入Apache成为孵化项目，8个月后成为Apache顶级项目，速度之快足见过人之处，Spark以其先进的设计理念，迅速成为社区的热门项目，围绕着Spark推出了Spark SQL、Spark Streaming、MLLib和GraphX等组件，也就是BDAS（伯克利数据分析栈），这些组件逐渐形成大数据处理一站式解决平台。从各方面报道来看Spark抱负并非池鱼，而是希望替代Hadoop在大数据中的地位，成为大数据处理的主流标准，不过Spark还没有太多大项目的检验，离这个目标还有很大路要走。 Spark使用Scala语言进行实现，它是一种面向对象、函数式编程语言，能够像操作本地集合对象一样轻松地操作分布式数据集（Scala 提供一个称为 Actor 的并行模型，其中Actor通过它的收件箱来发送和接收非同步信息而不是共享数据，该方式被称为：Shared Nothing 模型）。在Spark官网上介绍，它具有运行速度快、易用性好、通用性强和随处运行等特点。 l运行速度快 Spark拥有DAG执行引擎，支持在内存中对数据进行迭代计算。官方提供的数据表明，如果数据由磁盘读取

本文源码： GitHub·点这里 || GitEE·点这里 一、基础环境 1、环境版本 环境：centos7 hadoop版本：2.7.2 jdk版本：1.8 2、Hadoop目录结构 bin目录：存放对Hadoop的HDFS,YARN服务进行操作的脚本 etc目录：Hadoop的相关配置文件目录 lib目录：存放Hadoop的本地库，提供数据压缩解压缩能力 sbin目录：存放启动或停止Hadoop相关服务的脚本 share目录：存放Hadoop的依赖jar包、文档、和相关案例 3、配置加载 vim /etc/profile # 添加环境 export JAVA_HOME=/opt/jdk1.8 export PATH=$PATH:$JAVA_HOME/bin export HADOOP_HOME=/opt/hadoop2.7 export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin # 退出刷新配置 source /etc/profile 二、伪集群配置 以下配置文件所在路径：/opt/hadoop2.7/etc/hadoop，这里是Linux环境，脚本配置sh格式。 1、配置hadoop-env root# vim hadoop-env.sh # 修改前 export JAVA_HOME= # 修改后

　　大数据分析平台的搭建有利于帮助企业构建统一的数据存储和数据处理资源，围绕企业业务开展大数据应用建设，最终形成面向服务化的数据资产。而今天我们就来了解一下，常见的大数据平台都包含哪些层次？ 　　1、数据采集层：分3个层面的采集技术进行支持，一是传统业务系统数据库和半结构化、结构化数据的采集和集成，如采用Sqoop技术进行关系数据库和Hadoop系统之间的数据抽取和交换;二是交通实时流数据的采集，包括实时传感器数据、定位轨迹数据和其他实时流数据;三是交通公共数据的采集，包括公网的数据爬取、开放平台的数据接口、行业公共数据库的数据交换等。对采集到的数据需进行提取、转换和加载(extract-transform-load，ETL)处理，包括数据抽取、转换、清洗和隐私脱敏等预处理工作，预处理集成后的数据进入交通大数据云存储中心。 　　2、数据存储层：交通领域数据规模巨大，数据存储层需设计基于云计算的分布式云存储系统，以支持海量数据的存储扩展。提供基于云的列式存储、NoSQL存储或数据仓库存储能力;根据业务需求和快速配置，可切换相应的分布式存储模式，还可根据需要对传统BI系统的数据仓库和数据集市进行集成。利用Hadoop集群提供PB级存储能力扩展，同时Hadoop YARN和Spark Mesos等集群资源管理框架可支持多种存储模式和计算模式在此基础上，对各类存储数据进行多粒度信息融合

实验包括： 1. 使用EMR创建Hadoop集群 2. 定义schema，创建示例表。 3. 通过HiveQL分析数据，并将分析结果保存到S3上 4. 下载已经分析结果数据。 Task1：创建一个S3 桶 创建一个存储桶比如hadoop202006… Task2：创建EMR集群 这里我解释一下Hadoop集群中的一些组件，了解大数据的同学直接忽略就好。 Apache Hadoop：在分布式服务器集群上存储海量数据并运行分布式分析应用的开源框架，其核心部件是HDFS与MapReduce。 Ganglia：分布式监控系统 Apache Tez：支持 DAG 作业的开源计算框架，它可以将多个有依赖的作业转换为一个作业从而大幅提升DAG作业的性能。比如Hive或Pig可以将Tez作为执行引擎。 Hive：可以通过类似SQL语句实现快速MapReduce统计 Hue：通过使用Hue我们可以通过浏览器方式操纵Hadoop集群。例如put、get、执行MapReduce Job等等。 Pig：它提供的SQL-LIKE语言叫Pig Latin，该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运算。Pig为复杂的海量数据并行计算提供了一个简单的操作和编程接口。 解释一下，Master、Core、Task。 Master Node：主节点集群管理

迄今为止，Hadoop 的发展已经经历了两代，分别为Hadoop 1.0 和Hadoop 2.0。与《Hadoop 权威指南(第3版)》相比，第4版在重点介绍Hadoop 2.0的基础上，新增了对当前热门的Hadoop 技术(如YARN、Parquet、Flume、Crunch和Spark)的专门讲解，有助于Hadoop开发者更好地理解相关技术的背景、原理及使用。此外，第4版还引入了Hadoop在医疗健康领域和分子生物学领域的最新应用成果，并为此新增了相关的实例学习，这对广大Hadoop用户而言，具有更好的实践指导意义。 今天，Hadoop 开源项目已经成为研究大数据、开发大数据应用的重要平台，在我国已经形成一个庞大的Hadoop用户社群，他们对学习、掌握和提高Hadoop提出了很高的需求，《Hadoop权威指南》系列版本的推出恰好可以满足这样的需要。该书从第1版发行以来，历次再版后的畅销也证明了它的用途和价值。 本书结合理论和实践，由浅入深，全方位介绍了Hadoop这一高性能的海量数据处理和分析平台。全书5部分24章， 第I部分介绍Hadoop基础知识，主题涉及Hadoop、 MapReduce、 Hadoop分布式文件系统、YARN、Hadoop 的I/O操作。 第II部分介绍MapReduce,主题包括MapReduce应用开发; MapReduce 的工作机制

MapReduce源码分析 - JobSplit 根据MapRudece的原理，我们从4个过程去分析MR的源码： Split阶段； MapTask阶段； Shuffle阶段； ReduceTask阶段； 本小节首先介绍Split阶段的源码。 Split源码分析 MR是通过JobSubmitter.submitJobInternal提交给RM的 在submitJobInternal中通过 writeSplits(JobContext job, Path jobSubmitDir) 将job的输入文件进行split writeSplit只是对新旧api进行了下封装，根据你的代码选择新旧api，这里调用 writeNewSplits 使用新API对file进行split 整个切片的逻辑过程主要就是在 writeNewSplit里 ① writeNewSplits源码分析 进入writeNewSplits()方法，可以看出该方法首先获取splits数组信息后，排序，将会优先处理大文件，最终返回mapper数量。 这其中又分为两部分：确定切片数量 和 写入切片信息。 确定切片数量的任务交由FileInputFormat的getSplits(job)完成，写入切片信息的任务交由JobSplitWriter.createSplitFiles(jobSubmitDir, conf,