MapReduce

Hadoop RPC整个使用流程——以DataNode向NameNode注册为例 在HDFS实现过程中DataNode class中有一个成员变量namenode，其类型是DatanodeProtocol。namenode可以看作是远程NameNode服务器的一个代理，因为NameNode本身也是DatanodeProtocol接口的具体实现；DataNode通过调用namenode对象的方法与远程NameNode进行交互。 下面看一下namenode变量在DataNode当中是如何初始化的： 首先DataNode通过调用RPC.waiForProxy方法完成namenode的初始化过程，具体实现看下面的代码： this.namenode = (DatanodeProtocol) RPC.waitForProxy( DatanodeProtocol.class, DatanodeProtocol.versionID, nameNodeAddr, conf); 通过上面的代码可以看出，具体namenode是如何与远程的NameNode进行连接的需要通过查阅RPC.waitForProxy（...）来查看。waitForProxy通过RPC内部的一系列方法调用，最终通过下面的getProxy方法来实现： public static VersionedProtocol getProxy(

Is there any parser, which I can use to parse the json present in yarn job logs(jhist files) which gets stored in hdfs to extract information from it. The second line in the .jhist file is the avro schema for the other jsons in the file. Meaning that you can create avro data out of the jhist file. For this you could use avro-tools-1.7.7.jar # schema is the second line sed -n '2p;3q' file.jhist > schema.avsc # removing the first two lines sed '1,2d' file.jhist > pfile.jhist # finally converting to avro data java -jar avro-tools-1.7.7.jar fromjson pfile.jhist --schema-file schema.avsc > file

MapReduce模式结构图： 细化图： 最近整了很长一段时间才了解了map reduce的工作原理， shuffle是mapreduce的心脏，了解了这个过程，有助于编写效率更高的mapreduce程序和hadoop调优 。自己画了一幅流程图（点击查看全图）： 另外，还找到一篇文章，很好，引用一下。 Hadoop 是 Apache 下的一个项目，由 HDFS 、 MapReduce 、 HBase 、 Hive 和 ZooKeeper 等成员组成。其中， HDFS 和 MapReduce 是两个最基础最重要的成员。 HDFS 是 Google GFS 的开源版本，一个高度容错的分布式文件系统，它能够提供高吞 吐量的数据访问，适合存储海量（ PB 级）的大文件（通常超过 64M ），其原理如下图所示： 采用 Master/Slave 结构。 NameNode 维护集群内的元数据，对外提供创建、打开、删除 和重命名文件或目录的功能。 DatanNode 存储数据，并提负责处理数据的读写请求。 DataNode 定期向 NameNode 上报心跳， NameNode 通过响应心跳来控制 DataNode 。 InfoWord 将 MapReduce 评为 2009 年十大新兴技术的冠军。 MapReduce 是大规模数据 （ TB 级）计算的利器， Map 和 Reduce

一.基础知识 1.Spark Spark是一个用来实现快速而通用的集群计算的平台。 在速度方面，Spark扩展了广泛使用的MapReduce计算模型，而且高效地支持更多计算模式，包括交互式查询和流处理。 Spark项目包含多个紧密集成的组件。Spark的核心是一个对由很多计算任务组成的、运行在多个工作机器或者是一个计算集群上的应用进行调度、分发以及监控的计算引擎。 Spark的各个组件 2.Hadoop Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。 Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。 二.大数据处理选择 根据Spark和Hadoop的基础知识，我们了解Spark和Hadoop都 可以进行大数据处理，那我们如何选择处理平台呢？ 1.处理速度和性能 Spark扩展了广泛使用的MapReduce计算模型，其中Spark有个Directed Acyclic Graph（DAG有向无环图）执行引擎，支持循环数据流和内存计算。 Hadoop是磁盘级计算，进行计算时，都需要从磁盘读或者写数据，同时整个计算模型需要网络传输，导致MapReduce具有高延迟的致命弱点。 据统计