rdd

分布式大数据处理系统概览（一）   本博文主要对现如今分布式大数据处理系统进行概括整理，相关课程为华东师范大学数据科学与工程学院《大数据处理系统》，参考 大夏学堂 ，下面主要整理 HDFS/MapReduce/Spark/Yarn/Zookeeper/Storm/SparkStreaming/Lambda/DataFlow/Flink/Giraph 有关的内容。 分布式大数据处理系统大纲 分布式大数据处理系统概览（一）： HDFS/MapReduce/Spark 分布式大数据处理系统概览（二）： Yarn/Zookeeper 分布式大数据处理系统概览（三）： Storm/SparkStreaming 分布式大数据处理系统概览（四）： Lambda/DataFlow/Flink/Giraph   第一节部分主要总结分布式系统的目标、性质；简要介绍几种分布式计算的编程模型；介绍计算机进程与线程关系及远程调用方式；介绍文件系统DFS、介绍Hadoop的文件系统HDFS；介绍分布式计算批处理系统MapReduce和Spark。 0.绪论 0.1分布式系统的目标 0.2 大数据的五个特性（5V） （1）数量Volume （2）种类Variety （3）价值Value （4）真实性Veracity （5）速度Velocity 0.3 分布式计算生态圈 0.4分布式计算底层系统 （1

目录 运行结构图 & 常用术语 消息通信原理 运行流程图 调度算法 容错及HA 监控 一、运行结构图 & 常用术语 Application: Appliction都是指用户编写的Spark应用程序，其中包括一个Driver功能的代码和分布在集群中多个节点上运行的Executor代码 SparkContext: Spark应用程序的入口，负责调度各个运算资源，协调各个Worker Node上的Executor Driver: Spark中的Driver即运行上述Application的main函数并创建SparkContext，创建SparkContext的目的是为了准备Spark应用程序的运行环境，在Spark中有SparkContext负责与ClusterManager通信， 进行资源申请、任务的分配和监控 等，在执行阶段，Driver会将Task和Task所依赖的file和jar序列化后传递给对应的Worker机器。当Executor部分运行完毕后，Driver同时负责将SparkContext关闭，通常用SparkContext代表Driver Cluter Manager： 指的是在集群上获取资源的外部服务。目前有三种类型 Standalone : spark原生的资源管理，由Master负责资源的分配 Apache Mesos:与hadoop

目录 RDD概述 RDD实现 RDD运行流程 RDD分区 RDD操作分类 RDD编程接口说明 一、RDD概述 RDD ：是Resilient distributed datasets的简称，中文为弹性分布式数据集;是Spark最核心的模块和类 DAG: Spark将计算转换为一个有向无环图(DAG)的任务集合，通过为RDD提供一种基于粗粒度变换(如map, filter, join等)的接口 RDD类型：mappedRDD, SchemaRDD RDD操作分类：转换操作(又分为创建操作、转换操作)、行为操作(又分控制操作-进行RDD持久化、行为操作) 二、RDD实现 1、作业调度 A、当对RDD执行转换操作时，调度器会根据RDD的“血统”来构建由若干高度阶段(Stage)组成的有向无环图(DAG), 每个阶段包含尽可能多的连续“ 窄依赖 ”转换 B、另外，调度分配任务采用“ 延时调度 ”机制，并根据” 数据本地性 “来确定 宽依赖与窄依赖： 窄 依赖是指父RDD的每个分区只被子RDD的一个分区所使用， 子RDD一般对应父RDD的一个或者多个分区。 （与数据规模无关）不会产生shuffle 宽 依赖指父RDD的多个分区可能被子RDD的一个分区所使用， 子RDD分区通常对应所有的父RDD分区 (与数据规模有关)，会产生shuffle 更细化文档可参见 https://blog.csdn

Spark DStreams DStreams是什么 DStreams 是构建在 Spark RDD 之上的一款流处理工具，意即 Spark DStreams 并不是一个严格意义上的流处理，底层通过将RDD 在时间轴上分解成多个小的 RDD-micro batch 流 | 批处理 计算类型 数据量级 计算延迟 输入数据 输出 计算形式 批处理 MB=>GB=>TB 几十分钟|几个小时 固定输入（全量） 固定输出 最终终止（时间限制） 流处理 byte级别|记录级别 亚秒级延迟 持续输入（增量） 持续输出 24*7小时 流处理框架：Kafka Streaming（工具级别）、Storm（实时流处理） 一代 、Spark DStream（微批）-实时性差- 二代 、Flink （实时流处理）- 三代 由于 DStreams 构建在 RDD 之上，对习惯了批处理的工程师来说，在使用上比较友好。很多大数据工程师都有着 MapReduce 的使用经验，如果使用批去模拟流，比较容易接受，同时 DStreams 是构建在 RDD （批处理）之上，因此从使用角度上讲， DStreams 操作流就好比是在操作批处理，因此在使用难度上比 Storm 相对来说要简单。由于 Spark 框架实现的核心偏向批处理，流处理只是从批处理中演变而来，因此 DStreams 在做流处理的时候延迟较高

新建一个类 package com.it19gong.sparkproject; import java.util.Arrays; import java.util.List; import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api.java.JavaSparkContext; import org.apache.spark.api.java.function.Function2; public class ActionOperation { public static void main(String[] args) { reduce(); } private static void reduce() { // 创建SparkConf和JavaSparkContext SparkConf conf = new SparkConf() .setAppName("reduce") .setMaster("local"); JavaSparkContext sc = new JavaSparkContext(conf); // 有一个集合，里面有1到10,10个数字，现在要对10个数字进行累加 List<Integer>