rdd

1.RDD介绍： RDD，弹性分布式数据集，即分布式的元素集合。在spark中，对所有数据的操作不外乎是创建RDD、转化已有的RDD以及调用RDD操作进行求值。在这一切的背后，Spark会自动将RDD中的数据分发到集群中，并将操作并行化。 Spark中的RDD就是一个不可变的分布式对象集合。每个RDD都被分为多个分区，这些分区运行在集群中的不同节点上。RDD可以包含Python，Java，Scala中任意类型的对象，甚至可以包含用户自定义的对象。 用户可以使用两种方法创建RDD： 读取一个外部数据集，或在驱动器程序中分发驱动器程序中的对象集合，比如list或者set。 RDD的转化操作都是惰性求值的，这意味着我们对RDD调用转化操作，操作不会立即执行。相反，Spark会在内部记录下所要求执行的操作的相关信息。我们不应该把RDD看做存放着特定数据的数据集，而最好把每个RDD当做我们通过转化操作构建出来的、记录如何计算数据的指令列表。数据读取到RDD中的操作也是惰性的，数据只会在必要时读取。转化操作和读取操作都有可能多次执行。 2.创建RDD数据集 （1）读取一个外部数据集 JavaRDD<String> lines=sc.textFile( inputFile ) ; （2）分发对象集合，这里以list为例 List<String> list= new ArrayList

map: 对RDD每个元素转换 flatMap: 对RDD每个元素转换, 然后再 扁平化 （即将所有对象合并为一个对象） Example: data 有两行数据： a,b,c 1,2,3 scala>data.map(line1 => line1.split(",")).collect() res11: Array[Array[String]] = Array(Array(a, b, c),Array(1, 2, 3)) scala>data.flatMap(line1 => line1.split(",")).collect() res13: Array[String] = Array(a, b, c, 1, 2, 3) 来源： CSDN 作者： 杨鑫newlfe 链接： https://blog.csdn.net/u012965373/article/details/60879642

map(function) map是对RDD中的每个元素都执行一个指定的函数来产生一个新的RDD。任何原RDD中的元素在新RDD中都有且只有一个元素与之对应。 举例： val a = sc.parallelize( 1 to 9 , 3 ) val b = a .map(x => x* 2 )//x => x*2是一个函数，x是传入参数即RDD的每个元素，x*2是返回值 a .collect //结果Array[Int] = Array(1, 2, 3, 4, 5, 6, 7, 8, 9) b.collect //结果Array[Int] = Array(2, 4, 6, 8, 10, 12, 14, 16, 18) 当然map也可以把Key变成Key-Value对 val a = sc .parallelize (List( "dog" , "tiger" , "lion" , "cat" , "panther" , " eagle" ), 2 ) val b = a .map ( x => ( x , 1 )) b .collect .foreach (println(_)) /* (dog,1) (tiger,1) (lion,1) (cat,1) (panther,1) ( eagle,1) */ mapPartitions(function) map(

RDD分区 在分布式程序中，通信的代价是很大的，因此控制数据分布以获得最少的网络传输可以极大地提升整体性能。所以对RDD进行分区的目的就是减少网络传输的代价以提高系统的性能。 RDD的特性 在讲RDD分区之前，先说一下RDD的特性。 RDD，全称为Resilient Distributed Datasets，是一个容错的、并行的数据结构，可以让用户显式地将数据存储到磁盘和内存中，并能控制数据的分区。同时，RDD还提供了一组丰富的操作来操作这些数据。在这些操作中，诸如map、flatMap、filter等转换操作实现了monad模式，很好地契合了Scala的集合操作。除此之外，RDD还提供了诸如join、groupBy、reduceByKey等更为方便的操作（注意，reduceByKey是action，而非transformation），以支持常见的数据运算。 通常来讲，针对数据处理有几种常见模型，包括：Iterative Algorithms，Relational Queries，MapReduce，Stream Processing。例如Hadoop MapReduce采用了MapReduces模型，Storm则采用了Stream Processing模型。RDD混合了这四种模型，使得Spark可以应用于各种大数据处理场景。 RDD作为数据结构，本质上是一个只读的分区记录集合