rdd

Spark相关问题 Spark 比 MR 快的原因？ 1) Spark 的计算结果可以放入内存，支持基于内存的迭代， MR 不支持。 2) Spark 有 DAG 有向无环图，可以实现 pipeline 的计算模式。 3) 资源调度模式： Spark 粗粒度资源调度， MR 是细粒度资源调度。 资源复用： Spark 中的 task 可以复用同一批 Executor 的资源。 MR 里面每一个 map task 对应一个 jvm ，不能复用资源。 Spark 中主要进程的作用？ Driver 进程：负责任务的分发和结果的回收。 Executor 进程：负责具体任务的执行。 Master 进程： Spark 资源管理的主进程，负责资源调度。 Worker 进程： Spark 资源管理的从进程， woker 节点主要运行 Executor Spark调优 1. 资源调优 1) .搭建Spark集群的时候要给Spark集群足够的资源（core，memory） 在 spark安装包的conf下spark-env.sh SPARK_WORKER_CORES SPARK_WORKER_MEMORY SPARK_WORKER_INSTANCE 2) .在提交Application的时候给Application分配更多的资源。 提交命令选项：（在提交 Application的时候使用选项） -

transform 一种转换算子 应用在DStream上，可以用于执行任意的RDD到RDD的转换操作。他可以用于实现，DStream API中所没有提供的操作。 package com . shsxt . spark . scala import org . apache . spark . SparkConf import org . apache . spark . streaming . { Seconds , StreamingContext } /** * Created by BF-Lone Silver Wind on 2020-01-02 */ object transform { def main ( args : Array [ String ] ) : Unit = { val conf = new SparkConf ( ) . setMaster ( "local[2]" ) . setAppName ( "Tranform" ) val ssc = new StreamingContext ( conf , Seconds ( 5 ) ) val fileDS = ssc . socketTextStream ( "192.168.241.211" , 9999 ) val wordcountDS = fileDS . flatMap { line =

Spark Streaming官方文档翻译Spark Streaming总览 Spark Streaming官方文档翻译基本概念之初始化与Dstream Spark Streaming官方文档翻译基本概念之输入数据流和接收器 Spark Streaming官方文档翻译基本概念之转换操作 Spark Streaming官方文档翻译基本概念之输出操作 Spark Streaming官方文档翻译基本概念之sql与Mllib Spark Streaming官方文档基本概念之缓存与检查点 Spark Streaming官方文档翻译基本概念之累加器、广播变量和检查点 Spark Streaming官方文档翻译Spark Streaming应用之部署，升级，监控 Spark Streaming官方文档翻译Spark Streaming性能调优 Spark Streaming官方文档翻译Spark Streaming容错 Spark Streaming官方文档翻译Spark Streaming +Kafka 集成指南 Spark Streaming官方文档翻译Spark Streaming自定义接收器 基本概念 DStreams上的输出操作(Output Operations on DStreams) 输出操作允许将DStream的数据推送到外部系统，如数据库或文件系统

前言 day11 ，我们学习了Spark HA模式、Spark submit及spark shell的演示。今天学习Spark RDD。 RDD RDD中文名是弹性分布式数据集，它是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。 RDD的创建 RDD的创建方式，有两种： 通过外部的数据文件创建，如HDFS。 如：sc.textFile(“hdfs://bigdata121:9000/one”) 通过sc.parallelize进行创建 如：sc.parallelize(Array(1,2,3,4,5,6,7,8),3) 算子 RDD调用的方法称之为算子，算子分Transformation和Action两种。 Transformation：延迟计算，所有转换都是延迟加载的，它的底层使用的是 Lazy ，不会立即触发计算。 Action：立即计算。 RDD缓存机制 RDD通过persist方法或cache方法可以将前面的计算结果缓存，但是并不是这两个方法被调用时立即缓存，而是触发后面的action时，该RDD将会被缓存在计算节点的内存中，并供后面重用。 通过查看源码发现cache最终也是调用了persist方法，默认的存储级别都是仅在内存存储一份，Spark的存储级别还有好多种，存储级别在object StorageLevel中定义的