Spark textFile生成task数目和RDD的数目分析

    当我们使用Spark读取文件的时候，感觉很容易，也很快速。但是，我们想过其中实现的内在原理没？

    目前我总结了，四个小问题，作为思考。

      1).RDD创建个数

      2).当我们使用textFile Api的时候，指定minPartition=3的时候，为什么系统会创建四个分区，以及四个Task呢？

      3).当Spark读取文件的时候，文件是怎么划分的呢？我们观察Spark UI的时候，会发现有的task有输入数据，为什么task的输出的record为0呢？如下图所示：

    

1).创建RDD的个数：

    https://blog.csdn.net/qq_20064763/article/details/88391284

2).分区与Task的创建个数细节：

    https://blog.csdn.net/qq_20064763/article/details/88393205

    当我们使用Spark读取文件的时候，感觉很容易，也很快速。但是，我们想过其中实现的内在原理没？

来源：CSDN

作者：乖乖猪001

链接：https://blog.csdn.net/xiaozhaoshigedasb/article/details/103670930