shuffle

Shuffle的本意是洗牌、混洗，把一组有一定规则的数据尽量转换成一组无规则的数据，越随机越好。MapReduce中的Shuffle更像是洗牌的逆过程，把一组无规则的数据尽量转化成一组具有一定规则的数据。 为什么MapReduce计算模型需要Shuffle过程？ 我们都知道MapReduce计算模型一般包括两个重要的阶段： Map是映射，负责数据的过滤分发；Reduce是规约，负责数据的计算归并。 Reduce数据来源于Map，Map的输出即是Reduce的输入，Reduce需要通过Shuffle来获取数据。 从Map输出到Reduce输入的整个过程可以广义地称为Shuffle （Reduce开始之前吧对应的数据从每个map输出的中间结果拷贝过来，这个过程称为copy，拷贝中间结果过来后，会经过合并、排序等操作，会产生一个排序的输入文件，这个过程为sort，copy和sort两个过程合起来也称为Shuffle过程。）Shuffle横跨Map端和Reduce端，在Map端包括Spill过程，在reduce端包括copy和sort过程。 MapReduce详细流程 1、切片 在FileInputFormat中，计算切片大小的逻辑：Math.max(minSize, Math.min(maxSize, blockSize)) minSize的默认值是1

* php shuffle 打乱数组顺序 Array.prototype.shuffle = function () { "use strict"; var a = [], b = [], n = this.length, i, j, seq; // @b: a[i] element exists? for (i = 0; i < n; i++) { b[i] = 0; } function _getIndex(b, seq) { var n = b.length; for (i = 0; ; i = (i+1)%n) { if (!b[i]) { if (seq===0) { break; } seq--; } } return i; } while (n-->0) { seq = Math.floor(3*this.length * Math.random()); j = _getIndex(b, seq); a.push(this[j]); b[j] = 1; } return a; }; 　　 test: // var aa = ['DevTools', 'PHP', 'PHP_Framework', 'EclipsePDT', 'Laravel', 'PHPStorm', 'ThinkPHP5']; var aa = [0,1,2,3,4,5,6,7,8,9]; var

$shopObj = new ShopModel(); $this->data = $shopObj->field('id')->select(); //二维数组降一维 $this->data = $this->translatArray2($this->data); //一维数组打算顺序 shuffle($this->data); //长度4分割数组 $this->data = array_chunk($this->data,4); //查出随机的店铺 $this->data = $shopObj->alias('a')->field($this->Lfield) ->join('wd_yylm_shop_attr b','a.id = b.shopid','left') ->where('a.id','in',$this->data[$p-1]) ->select();//查出的二维数组下标是分页P,用In方法查出4个数据 if (empty($this->data)) { $this->msg = '数据为空'; } shuffle(),将一维数组打乱顺序,成功返回1,失败返回0; array_chunk($arr,$num),可以将一维数组$arr长度4个为一组,分割成若干个小数组 来源： https://www.cnblogs.com/hanshuai0921/p

3 月，跳不动了？>>> Spark分区原理分析 介绍 分区是指如何把RDD分布在spark集群的各个节点的操作。以及一个RDD能够分多少个分区。 一个分区是大型分布式数据集的逻辑块。 那么思考一下：分区数如何映射到spark的任务数？如何验证？分区和任务如何对应到本地的数据? Spark使用分区来管理数据，这些分区有助于并行化分布式数据处理，并以最少的网络流量在executors之间发送数据。 默认情况下，Spark尝试从靠近它的节点读取数据到RDD。由于Spark通常访问分布式分区数据，为了优化transformation（转换）操作，它创建分区来保存数据块。 存在在HDFS或Cassandra中的分区数据是一一对应的（由于相同的原因进行分区）。 默认情况下，每个HDFS的分区文件（默认分区文件块大小是64M）都会创建一个RDD分区。 默认情况下，不需要程序员干预，RDD会自动进行分区。但有时候你需要为你的应用程序，调整分区的大小，或者使用另一种分区方案。 你可以通过方法 def getPartitions: Array[Partition] 来获取RDD的分区数量。 在spark-shell中执行以下代码： val v = sc.parallelize(1 to 100) scala> v.getNumPartitions res2: Int = 20 /

3 月，跳不动了？>>> 1,spark的工作机制 用户在客户`端提交作业后，会由Driver运行main方法并创建SparkContext上下文, SparkContext向资源管理器申请资源, 启动Execotor进程, 并通过执行rdd算子，形成DAG有向无环图,输入DAGscheduler, 然后通过DAGscheduler调度器, 将DAG有向无环图按照rdd之间的依赖关系划分为几个阶段,也就是stage, 输入task scheduler, 然后通过任务调度器taskscheduler将stage划分为task set分发到各个节点的executor中执行。 2,spark中stage是如何划分的 在DAG调度的过程中，Stage阶段的划分是根据是否有shuffle过程，也就是存在ShuffleDependency宽依赖的时候，需要进行shuffle,这时候会将作业job划分成多个Stage 整体思路：从后往前推，遇到宽依赖就断开，划分为一个 stage；遇到窄依赖就将这个 RDD 加入该 stage 中 3, spark的shuffle和调优 Spark中一旦遇到宽依赖就需要进行shuffle的操作,本质就是需要将数据汇总后重新分发的过程, 也就是数据从map task输出到reduce task输入的这段过程, 在分布式情况下，reduce

以下是整理的Spark中的一些配置参数，官方文档请参考 Spark Configuration 。 Spark提供三个位置用来配置系统： Spark属性：控制大部分的应用程序参数，可以用SparkConf对象或者Java系统属性设置 环境变量：可以通过每个节点的 conf/spark-env.sh 脚本设置。例如IP地址、端口等信息 日志配置：可以通过log4j.properties配置 Spark属性 Spark属性控制大部分的应用程序设置，并且为每个应用程序分别配置它。这些属性可以直接在 SparkConf 上配置，然后传递给 SparkContext 。 SparkConf 允许你配置一些通用的属性（如master URL、应用程序名称等等）以及通过 set() 方法设置的任意键值对。例如，我们可以用如下方式创建一个拥有两个线程的应用程序。 val conf = new SparkConf() .setMaster("local[2]") .setAppName("CountingSheep") .set("spark.executor.memory", "1g") val sc = new SparkContext(conf) 动态加载Spark属性 在一些情况下，你可能想在 SparkConf 中避免硬编码确定的配置。例如

//HTML < script src = " https://cdnjs.cloudflare.com/ajax/libs/lodash.js/4.14.1/lodash.min.js " > </ script > < div id = " list-complete-demo " class = " demo " > < button v-on: click = " shuffle " > Shuffle </ button > < button v-on: click = " add " > Add </ button > < button v-on: click = " remove " > Remove </ button > < transition-group name = " list-complete " tag = " p " > < span v-for = " item in items " v-bind: key = " item " class = " list-complete-item " > {{ item }} </ span > </ transition-group > </ div > //JS new Vue ( { el : '#list-complete-demo' , data : { items : [ 1 , 2 , 3 ,