shuffle

Link 我们可以把贡献拆成两部分计算。 对于一对 \(a_i,a_j(i<j)\) ，如果我们重排的区间 \([l,r]\) 满足 \([i,j]\subseteq[l,r]\) ，那么不论 \(a_i,a_j\) 的关系如何，它们都有 \(\frac12\) 的概率产生 \(1\) 的贡献。 这里的总的贡献是 \(\frac{\sum\limits_{i=1}^n\sum\limits_{j=i+1}^ni(n-j+1)}{n(n+1)}=\frac{\sum\limits_{i=1}^ni(n-i)(n-i+1)}{n(n+1)}\) 。 其实可以推出 \(O(1)\) 的式子，不过没有必要了。 对于一对 \(a_i,a_j(i<j\wedge a_i>a_j)\) ，如果我们重排的区间 \([l,r]\) 满足 \([i,j]\not\subseteq[l,r]\) ，那么它们就会产生 \(1\) 的贡献。 这里总的贡献是 \(\frac{\sum\limits_{i=1}^n\sum\limits_{j=i+1}^n[a_i>a_j][n(n+1)-i(n-j+1)]}{n(n+1)}=\sum\limits_{i=1}^n\sum\limits_{j=i+1}^n[a_i>a_j]-\frac{\sum\limits_{i=1}^n\sum\limits_{j=i+1}

　　大数据调优总体方向：CPU，内存以及IO（Disk，Network）三个方面来进行。 　　对于多次使用的数据（RDD/DataFrame)，通过cache()或者persis()来进行缓存，避免每一次都从数据源获取（减少磁盘IO）； 系统资源优化 　　如下参数可以进行调优（可以参见附录中介绍的spark和yarn的交互内容）： num-executors ：executor数量（Spark Job的进程数量）；结合executor-core进行考虑，两者相乘的量[40,100]，尽量不要超过YARN的总core的指定比例，有的说25%，有的说50% executor-memory ：executor内存上线，建议8G左右，申请的内存总量（num-executors*executor-memory）不要超过YARN的80%； executor-cores ：executor的核数（线程数），即并行执行task的数据量，建议值4个，总量不要超过YARN总核数的50%； driver-memory ：默认1G，足以。 spark.default.parallelizm ：spark的并行度，默认数是待处理数据的hdfs的datablock数量；但是如果数据量很大的话明显不合适，task数量>>core的数量会拉低效率；spark官方建议要么是和分配的从cores数量保持一致

spark.shuffle.file.buffer默认值：32k参数说明：该参数用于设置shuffle write task的BufferedOutputStream的buffer缓冲大小。将数据写到磁盘文件之前，会先写入buffer缓冲中，待缓冲写满之后，才会溢写到磁盘。调优建议：如果作业可用的内存资源较为充足的话，可以适当增加这个参数的大小（比如64k），从而减少shuffle write过程中溢写磁盘文件的次数，也就可以减少磁盘IO次数，进而提升性能。在实践中发现，合理调节该参数，性能会有1%~5%的提升。spark.reducer.maxSizeInFlight默认值：48m参数说明：该参数用于设置shuffle read task的buffer缓冲大小，而这个buffer缓冲决定了每次能够拉取多少数据。调优建议：如果作业可用的内存资源较为充足的话，可以适当增加这个参数的大小（比如96m），从而减少拉取数据的次数，也就可以减少网络传输的次数，进而提升性能。在实践中发现，合理调节该参数，性能会有1%~5%的提升。spark.shuffle.io.maxRetries默认值：3参数说明：shuffle read task从shuffle write task所在节点拉取属于自己的数据时，如果因为网络异常导致拉取失败，是会自动进行重试的。该参数就代表了可以重试的最大次数

Shuffle a set of numbers without duplicates. Example: // Init an array with set 1, 2, and 3. int[] nums = {1,2,3}; Solution solution = new Solution(nums); // Shuffle the array [1,2,3] and return its result. Any permutation of [1,2,3] must equally likely to be returned. solution.shuffle(); // Resets the array back to its original configuration [1,2,3]. solution.reset(); // Returns the random shuffling of array [1,2,3]. solution.shuffle(); class Solution { private int[] arr; private Random rand; public Solution(int[] nums) { this.arr = nums; rand = new Random(); } /** Resets the array to its

1 spark on yarn(cluster模式)框架 图1- 1 1.1 yarn组件概念 ResourceManager ：负责集群的资源管理和分配。 NodeManager ：每个节点的资源和任务管理器。 Application Master ：YARN中每个Application对应一个AM进程，负责与RM协商获取资源，获取资源后告诉NodeManager为其分配并启动Container。 Container ：YARN中的抽象资源。 1.2 spark组件概念 Driver ：进行资源申请、任务分配并监督其运行状况等。 DAGScheduler ：将spark job转换成DAG图。 TaskScheduler ：负责任务(task)调度 2 spark shuffle 2.1 窄依赖与宽依赖 理解shuffle之前，需要先理解窄依赖和宽依赖。 窄依赖： 父RDD的每个分区都只被子RDD的一个分区依赖 例如map、filter、union等操作会产生窄依赖。 宽依赖： 父RDD的分区被子RDD的多个分区依赖 例如 groupByKey、reduceByKey、sortByKey等操作会产生宽依赖，会产生shuffle过程，也是划分stage依据。 图2- 1 2.2 Shuffle过程 图2- 2 Shuffle过程包括：shuffle write与shuffle

本文首发于 vivo互联网技术 微信公众号 https://mp.weixin.qq.com/s/lqMu6lfk-Ny1ZHYruEeBdA 作者简介：郑志彬，毕业于华南理工大学计算机科学与技术（双语班）。先后从事过电子商务、开放平台、移动浏览器、推荐广告和大数据、人工智能等相关开发和架构。目前在vivo智能平台中心从事 AI中台建设以及广告推荐业务。擅长各种业务形态的业务架构、平台化以及各种业务解决方案。 本文从数据倾斜的危害、现象、原因等方面，由浅入深阐述Spark数据倾斜及其解决方案。 一、什么是数据倾斜 对 Spark/Hadoop 这样的分布式大数据系统来讲，数据量大并不可怕，可怕的是数据倾斜。 对于分布式系统而言，理想情况下，随着系统规模（节点数量）的增加，应用整体耗时线性下降。如果一台机器处理一批大量数据需要120分钟，当机器数量增加到3台时，理想的耗时为120 / 3 = 40分钟。但是，想做到分布式情况下每台机器执行时间是单机时的1 / N，就必须保证每台机器的任务量相等。不幸的是，很多时候，任务的分配是不均匀的，甚至不均匀到大部分任务被分配到个别机器上，其它大部分机器所分配的任务量只占总得的小部分。比如一台机器负责处理 80% 的任务，另外两台机器各处理 10% 的任务。 『不患多而患不均』，这是分布式环境下最大的问题。意味着计算能力不是线性扩展的