partition

Question about RDD、分区、stage、并行计算、集群、流水线计算、shuffle（join？？）、task、executor RDD是spark数据中最基本的数据抽象，task是spark的最小代码执行单元？数据不是代码的资源？？？那为什么RDD又是分区存储？节点中又是对分区（父分区进行流水线计算）？RDD只能转换操作，但是RDD可以分成多个分区，而且这些分区可以被保存到集群中不同的节点，可在不同的节点进行并行计算，那RDD还是高度受限的吗？在一个节点的中以流水线形式计算窄关系的父节点，那RDD还是高度受限的吗？将RDD分成stage，又是为了什么？分配资源吗？优化效率吗？哈希分区和范围分区？shuffle又是什么？？？task也又是什么？？？ 流水线计算？是transformation？？那就是进行数据的筛选？？不对，机器学习算法和交互式数据挖掘使用的目的是什么？理解这个能够理解父分区中的流水计算！ shuffle操作中的reduce task需要 跨节点去拉取（为什么要跨节点拉取，因为RDD的不同分区都是在不同的节点储存，但宽关联是子RDD的一个分区就需要父RDD的所有分区，肯定要跨节点。而窄关联的子RDD中的一个分区只是有父RDD的一个分区就可，所以不需要跨节点，但是 join？？？？？ 前提组成子RDD的分区的父分区都在同一个节点？？

例如有5个Pod，设置partition=3，3以上的索引对象会更新 spec: updateStrategy: type: RollingUpdate rollingUpdate: partition: 3 例如有5个Pod，设置partition=1，1以上的索引对象会更新 spec: updateStrategy: type: RollingUpdate rollingUpdate: partition: 1 来源： CSDN 作者： engchina 链接： https://blog.csdn.net/engchina/article/details/103457855

1.分区和分桶 1.1 分区和分桶优点 我们知道传统的DBMS系统一般都具有表分区的功能，通过表分区能够在特定的区域检索数据，减少扫描成本，在一定程度上提高查询效率，当然我们还可以通过进一步在分区上建立索引进一步提升查询效率。在此就不赘述了。 1.2 分区概念 在Hive数仓中也有分区分桶的概念，在逻辑上分区表与未分区表没有区别，在物理上分区表会将数据按照分区键的列值存储在表目录的子目录中，目录名=“分区键=键值”。其中需要注意的是分区键的值不一定要基于表的某一列（字段），它可以指定任意值，只要查询的时候指定相应的分区键来查询即可。我们可以对分区进行添加、删除、重命名、清空等操作。因为分区在特定的区域（子目录）下检索数据，它作用同DNMS分区一样，都是为了减少扫描成本。 1.3 分桶概念 分桶则是指定分桶表的某一列，让该列数据按照哈希取模的方式随机、均匀地分发到各个桶文件中。因为分桶操作需要根据某一列具体数据来进行哈希取模操作，故指定的分桶列必须基于表中的某一列（字段）。因为分桶改变了数据的存储方式，它会把哈希取模相同或者在某一区间的数据行放在同一个桶文件中。如此一来便可提高查询效率，如：我们要对两张在同一列上进行了分桶操作的表进行JOIN操作的时候，只需要对保存相同列值的桶进行JOIN操作即可。同时分桶也能让取样（Sampling）更高效。 2.分区 Hive(Inceptor

全网最通俗易懂的Kafka入门 http://www.itpub.net/2019/12/04/4597/ 前言 只有光头才能变强。 文本已收录至我的GitHub仓库，欢迎Star：https://github.com/ZhongFuCheng3y/3y 众所周知，消息队列的产品有好几种，这里我选择学习Kafka的原因，无他，公司在用。 我司使用的是Kafka和自研的消息队列(Kafka和RocketMQ)改版，于是我就想学学Kafka这款消息队列啦。本篇文章对Kafka入门，希望对大家有所帮助。 本文知识点提前预览： 这篇文章花了我很长时间画图，目的是希望以最通俗易懂的方式带大家入门，如果觉得不错，希望能给我点个赞！ 一、什么是Kafka？ 首先我们得去官网看看是怎么介绍Kafka的： https://kafka.apache.org/intro 在收集资料学习的时候，已经发现有不少的前辈对官网的介绍进行翻译和总结了，所以我这里就不重复了，贴下地址大家自行去学习啦： https://scala.cool/2018/03/learning-kafka-1/ https://colobu.com/2014/08/06/kafka-quickstart/ 我之前写过的消息队列入门文章也提到了，要做一个消息队列可能要考虑到以下的问题： 使用消息队列不可能是单机的（必然是分布式or集群）

　　在很多的大规模数据处理中，经常会遇到的一类问题就是在海量数据中找出出现频率最高的前K个数，或者从海量数据中找出最大的前K个数，这种问题被称为top K问题，例如在搜索引擎中，统计搜索搜索最热门的10个查询词或者统计下载率中下载最多的东西。 　　对于top K类 问题一般有两种方法： 　　1.分治+Trie树 　　2.hash+小顶堆 　　举例说明：有1亿个浮点数，如何找出其中最大的10000个？ 　　第一种方法是将数据全部排序，然后在排序后的集合中进行查找，最快的排序算法时间复杂度为O(nlogn),例如快速排序。而在32位机器上，每个float类型占4B，1亿个浮点数就要占用400M的存储空间。而且我们只找出最大的1万个数并不是全部排序所以我们会做很多无用功。 　　第二种方法局部淘汰法，该方法与排序方法类似，用一个容器保存前1万个树，然后将剩余的所有数字一一和容器内最小的数字比较，如果后续元素比容器内的最小元素大就删掉容器内的最小元素，并将该元素插入容器，最后遍历玩这1亿个数，得到最终结果。 　　第三种分治法：将1亿个数据分成100份，每份100万个数据，找出每份数据中最大的1万个，最后在剩下的100 X 10000个数据。也就是100万个数据里面找前1万。在这里使用快速排序，将数据分成两堆如果大的那堆个数N大于10000个，继续对大堆快速排序依次

一、大量数据存储问题解决方法 分区、分表 原则：多利用点内存，减轻磁盘IO负载，因为IO往往是数据库服务器的瓶颈 区别： 1，实现方式上 mysql的分表是真正的分表，一张表分成很多表后，每一个小表都是完正的一张表； 分区不一样，一张大表进行分区后，他还是一张表，不会变成二张表，但是他存放数据的区块变多了 2，数据处理上 分表后，数据都是存放在分表里，总表只是一个外壳，存取数据发生在一个一个的分表里面； 分区呢，不存在分表的概念，分区只不过把存放数据的文件分成了许多小块，分区后的表呢，还是一张表。数据处理还是由自己来 完成。 3，提高性能上 a），分表后，单表的并发能力提高了，磁盘I/O性能也提高了。并发能力为什么提高了呢，因为查寻一次所花的时间变短了，如果 出现高并发的话，总表可以根据不同的查询，将并发压力分到不同的小表里面。磁盘I/O性能怎么搞高了呢， 本来一个非常大的.MYD文件现在也分摊到各个小表的.MYD中去了。 b），mysql提出了分区的概念，我觉得就想突破磁盘I/O瓶颈，想提高磁盘的读写能力，来增加mysql性能。 在这一点上，分区和分表的测重点不同，分表重点是存取数据时，如何提高mysql并发能力上； 而分区呢，如何突破磁盘的读写能力，从而达到提高mysql性能的目的。 4），实现的难易度上 a），分表的方法有很多，用merge来分表，是最简单的一种方式

一、大量数据存储问题解决方法 分区、分表 原则：多利用点内存，减轻磁盘IO负载，因为IO往往是数据库服务器的瓶颈 区别： 1，实现方式上 mysql的分表是真正的分表，一张表分成很多表后，每一个小表都是完正的一张表； 分区不一样，一张大表进行分区后，他还是一张表，不会变成二张表，但是他存放数据的区块变多了 2，数据处理上 分表后，数据都是存放在分表里，总表只是一个外壳，存取数据发生在一个一个的分表里面； 分区呢，不存在分表的概念，分区只不过把存放数据的文件分成了许多小块，分区后的表呢，还是一张表。数据处理还是由自己来完成。 3，提高性能上 a），分表后，单表的并发能力提高了，磁盘I/O性能也提高了。并发能力为什么提高了呢，因为查寻一次所花的时间变短了， 如果出现高并发的话，总表可以根据不同的查询，将并发压力分到不同的小表里面。磁盘I/O性能怎么搞高了呢， 本来一个非常大的.MYD文件现在也分摊到各个小表的.MYD中去了。 b），mysql提出了分区的概念，我觉得就想突破磁盘I/O瓶颈，想提高磁盘的读写能力，来增加mysql性能。 在这一点上，分区和分表的测重点不同，分表重点是存取数据时，如何提高mysql并发能力上；而分区呢，如何突破磁盘的读写能力， 从而达到提高mysql性能的目的。 4），实现的难易度上 a），分表的方法有很多，用merge来分表，是最简单的一种方式

spark 累加历史主要用到了窗口函数，而进行全部统计，则需要用到rollup函数 1 应用场景： 1、我们需要统计用户的总使用时长（累加历史） 2、前台展现页面需要对多个维度进行查询，如：产品、地区等等 3、需要展现的表格头如： 产品、2015-04、2015-05、2015-06 2 原始数据： product_code event_date duration 1438 2016-05-13 165 1438 2016-05-14 595 1438 2016-05-15 105 1629 2016-05-13 12340 1629 2016-05-14 13850 1629 2016-05-15 227 3 业务场景实现 3.1 业务场景1：累加历史： 如数据源所示：我们已经有当天用户的使用时长，我们期望在进行统计的时候，14号能累加13号的，15号能累加14、13号的，以此类推 3.1.1 spark-sql实现 //spark sql 使用窗口函数累加历史数据 sqlContext.sql( """ select pcode,event_date,sum(duration) over (partition by pcode order by event_date asc) as sum_duration from userlogs_date """).show +-----