partition

Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等等，用scala语言编写，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。 1.前言 消息队列的性能好坏，其文件存储机制设计是衡量一个消息队列服务技术水平和最关键指标之一。下面将从Kafka文件存储机制和物理结构角度，分析Kafka是如何实现高效文件存储，及实际应用效果。 1.1 Kafka的特性: - 高吞吐量、低延迟：kafka每秒可以处理几十万条消息，它的延迟最低只有几毫秒，每个topic可以分多个partition, consumer group 对partition进行consume操作。 - 可扩展性：kafka集群支持热扩展 - 持久性、可靠性：消息被持久化到本地磁盘，并且支持数据备份防止数据丢失 - 容错性：允许集群中节点失败（若副本数量为n,则允许n-1个节点失败） - 高并发：支持数千个客户端同时读写 1.2 Kafka的使用场景： - 日志收集

博客来源：https://blog.csdn.net/yhb315279058/article/details/50466125 问题1：reduce task数目不合适 解决方式： 需根据实际情况调节默认配置，调整方式是修改参数spark.default.parallelism。通常，reduce数目设置为core数目的2到3倍。数量太大，造成很多小任务，增加启动任务的开销；数目太少，任务运行缓慢。 问题2：shuffle磁盘IO时间长 解决方式： 设置spark.local.dir为多个磁盘，并设置磁盘为IO速度快的磁盘，通过增加IO来优化shuffle性能； 问题3：map|reduce数量大，造成shuffle小文件数目多 解决方式： 默认情况下shuffle文件数目为map tasks * reduce tasks 通过设置spark.shuffle.consolidateFiles为true，来合并shuffle中间文件，此时文件数为reduce tasks数目； 问题4：序列化时间长、结果大 解决方式： Spark默认使.用JDK.自带的ObjectOutputStream，这种方式产生的结果大、CPU处理时间长，可以通过设置spark.serializer为org.apache.spark.serializer.KryoSerializer。 另外如果结果已经很大

源答案来源于知乎的大佬@昆吾。 -----------------------------------------------网友的原答案START---------------------------------------- 首先来思考一个问题：Spark的计算模型是如何做到并行的呢？ 如果你有一箱苹果，让三个人拿回家吃完（只能举这种神经兮兮的例子了），如果不拆箱子就会很麻烦对吧~一个箱子嘛，当然只有一个人才能抱走了。这时候智商正常的人都知道不如把箱子打开，苹果倒出来，分别拿三个小箱子重新装起来，喏，各自抱回家去啃吧。 Spark和很多其他分布式计算系统都借用了这种思想来实现并行：把一个超大的数据集，切切切分成N个小堆，找M个执行器（M < N），各自拿一块或多块数据慢慢玩，玩出结果了再收集在一起，这就算执行完啦。那么Spark做了一项工作就是：凡是能够被我算的，都是要符合我的要求的，所以spark无论处理什么数据先整成一个拥有多个分块的数据集再说，这个数据集就叫RDD。 然而由于一些资料大肆宣传所谓的内存计算，所以很多人认为RDD和分布式内存容器（如memcache）这些类似，这显然是不对的。首先，当你自己写一个spark应用时，在代码上拥有了一个RDD，这个RDD是不包含任何待处理数据的（详情可以参考spark数据用户空间和集群空间的概念），真正的数据在执行时才会加载

这一节主要讲kafka 集群环境部署， kafka 基础概念介绍与强化 1）Producer：消息生产者，就是向kafkabroker发消息的客户端； 2）Consumer：消息消费者，向kafkabroker取消息的客户端； 3）Topic：可以理解为一个队列； 4）Consumer Group（CG）：这是kafka用来实现一个topic消息的广播（发给所有的consumer） 和单播（发给任意一个consumer）的手段。一个topic可以有多个CG。topic的消息会复制 （不是真的复制，是概念上的）到所有的CG，但每个partion只会把消息发给该CG中的一 个consumer。如果需要实现广播，只要每个consumer有一个独立的CG就可以了。要实现 单播只要所有的consumer在同一个CG。用CG还可以将consumer进行自由的分组而不需 要多次发送消息到不同的topic； 5）Broker：一台kafka服务器就是一个broker。一个集群由多个broker组成。一个broker 可以容纳多个topic； 6）Partition：为了实现扩展性，一个非常大的topic可以分布到多个broker（即服务器）上， 一个topic可以分为多个partition，每个partition是一个有序的队列。partition中的每条消息 都会被分配一个有序的id

spark-DAG图 DAG(Directed Acyclic Graph) 叫做 有向无环图 ， 原始的RDD通过一系列的转换就就形成了DAG，RDD之间的依赖关系形成了DAG图，而根据RDD之间的依赖关系的不同将DAG划分成不同的Stage。 宽窄依赖 窄依赖：父RDD和子RDD partition之间的关系是一对一的。或者父RDD一个partition只对应一个子RDD的partition情况下的父RDD和子RDD partition关系是多对一的。 不会有shuffle的产生。父RDD 的 一个分区 去到 子RDD的一个分区 。 宽依赖：父RDD与子RDD partition之间的关系是一对多。 会有shuffle的产生。父RDD的一个分区的数据去到子RDD的不同分区里面。 Stage Spark任务会根据RDD之间的依赖关系，形成一个DAG有向无环图，DAG会提交给DAGScheduler，DAGScheduler会把DAG划分相互依赖的多个stage，划分stage的依据就是RDD之间的宽窄依赖。 遇到宽依赖就划分stage,每个stage包含一个或多个task任务。然后将这些task以taskSet的形式提交给TaskScheduler运行。stage是由一组并行的task组成。 stage切割规则 切割规则： 从后往前，遇到宽依赖就切割stage。 Shuffle

通过Kafka的快速入门 https://www.cnblogs.com/tree1123/p/11150927.html 能了解到Kafka的基本部署，使用，但他和其他的消息中间件有什么不同呢？ Kafka的基本原理，术语，版本等等都是怎么样的？到底什么是Kafka呢？ 一、Kafka简介 http://kafka.apache.org/intro 2011年，LinkIn开源， November 1, 2017 1.0版本发布 July 30, 2018 2.0版本发布 参考官网的图： Kafka®用于构建实时数据管道和流式应用程序。它具有水平可扩展性、容错性、速度极快，并在数千家公司投入生产。 kafka官网最新的定义：Apache Kafka® is a distributed streaming platform 也就是分布式流式平台。 介绍： 三个特点： Publish and subscribe to streams of records, similar to a message queue or enterprise messaging system. Store streams of records in a fault-tolerant durable way. Process streams of records as they occur. 消息 持久化

版权声明：本文由易固武原创文章，转载请注明出处: 文章原文链接： https://www.qcloud.com/community/article/203 来源：腾云阁 https://www.qcloud.com/community MySQL数据库是目前开源应用最大的关系型数据库，有海量的应用将数据存储在MySQL数据库中。存储数据的安全性和可靠性是生产数据库的关注重点。本文分析了目前采用较多的保障MySQL可用性方案。 MySQL Replication MySQL Replication是MySQL官方提供的主从同步方案，用于将一个MySQL实例的数据，同步到另一个实例中。Replication为保证数据安全做了重要的保证，也是现在运用最广的MySQL容灾方案。Replication用两个或以上的实例搭建了MySQL主从复制集群，提供单点写入，多点读取的服务，实现了读的scale out。 图1. MySQL Replication主从复制集群 如图一所示，一个主实例（M），三个从实例（S），通过replication，Master生成event的binlog，然后发给slave，Slave将event写入relaylog，然后将其提交到自身数据库中，实现主从数据同步。对于数据库之上的业务层来说，基于MySQL的主从复制集群，单点写入Master

传统的分库分表 传统的分库分表都是通过应用层逻辑实现的，对于数据库层面来说，都是普通的表和库。 分库 分库的原因 首先，在单台数据库服务器性能足够的情况下，分库对于数据库性能是没有影响的。在数据库存储上， database 只起到一个 namespace 的作用。 database 中的表文件存储在一个以 database名 命名的文件夹中。比如下面的 employees 数据库： mysql> show tables in employees; +---------------------+ | Tables_in_employees | +---------------------+ | departments | | dept_emp | | dept_manager | | employees | | salaries | | titles | +---------------------+ 在操作系统中看是这样的： # haitian at haitian-coder.local in /usr/local/var/mysql/employees on git:master ● [21:19:47] → ls db.opt dept_emp.frm dept_manager.ibd salaries.frm titles.ibd departments.frm dept

I have a SQL query written by someone else and I'm trying to figure out what it does. Can someone please explain what the Partition By and Row_Number keywords does here and give a simple example of it in action, as well as why one would want to use it? An example of partition by: (SELECT cdt.*, ROW_NUMBER () OVER (PARTITION BY cdt.country_code, cdt.account, cdt.currency ORDER BY cdt.country_code, cdt.account, cdt.currency) seq_no FROM CUSTOMER_DETAILS cdt); I've seen some examples online, they are in bit too depth. Thanks in advance! Michael Buen PARTITION BY segregate sets, this enables you