partition

简述： Kafka是一个消息中间件，一个分布式的流平台, 是Spark生态中重要的组件,支持分布式，高可用，高吞吐，多副本 是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统 Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。 能力： 1. 发布和订阅流数据，类似消息队列或消息系统 2. 高容错存储流数据 3. 支持处理数据流 Kafka能解决什么问题： 1. 日志收集：一个公司可以用Kafka可以收集各种服务的log，通过kafka以统一接口服务的方式开放给各种consumer，例如hadoop、Hbase、Solr等。 2. 消息系统：解耦和生产者和消费者、缓存消息等。 3. 用户活动跟踪：Kafka经常被用来记录web用户或者app用户的各种活动，如浏览网页、搜索、点击等活动，这些活动信息被各个服务器发布到kafka的topic中，然后订阅者通过订阅这些topic来做实时的监控分析，或者装载到hadoop、数据仓库中做离线分析和挖掘。 4. 运营指标：Kafka也经常用来记录运营监控数据。包括收集各种分布式应用的数据，生产各种操作的集中反馈，比如报警和报告。 5. 流式处理：比如spark streaming和storm 重要概念： Broker：Kafka集群包含一个或多个服务器

海量数据中找出前k大数（topk问题） 前两天面试3面学长问我的这个问题（想说TEG的3个面试学长都是好和蔼，希望能完成最后一面，各方面原因造成我无比想去鹅场的心已经按捺不住了），这个问题还是建立最小堆比较好一些。 先拿10000个数建堆，然后一次添加剩余元素，如果大于堆顶的数（10000中最小的），将这个数替换堆顶，并调整结构使之仍然是一个最小堆，这样，遍历完后，堆中的10000个数就是所需的最大的10000个。建堆时间复杂度是O（mlogm），算法的时间复杂度为O（nmlogm）（n为10亿，m为10000）。 优化的方法：可以把所有10亿个数据分组存放，比如分别放在1000个文件中。这样处理就可以分别在每个文件的10^6个数据中找出最大的10000个数，合并到一起在再找出最终的结果。 以上就是面试时简单提到的内容，下面整理一下这方面的问题： top K问题 在大规模数据处理中，经常会遇到的一类问题：在海量数据中找出出现频率最好的前k个数，或者从海量数据中找出最大的前k个数，这类问题通常被称为top K问题。例如，在搜索引擎中，统计搜索最热门的10个查询词；在歌曲库中统计下载最高的前10首歌等。 针对top K类问题，通常比较好的方案是分治+Trie树/hash+小顶堆（就是上面提到的最小堆），即先将数据集按照Hash方法分解成多个小数据集

Windows PreInstallation Environment（Windows PE）直接从字面上翻译就是“Windows预安装环境”，微软在2002年7月22日发布，它的原文解释是：“Windows预安装环境（Windows PE）是带有限服务的最小Win32子系统，基于以保护模式运行的Windows XP Professional内核。它包括运行Windows安装程序及脚本、连接网络共享、自动化基本过程以及执行硬件验证所需的最小功能。”换句话说，你可把Windows PE看作是一个只拥有最少核心服务的Mini操作系统。微软推出这么一个操作系统当然是因为它拥有与众不同的系统功能，如果要用一句话来解释，我认为与Win9X/2000/XP相比，Windows PE的主要不同点就是：它可以自定义制作自身的可启动副本，在保证你需要的核心服务的同时保持最小的操作系统体积，同时它又是标准的32位视窗API的系统平台。当然，现在这么说也许难以理解，没有关系，下面让我们来仔细研究它。 Windows PE概览 即使有刚才的解释，你一定还是对这个全新概念的Mini操作系统一头雾水，没关系，在这里我将演示一下其运行的全过程，相信看过之后你或许就会有大致的了解。大多数人获得的Windows PE光碟（包括我手上这张ISO镜像光碟）应该是一张“Windows XP OPK”CD

Kafka ISR kafka replica Data Replication如何Propagate(扩散出去)消息？ Data Replication何时Commit？ Data Replication如何处理Replica恢复 Data Replication如何处理Replica全部宕机 kafka replica 当某个topic的replication-factor为N且N大于1时，每个Partition都会有N个副本(Replica)。kafka的replica包含leader与follower。 Replica的个数小于等于Broker的个数，也就是说，对于每个Partition而言，每个Broker上最多只会有一个Replica，因此可以使用Broker id 指定Partition的Replica。 所有Partition的Replica默认情况会均匀分布到所有Broker上。 Data Replication如何Propagate(扩散出去)消息？ 每个Partition有一个leader与多个follower，producer往某个Partition中写入数据时，只会往leader中写入数据，然后数据才会被复制进其他的Replica中。 数据是由leader push过去还是有flower pull过来？

Kafka Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等等，用scala语言编写，Linkedin于2010年贡献给了Apache基金会并成为顶级开源 项目。 1.前言 消息队列的性能好坏，其文件存储机制设计是衡量一个消息队列服务技术水平和最关键指标之一。下面将从Kafka文件存储机制和物理结构角度，分析Kafka是如何实现高效文件存储，及实际应用效果。 1.1 Kafka的特性: - 高吞吐量、低延迟：kafka每秒可以处理几十万条消息，它的延迟最低只有几毫秒，每个topic可以分多个partition, consumer group 对partition进行consume操作。 - 可扩展性：kafka集群支持热扩展 - 持久性、可靠性：消息被持久化到本地磁盘，并且支持数据备份防止数据丢失 - 容错性：允许集群中节点失败（若副本数量为n,则允许n-1个节点失败） - 高并发：支持数千个客户端同时读写 1.2 Kafka的使用场景： - 日志收集

一、什么是Kafka？ 　　 Apache Kafka是一个社区分布式事件流平台，能够每天处理数万亿个事件。 Kafka最初被设想为消息传递队列，它基于分布式提交日志的抽象。自2011年由LinkedIn创建并开源以来，Kafka已迅速从消息队列发展成为一个成熟的事件流平台。 用作 LinkedIn 的活动流（Activity Stream）和运营数据处理管道（Pipeline）的基础。 活动数据 包括网站的页面访问量、被查看内容方面的信息以及搜索情况等。这类数据通常的处理方式是把各种活动以日志的形式存入某种文件，并周期性的将这些文件进行统计分析。 运营数据 指的是服务器的性能数据（CPU、IO 使用率、请求时间、服务日志等等数据) 二、Kafka的专用术语 　　 Broker ： Kafka集群包含一个或多个服务器，这种服务器被称为 Broker。 　　 Topic ： 每条发布到服务器上的信息都会有一个类别，这个类别被称为 Topic 。同一 Topic 下的信息在物理上是分开存储的，在逻辑上是在一个 Topic 的消息虽然是保存到一个或多个 Broker 上的，但是用户只需指定消息的 Topic 即可生产或消费数据而不必关心数据存于何处。 　　 Partition ： 每个 Topic 包含一个或多个 Partition , Partition 是物理概念上的分区。 　　

一、Kafka基础 消息系统的作用 应该大部分小伙伴都清楚，用机油装箱举个例子 所以消息系统就是如上图我们所说的仓库，能在中间过程作为缓存，并且实现解耦合的作用。 引入一个场景，我们知道中国移动，中国联通，中国电信的日志处理，是交给外包去做大数据分析的，假设现在它们的日志都交给了你做的系统去做用户画像分析。 按照刚刚前面提到的消息系统的作用，我们知道了消息系统其实就是一个模拟缓存，且仅仅是起到了缓存的作用而并不是真正的缓存，数据仍然是存储在磁盘上面而不是内存。 1.Topic 主题 kafka学习了数据库里面的设计，在里面设计了topic（主题），这个东西类似于关系型数据库的表 此时我需要获取中国移动的数据，那就直接监听TopicA即可 2.Partition 分区 kafka还有一个概念叫Partition（分区），分区具体在服务器上面表现起初就是一个目录，一个主题下面有多个分区，这些分区会存储到不同的服务器上面，或者说，其实就是在不同的主机上建了不同的目录。这些分区主要的信息就存在了.log文件里面。跟数据库里面的分区差不多，是为了提高性能。 至于为什么提高了性能，很简单，多个分区多个线程，多个线程并行处理肯定会比单线程好得多 Topic和partition像是HBASE里的table和region的概念，table只是一个逻辑上的概念，真正存储数据的是region

前言 早先过了一遍Kafka，摄取了不少知识细节，未免遗忘梳理记录下，推荐书本 《Kafka 权威指南》。 Quick Start 基础概念 关于Kafka是什么，可以参考 官网介绍 ，一个分布式流处理平台，通俗点理解就是一款基于发布和订阅的消息系统。Kafka设计实现的目标在于： 使用推送和拉取模式解藕生产者和消费者 为消息系统中传递的消息提供数据持久化 通过优化系统实现高吞吐量 系统可以随着数据流的增长进行横向拓展 既然kafka的实质是一个消息系统，类似其他MQ他也有 生产者：消息产生这，向kafka推送消息 消费者：消息的实际使用者，从kafka拉取生产者推送至kafka的消息 Topic：消息主题，亦可理解为消息类型，生产者发送了什么主题的消息，对应订阅了该主题的消费者方可拉取到该消息 Kakfa系统中一些概念 broker：一个独立的kafka服务被称为一个broker 集群：kafka是集群式的提供服务，broker是集群的一个组成部分 分区：一个topic下的至少要包含一个分区，亦可包含多个分区，topic下的消息是存储于分区中的，如图下示。对于给定分区中，消息是按照进入分区的顺序，先到者先被消费。 偏移量：消费者根据偏移量来区分哪些消息已经别消费过。 如果觉得概念枯燥繁多可先忽略。 Kafka部署 先快速将kafka搭建起来，对于kafka系统