Kafka中的常见概念归纳

Kakfa中有很多概念，以下对其中常见的概念进行整理，方便学习和后续回顾。

01、消息和批次

Kafka的数据单元被称为消息，可以把消息看成是数据库里的一个“数据行”或一条“记录”。消息被分批次写入Kafka，批次就是一组消息，这些消息属于同一个主题和分区。

02、模式

根据应用程序的需求，消息模式有许多可用的选项。Kafka的许多开发者喜欢使用Apache Avro，Avro提供了一种紧凑的序列化格式，模式和消息体是分开的，当模式发生变化时，不需要重新生产代码；它还支持强类型和模式进化，其版本既向前兼容，也向后兼容。

03、主题和分区

Kafka的消息通过主题进行分类。主题就好比数据库的表，或者文件系统里的文件夹。主题可以被分为若干个分区，一个分区就是一个提交日志。消息一追加的方式写入分区，然后以先入先出的顺序读取。

人们把一个主题的数据看作是一个流，不管它是多少个分区。流是一组从生产者移动到消费者的数据。

04、生产者和消费者

Kafka的客户端就是Kafka系统的用户，它们被分为两种基本数据类型：生产者和消费者。此外，还有其他高级客户端API——用于数据集成的Kafka Connect API和用于流式处理的Kafka Streams。

1、生产者创建消息。一个消息会被发布到一个特定的主题上。生产者在默认情况下把消息均衡地分布到主题所有分区上。

2、消费者读取消息。消费者订阅一个或多个主题，并按照消息生成的顺序读取它们。消费者通过检查消息的偏移量来区分读取过的消息。偏移量是另一种元数据，它是一个不断递增的整数值，在创建消息时，Kafka会把它添加到消息里面。在给定的分区里，每个消息的偏移量都是唯一的。消费者把每个分区最后读取的消息偏移量保存在ZooKeeper或Kafka上，如果消费者关闭或重启，它的读取状态不会丢失。

消费者是消费者群组的一部分。群组保证每个分区只能被一个消费者使用。消费者与分区之间的映射通常被称为消费者对分区的所有权关系。

05、broker和集群

一个独立的Kafka服务器被称为broker。broker接收来自生产者的消息，为消息设置偏移量，并提交消息到磁盘保存。broker为消费者提供服务，对读取分区的请求作出响应，返回已经提交到磁盘上的消息。

broker是集群的组成部分。每个集群都一个broker同时充当了集群控制器的角色。在集群中，一个分区从属于一个broker，该broker被称为分区的首领。一个分区可以分配给多个broker，这个时候会发生多个分区复制。这种复制机制为分区提供了消息冗余，如果有一个broker失效，其他broker可以接管领导权。（冗余是为了安全性）

保留消息是Kafka的一个重要特性。Kafka broker默认的消息保留策略是这样的：要么保留一段时间，要么保留到消息达到一定大小的字节数。当消息数量达到这些上限时，旧消息就会过期并被删除，所以在任何时刻，可用消息的总量都不会超过配置参数所指定的大小。