Kafka简介 Kafka 是一个高吞吐量、低延迟分布式的消息队列。kafka每秒可以处理几十万条消息, 它的延迟最低只有几毫秒。 Kafka 模型 kafka 提供了一个生产者、缓冲区、消费者的模型 Broker:kafka集群有多个服务器组成, 用于存储数据(消息) Topic: 不同的数据(消息)被分为不同的topic(主题) Producer: 消息生产者, 往broker中某个topic里生产数据 Consumer:消息的消费者, 从broker中某个topic获取数据 概念理解 Topic && Message kafka将所有消息组织成多个topic的形式存储, 而每个 topic 又可以拆分成多个partition, 每个partition又由一条条消息组成。 每条消息都被标识了一个递增序列号代表其进来的先后顺序, 并按顺序存储在parition中。 Producer 选择一个topic, 生产消息, 消息会通过分配策略将消息追加到该topic下的某个partition 分区末尾(queue) Consumer 选择一个topic, 通过 id(offset 偏移量) 指定从哪个位置开始消费消息。消费完成之后保留id, 下次可以从这个位置开始继续消费, 也可以从其他任意位置开始消费。 Offset(偏移量): 能唯一标识该分区中的每个记录。