1、 kafka介绍
Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。对于像Hadoop一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。
2、 kafka的特性
Kafka 是一种高吞吐量的分布式发布订阅消息系统，有如下特性：
通过磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。
持久性：使用文件性存储，日志文件存储消息，需要写入硬盘，采用达到一定阈值才写入硬盘，从而较少磁盘I/O，如果突然宕机数据会丢失
高吞吐量：即使是非常普通的硬件Kafka也可以支持每秒数百万的消息。
支持通过Kafka服务器和消费机集群来分区消息。
支持Hadoop并行数据加载。
3、 kafka的体系架构
kafka集群
如上图所示，一个典型的Kafka体系架构包括若干Producer（可以是服务器日志，业务数据，页面前端产生的page view等等），若干broker（Kafka支持水平扩展，一般broker数量越多，集群吞吐率越高），若干Consumer (Group)，以及一个Zookeeper集群。Kafka通过Zookeeper管理集群配置，选举leader，以及在consumer group发生变化时进行rebalance。Producer使用push(推)模式将消息发布到broker，Consumer使用pull(拉)模式从broker订阅并消费消息。
leader 对外提供服务 follower 负责leader里面所产生内容同步消息写入生成时产生repilcas（副本）
Kafka的高可靠性的保障来源于其健壮的副本（replication）策略。通过调节其副本相关参数，可以使得Kafka在性能和可靠性之间运转的游刃有余。Kafka从0.8.x版本开始提供partition级别的复制
4、 kafka的相关名词
Broker：消息中间件处理节点，一个Kafka节点就是一个broker，一个或者多个Broker可以组成一个Kafka集群
Topic：Kafka根据topic对消息进行归类，发布到Kafka集群的每条消息都需要指定一个topic
Producer：消息生产者，向Broker发送消息的客户端
Consumer：消息消费者，从Broker读取消息的客户端
ConsumerGroup：每个Consumer属于一个特定的Consumer Group，一条消息可以发送到多个不同的Consumer Group，但是一个Consumer Group中只能有一个Consumer能够消费该消息
Partition：物理上的概念，一个topic可以分为多个partition，每个partition内部是有序的

5、Topic和Partition的区别
一个topic可以认为一个一类消息，每个topic将被分成多个partition，每个partition在存储层面是append log文件。任何发布到此partition的消息都会被追加到log文件的尾部，每条消息在文件中的位置称为offset(偏移量)，offset为一个long型的数字，它唯一标记一条消息。每条消息都被append到partition中，是顺序写磁盘，因此效率非常高（经验证，顺序写磁盘效率比随机写内存还要高，这是Kafka高吞吐率的一个很重要的保证）。
kafka集群
每一条消息被发送到broker中，会根据partition规则选择被存储到哪一个partition（默认采用轮询的方式进行写入数据）。如果partition规则设置的合理，所有消息可以均匀分布到不同的partition里，这样就实现了水平扩展。（如果一个topic对应一个文件，那这个文件所在的机器I/O将会成为这个topic的性能瓶颈，而partition解决了这个问题），如果消息被消费则保留append.log两天
6、kafka的文件存储机制
Kafka中消息是以topic进行分类的，生产者通过topic向Kafka broker发送消息，消费者通过topic读取数据。然而topic在物理层面又能以partition为分组，一个topic可以分成若干个partition，那么topic以及partition又是怎么存储的呢？partition还可以细分为segment，一个partition物理上由多个segment组成
为了便于说明问题，假设这里只有一个Kafka集群，且这个集群只有一个Kafka broker，即只有一台物理机。在这个Kafka broker的server.properties配置文件定义kafka的日文件存放路径以此来设置Kafka消息文件存储目录，与此同时创建一个topic：test，partition的数量为4启动kafka就可以在日志存放路径中可以看到生成4个目录
在Kafka文件存储中，同一个topic下有多个不同的partition，每个partiton为一个目录，partition的名称规则为：topic名称+有序序号，第一个序号从0开始计

上面提到partition还可以细分为segment，这个segment又是什么？
如果就以partition为最小存储单位，我们可以想象当Kafka producer不断发送消息，必然会引起partition文件的无限扩张，这样对于消息文件的维护以及已经被消费的消息的清理带来严重的影响，所以这里以segment为单位又将partition细分。每个partition(目录)相当于一个巨型文件被平均分配到多个大小相等的segment(段)数据文件中（每个segment 文件中消息数量不一定相等）这种特性也方便old segment的删除，即方便已被消费的消息的清理，提高磁盘的利用率。每个partition只需要支持顺序读写就行

segment文件由两部分组成，分别为“.index”文件和“.log”文件，分别表示为segment索引文件和数据文件。这两个文件的命令规则为：partition全局的第一个segment从0开始，后续每个segment文件名为上一个segment文件最后一条消息的offset值（偏移量），数值大小为64位，20位数字字符长度，没有数字用0填充
7、数据的可靠性和持久性保证
当producer向leader发送数据时，可以通过request.required.acks参数来设置数据可靠性的级别：
1（默认）：这意味着producer的leader已成功收到数据并得到确认。如果leader宕机了，则会丢失数据。
0：这意味着producer无需等待来自broker的确认而继续发送下一批消息。这种情况下数据传输效率最高，但是数据可靠性确是最低的。
-1：producer需要等待所有follower都确认接收到数据后才算一次发送完成，可靠性最高。
8、leader选举
一条消息只有被所有follower都从leader复制过去才会被认为已提交。这样就避免了部分数据被写进了leader，还没来得及被任何follower复制就宕机了，而造成数据丢失。而对于producer而言，它可以选择是否等待消息commit
一种非常常用的选举leader的方式是“少数服从多数”，在进行数据的复制过程中，存在多个follower，并且每个follower的数据速度都不相同

一．安装开启kafka和zookeeper

1.上传所需安装包
kafka集群
2.解压安装kafka
[root@localhost ~]# tar zxf kafka_2.11-2.2.1.tgz
[root@localhost ~]# mv kafka_2.11-2.2.1 /usr/local/kafka

3.查看kafka的脚本文件/usr/local/kafka/bin/
[root@localhost bin]# ls
connect-distributed.sh kafka-reassign-partitions.sh
connect-standalone.sh kafka-replica-verification.sh
kafka-acls.sh kafka-run-class.sh
kafka-broker-api-versions.sh kafka-server-start.sh
kafka-configs.sh kafka-server-stop.sh
kafka-console-consumer.sh kafka-streams-application-reset.sh
kafka-console-producer.sh kafka-topics.sh
kafka-consumer-groups.sh kafka-verifiable-consumer.sh
kafka-consumer-perf-test.sh kafka-verifiable-producer.sh
kafka-delegation-tokens.sh trogdor.sh
kafka-delete-records.sh windows
kafka-dump-log.sh zookeeper-security-migration.sh
kafka-log-dirs.sh zookeeper-server-start.sh
kafka-mirror-maker.sh zookeeper-server-stop.sh
kafka-preferred-replica-election.sh zookeeper-shell.sh
kafka-producer-perf-test.sh

4.启动zookeeper和kafka
kafka集群
[root@localhost bin]# ./zookeeper-server-start.sh

[root@localhost bin]# ./zookeeper-server-start.sh -daemon ../config/zookeeper.properties
[root@localhost bin]# netstat -anpt | grep 2181
kafka集群
[root@localhost bin]# ./kafka-server-start.sh
USAGE: ./kafka-server-start.sh [-daemon] server.properties [--override property=value]*
[root@localhost bin]# ./kafka-server-start.sh -daemon ../config/server.properties
[root@localhost bin]# netstat -anpt | grep 9092

5.查看命令简介
[root@localhost bin]# ./kafka-topics.sh
Create, delete, describe, or change a topic.
Option Description

--alter Alter the number of partitions,
replica assignment, and/or
configuration for the topic.
--bootstrap-server <String: server to REQUIRED: The Kafka server to connect
connect to> to. In case of providing this, a
direct Zookeeper connection won't be
required.
。。。。。。

6.创建一个topic一个副本四个分区名称test
[root@localhost bin]# ./kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 4 --topic test

7.查看一下创建的分区
[root@localhost bin]# ls /tmp/kafka-logs/
kafka集群
8.查看一下本机的topic
[root@localhost bin]# ./kafka-topics.sh --list --bootstrap-server localhost:9092 --topic test

9.本机测试发送消息和查看消息
（1）发送消息到test （本机）
[root@localhost bin]# ./kafka-console-producer.sh --broker-list localhost:9092 --topic test
kafka集群

（2）消费者读取信息（本机）
[root@localhost ~]# cd /usr/local/kafka/bin/
[root@localhost bin]# ./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
kafka集群

（3）在本机查看kafka的log信息
[root@localhost kafka-logs]# cd /tmp/kafka-logs/
kafka集群
[root@localhost kafka-logs]# cat test-1/00000000000000000000.log

二．搭建kafka集群环境

kafka集群
1. 安装zookeeper集群
[root@localhost bin]# cd
[root@localhost ~]# tar zxf zookeeper-3.4.9.tar.gz
[root@localhost ~]# mv zookeeper-3.4.9 /usr/local/zookeeper/
[root@localhost ~]# cd /usr/local/zookeeper/conf/
[root@localhost conf]# cp zoo_sample.cfg zoo.cfg
2. 修改配置文件
[root@localhost conf]# vim zoo.cfg
tickTime=2000 ##节点之间的心跳检测时间单位为毫秒 2
initLimit=10 #达到10个访问进行同步数据 5
syncLimit=5 ##节点之间检查失败次数超过后断开相应的节点 8
dataDir=/usr/local/zookeeper/data ###日志文件存放路径（创建目录） 12
server.1 192.168.1.30:2888:3888 ##声明集群主机末尾添加
server.2 192.168.1.40:2888:3888
server.3 192.168.1.70:2888:3888

[root@localhost conf]# mkdir /usr/local/zookeeper/data （创建所需目录）
[root@localhost conf]# echo 1 > /usr/local/zookeeper/data/myid （其他两台id为2和3）

3.复制zookeeper安装文件
37 scp -r /usr/local/zookeeper/ root@192.168.1.40:/usr/local/
38 scp -r /usr/local/zookeeper/ root@192.168.1.70:/usr/local/

三台zookeeper都配置完成后再启动服务
42 /usr/local/zookeeper/bin/zkServer.sh start

43 /usr/local/zookeeper/bin/zkServer.sh status

4. 安装kafka集群
（1）修改kafka配置文件
[root@localhost conf]# vim /usr/local/kafka/config/server.properties
不同点
broker.id=1 ##id分别为1 2 3 21对应IP为1.30，1.40，1.70（id就是刚刚echo入myid的那个）
listeners=PLAINTEXT://192.168.1.30:9092 #节点监听地址，填写每个节点自己的IP地址 31
advertised.listeners=PLAINTEXT://192.168.1.30:9092
#集群中节点内部交流使用的端口，填写每个节点自己的IP地址 36
相同点
log.dirs=/usr/local/zookeeper/data
zookeeper.connect=192.168.1.30:2181,192.168.1.40:2181,192.168.1.70:2181 #声明连接zookeeper节点的地址 123
如果报错修改126行：zookeeper.connection.timeout.ms=6000 （6000改大一点）

（2）复制kafka安装文件
57 scp -r /usr/local/kafka/ root@192.168.1.40:/usr/local/
58 scp -r /usr/local/kafka/ root@192.168.1.70:/usr/local/
5. 开启kafka并后台运行
[root@bogon ~]# /usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties &
6. 创建一个topic三个副本一个分区名称wsd
[root@bogon bin]# cd /usr/local/kafka/bin/
[root@localhost bin]# ./kafka-topics.sh --create --bootstrap-server 192.168.1.70:9092 --replication-factor 3 --partitions 1 --topic xgp
查看一下创建的tocpic （kafka集群主机）
[root@bogon bin]# ls /usr/local/zookeeper/data/

7. 查看topic的状态和领导者
[root@bogon kafka]# cd /usr/local/kafka
[root@bogon kafka]# bin/kafka-topics.sh --describe --bootstrap-server 192.168.1.30:9092 --topic xgp

8. 1.30发布消息
./kafka-console-producer.sh --broker-list 192.168.1.30:9092 --topic xgp
kafka集群
9. 1.40查看消息
[root@bogon bin]# ./kafka-console-consumer.sh --bootstrap-server 192.168.1.40:9092 --from-beginning --topic xgp

10.查看一下kafka的log信息
[root@bogon bin]# cat /usr/local/zookeeper/data/xgp-0/00000000000000000000.log
kafka集群
11.关闭一台kafka查看一下哪台会变成主，信息有没有消失
[root@bogon bin]# /usr/local/kafka/bin/kafka-server-stop.sh （1.30）
[root@bogon kafka]# /usr/local/zookeeper/bin/zkServer.sh status （1.40）

[root@bogon bin]# ./kafka-console-consumer.sh --bootstrap-server 192.168.1.40:9092 --from-beginning --topic xgp （1.70）
kafka集群
实验完毕
如有报错请先关闭kafka然后在关闭zookeeper，然后先启动zookeeper在启动kafka。实在不行先杀进程，在启动顺序还是刚刚那个。

来源：51CTO

作者：mb5cd21e691f31a

链接：https://blog.51cto.com/14320361/2453258

标签

topic

Kafka

segment

kafka命令