构建kafka集群

徘徊边缘 提交于 2019-11-27 22:03:04

 本文档是在本机上构建多节点的kafka集群

 

standalone版的请参考

https://www.cnblogs.com/pageBlog/p/11379364.html

 

1. 首先将配置文件拷贝多份

cp config/server.properties config/server-1.properties

cp config/server.properties config/server-2.properties

2. 修改对应的配置文件

3. 启动这两个节点

bin/kafka-server-start.sh config/server-1.properties &

bin/kafka-server-start.sh config/server-2.properties &

4. 创建一个新话题

bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 3 --partitions 1 --topic my-replicated-topic

5. 查看话题详细信息:bin/kafka-topics.sh --describe --bootstrap-server localhost:9092 --topic my-replicated-topic

 

6. 可以看下我们单节点创建的话题有什么区别:bin/kafka-topics.sh --describe --bootstrap-server localhost:9092 --topic test

7. 发布一些信息:bin/kafka-console-producer.sh --broker-list localhost:9092 --topic my-replicated-topic

8. 消费消息:bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --from-beginning --topic my-replicated-topic

 

9. 进行容错测试,由于之前查看详细信息的时候,server1是主节点,所以这里干掉server1

10. 再次查看,发现已经切到节点0为主节点了:bin/kafka-topics.sh --describe --bootstrap-server localhost:9092 --topic my-replicated-topic

11. 消费信息,还是可以获取到:bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --from-beginning --topic my-replicated-topic

 

参考文档:

http://kafka.apache.org/quickstart

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!