Kafka mirror实践

筅森魡賤 提交于 2020-01-10 08:09:06

mirror功能介绍可查看其他资源,本次只介绍实际部署案例,hostA和hostB上分别有两套单节点kafka集群,配置数据由hostA的topic同步至hostB的topic

 

1.配置两边的/etc/hosts,互通

2.在hostA节点创建mirror-consumer.properties  mirror-producer.properties

mirror-consumer.properties内容:

bootstrap.servers=hostA:9092
group.id=mirror

mirror-producer.properties内容:

bootstrap.servers=hostB:9092

3.在hostB节点创建相同mirror-consumer.properties  mirror-producer.properties文件

4.在hostA和hostB Kafka集群中都存在topic test_demo

5.在hostA启动mirror maker

kafka-mirror-maker.sh --consumer.config ~/mirror-consumer.properties --producer.config ~/mirror-producer.properties --whitelist "test_demo"

5.在hostB启动mirror maker

kafka-mirror-maker.sh --consumer.config ~/mirror-consumer.properties --producer.config ~/mirror-producer.properties --whitelist "test_demo"

 

6.测试

在hostA集群中生产数据到test_demo

 kafka-console-producer.sh --broker-list hostA:9092 --topic test_demo

在hostB集群中消费test_demo

kafka-console-consumer.sh --bootstrap-server hostB:9092  --from-beginning --topic test_demo

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!