环境 hadoop11 hadoop12 hadoop13
zookeeper 集群 hadoop11:2181 ; hadoop12:2181 ; hadoop13:2181
kafka安装包 2.11
1.0安装包上传到虚拟机 /export/service
2.0更改配置文件
2.1 vi server.properties
broker.id=0 每个机器的id不同
log.dirs=/export/servers/kafka_2.11-1.0.0/logs 文件路径自己创建
zookeeper.connect=hadoop11:2181,hadoop12:2181,hadoop13:2181 zookeeper集群
delete.topic.enable=true
host.name=hadoop13
3.0kafka启动
先启动zookeeper集群
启动kafka 三台机器启动
nohup bin/kafka-server-start.sh config/server.properties > /dev/null 2>&1 &
hadoop11创建topic
./kafka-topics.sh --create --partitions 3 --replication-factor 2 --topic test --zookeeper hadoop11:2181,hadoop12:2181,hadoop13:2181
hadoop11创建生产者
./kafka-console-producer.sh --broker-list hadoop11:9092,hadoop12:9092,hadoop13:9092 --topic test
hadoop12创建消费者
./kafka-console-consumer.sh --bootstrap-server hadoop11:9092,hadoop12:9092,hadoop13:9092 --from-beginning --topic test
在hadoop11控制台发送消息，hadoop12能够接收到