flume1.6.0 和kafka整合（kafkasink只有在1.6.0以上的flume版本才有）
一、启动kafka，使用默认配置 ①启动zookeeper， bin/-server-start.sh -daemon config/server.properties ②启动kafka：bin/kafka-server-start.sh -daemon config/server.properties ③创建主题：bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic spider ④启动消费者：bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic spider --from-beginning 二、配置flume并启动 flume的详细配置可以看我前面的关于flume的详细配置 将flume（1.6.0，自定义sink会在后面博客补充）的sink改为： agent1.sinks.log-sink1.channel = ch1 agent1.sinks.log-sink1.type = org.apache.flume.sink.kafka.KafkaSink agent1.sinks.log-sink1.topic = spider agent1.sinks