Kafka消息和offset存储
前言 Kafka具有存储功能,默认保存数据时间为7天或者大小1G,也就是说kafka broker上的数据超7天或者1G,就会被清理掉。这些数据存放在broker服务器上,以log文件的形式存在。 准备工作 topic 我添加了一个topic名字为demo1。为了方便观察,它只有一个分区,一个副本。 kafka-topics.sh --zookeeper localhost:2181/kafka1 --desc --topic demo1 producer 通过producer推送了11条数据 kafka-console-producer.sh --broker-list localhost:9092 --topic demo1 日志 log的路径配置在conf/server.properties配置文件中,我的日志路径配置在log1文件夹下。log文件的命名那一长串0,是这个日志文件的offset位置。当日志文件达到时间或者大小的上限时,就会生成下一个日志文件,命名的就是下一个offset位置了。 查看日志内容 log日志文件是二进制文件,无法通过文本查看,但是可以通过kafka.tools.DumpLogSegments类的方法,可以查看日志的内容。 bin/kafka-run-class.sh kafka.tools.DumpLogSegments --files .