kafka 调参笔记

江枫思渺然 提交于 2019-11-28 17:53:50

 

config/server.properties

 

 

log.dirs

解释:kafka 日志文件保存目录

默认值:安装目录下或/tmp下

设置值:/mnt/data1/kafka/logs 

 

 

num.partitions

解释:topic 默认分区数

默认值:1

设置值:1 (创建 topic 时再定制指定)

 

 

replica.lag.time.max.ms=30000

解释:ISR 认定不同步超时时间

默认值:10000 ms

设置值:30000 ms

 

producer.properties

consumer.properties

topic/partitions 数量

对 topic T,设 producer 吞吐 = a mb/s,consuemer 吞吐 = b mb/s,追求吞吐 = t mb/s:

追求partition数量 = max (t/a, t/b)

设集群 broker 数量 = n, 复制因子 = r

partition数量 <= 100 * n * r

单个partition的leader数 <= 100

 

 

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!