kafka-monitor

Kafka可以说是必知必会的了，首先面试大数据岗位的时候必问kafka，甚至现在java开发岗位也会问到kafka一些消息队列相关的知识点。先来看看有哪些最新的Kafka相关面试点： 一、基础摸底 1.1、你们Kafka集群的硬盘一共多大？有多少台机器？日志保存多久？用什么监控的？ 1.2、Kafka分区数、副本数和topic数量多少比较合适？ 1.3、Kafka中的HW、LEO、ISR、AR分别是什么意思？ 1.4、Kafka中的消息有序吗？怎么实现的？ 1.5、topic的分区数可以增加或减少吗？为什么？ 1.6、你知道kafka是怎么维护offset的吗？ 1.7、你们是怎么对Kafka进行压测的？ 二、感觉还不错，接着深入考察 2.1、创建或者删除topic时，Kafka底层执行了哪些逻辑？ 2.2、你了解Kafka的日志目录结构吗？ 2.3、Kafka中需要用到选举吗？对应选举策略是什么？ 2.4、追问，聊聊你对ISR的了解？ 2.5、聊聊Kafka分区分配策略？ 2.6、当Kafka消息数据出现了积压，应该怎么处理？ 2.7、Kafka是怎么实现Exactly Once的？ 2.8、追问、谈谈你对Kafka幂等性的理解？ 2.9、你对Kafka事务了解多少？ 2.10、Kafka怎么实现如此高的读写效率？ 三、侃侃而谈 3.1、说说你常用的broker参数优化？ 3.2

一 前言 二 懒人必备zabbix监控之 LLD (low level discovery) 本次的教程是我想监控kafka的消费情况，举个栗子 [root@VM_0_98_centos bin]# ./kafka-consumer-groups.sh --bootstrap-server 172.20.150.1:9092 --describe --group ee TOPIC PARTITION CURRENT-OFFSET LOG-END-OFFSET LAG CONSUMER-ID HOST CLIENT-ID ee_172_20_50 0 93864 93864 0 ee-0-213a104f-f2b7-490d-80cd-a4e391f292ab /172.20.150.1 ee-0 ee_172_20_25 0 592471 592480 9 ee-0-213a104f-f2b7-490d-80cd-a4e391f292ab /172.20.150.1 ee-0 ee_172_20_19 0 156781 156781 0 ee-0-213a104f-f2b7-490d-80cd-a4e391f292ab /172.20.150.1 ee-0 ee_172_20_26 0 1345 1345 0 ee-0-213a104f-f2b7-490d-80cd

对于大数据集群来说，监控功能是非常必要的，通过日志判断故障低效，我们需要完整的指标来帮我们管理Kafka集群。本文讨论Kafka的监控以及一些常用的第三方监控工具。 一、Kafka Monitoring 首先介绍kafka的监控原理，第三方工具也是通过这些来进行监控的，我们也可以自己去是实现监控，官网关于监控的文档地址如下： http://kafka.apache.org/documentation/#monitoring ]( http://kafka.apache.org/documentation/#monitoring ) kafka使用Yammer Metrics进行监控，Yammer Metrics是一个java的监控库。 kafka默认有很多的监控指标，默认都使用JMX接口远程访问，具体方法是在启动broker和clients之前设置JMX_PORT： JMX_PORT=9997 bin/kafka-server-start.sh config/server.properties Kafka的每个监控指标都是以JMX MBEAN的形式定义的，MBEAN是一个被管理的资源实例。 我们可以使用Jconsole （Java Monitoring and Management Console），一种基于JMX的可视化监视、管理工具。 来可视化监控的结果： 图2