kafka-manager

#0-项目介绍 Kafka在雅虎内部被很多团队使用,媒体团队用它做实时分析流水线,可以处理高达20Gbps(压缩数据)的峰值带宽。 为了简化开发者和服务工程师维护Kafka集群的工作，构建了一个叫做Kafka管理器的基于Web工具，叫做 Kafka Manager。这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀，或者是分区在整个集群分布不均匀的的情况。它支持管理多个集群、选择副本、副本重新分配以及创建Topic。同时，这个管理工具也是一个非常好的可以快速浏览这个集群的工具。 该软件是用Scala语言编写的。目前(2015年02月03日)雅虎已经开源了Kafka Manager工具。这款Kafka集群管理工具主要支持以下几个功能： 　　1、管理几个不同的集群； 　　2、很容易地检查集群的状态(topics, brokers, 副本的分布, 分区的分布)； 　　3、选择副本； 　　4、产生分区分配(Generate partition assignments)基于集群的当前状态； 　　5、重新分配分区。 工具的截图及详细介绍参考 源 出处~ 项目在github上获取 https://github.com/yahoo/kafka-manager 1-安装sbt sbt是scala的打包构建工具。 http://www.scala-sbt.org/download

kafka官网：http://kafka.apache.org/ 官方文档：http://kafka.apache.org/documentation.html#quickstart kafka集群安装 下载： kafka_2.10-0.8.2.0.tar.gz 解压： tar -zxvf kafka_2.10-0.8.2.0 .tgz 软链接配置： ln -s kafka_2.10-0.8.2.0 kafka 修改配置文件 ： cd kafka/config vi server.properties server.properties 配置说明（仅对需要留意的说明） ： broker.id=0 // 这个ID是唯一标示，须唯一 port=9092 // 访问端口，默认为 9092 host.name=kafka-server1 // 多块网卡时，需注意。 num.io.threads=10 // disk I/O 线程数，挂多块盘的时候，应大于硬盘数 log.dirs=/home/kafka/data/kafka-logs // 存放kafka topic数据的地址，很重要，别配错 log.retention.hours=168 // 数据缓存周期，默认为7天，硬盘不够时可以调小 zookeeper.connect=zk-server1:2181,zk-server2:2181

kafka-manager是一个非常好用的kafka web管理工具，yahoo开源。 地址： github.com/yahoo/kafka-manager 1、编译过程比较简单，重点是能翻墙，如果网络环境不允许，可以从本文中的下载链接下载： git clone github.com/yahoo/kafka-manager cd kafka-manager ./sbt clean dist 2、安装和使用： cd kafka-manager/target/universal unzip kafka-manager-1.3.0.7.zip cd kafka-manager-1.3.0.7 修改配置： kafka-manager.zkhosts= 添加配置： http.port= （默认9000） 启动： ./bin/kafka-manager 注意事项： 注意：编译和使用需要jdk8，不然会抛出异常 编译异常（编译时jdk java version "1.6.0_24" ）： [error] java.lang.UnsupportedClassVersionError: org/webjars/WebJarExtractor$Cache : Unsupported major.minor version 51.0 启动异常（启动时jdk： java version "1.7.0_55