#0-项目介绍 Kafka在雅虎内部被很多团队使用,媒体团队用它做实时分析流水线,可以处理高达20Gbps(压缩数据)的峰值带宽。
为了简化开发者和服务工程师维护Kafka集群的工作,构建了一个叫做Kafka管理器的基于Web工具,叫做 Kafka Manager。这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀,或者是分区在整个集群分布不均匀的的情况。它支持管理多个集群、选择副本、副本重新分配以及创建Topic。同时,这个管理工具也是一个非常好的可以快速浏览这个集群的工具。
该软件是用Scala语言编写的。目前(2015年02月03日)雅虎已经开源了Kafka Manager工具。这款Kafka集群管理工具主要支持以下几个功能:
1、管理几个不同的集群;
2、很容易地检查集群的状态(topics, brokers, 副本的分布, 分区的分布);
3、选择副本;
4、产生分区分配(Generate partition assignments)基于集群的当前状态;
5、重新分配分区。
工具的截图及详细介绍参考 源 出处~
项目在github上获取 https://github.com/yahoo/kafka-manager
1-安装sbt
sbt是scala的打包构建工具。
http://www.scala-sbt.org/download.html
mac下安装
brew install sbt
ubuntu下安装
echo "deb https://dl.bintray.com/sbt/debian /" | sudo tee -a /etc/apt/sources.list.d/sbt.list
sudo apt-get update
sudo apt-get install sbt
2-下载+编译
下载
git clone git@github.com:yahoo/kafka-manager.git
编译,生成发布包
cd kafka-manager
./sbt clean dist
生成的包会在kafka-manager/target/universal 下面。生成的包只需要java环境就可以运行了,在部署的机器上不需要安装sbt。
一般打包很慢,那么就配置代理。
sbt的配置http代理的参考文档:
http://www.scala-sbt.org/0.12.1/docs/Detailed-Topics/Setup-Notes.html#http-proxy
通过-D设置叁数即可:
java -Dhttp.proxyHost=myproxy -Dhttp.proxyPort=8080 -Dhttp.proxyUser=username -Dhttp.proxyPassword=mypassword
也可以用下面这种方式,设置一下SBT_OPTS的环境变量即可:
export SBT_OPTS="$SBT_OPTS -Dhttp.proxyHost=myproxy -Dhttp.proxyPort=myport"
要注意的是,myproxy,这个值里不要带http前缀,也不要带端口号。
比如,你的代理是http://localhost:8123,那么应该这样配置:
export SBT_OPTS="$SBT_OPTS -Dhttp.proxyHost=localhost -Dhttp.proxyPort=8123"
3-部署
打好包好,在部署机器上解压,修改好配置文件,就可以运行了。
解压
unzip kafka-manager-1.0-SNAPSHOT.zip
修改conf/application.conf,把kafka-manager.zkhosts改为自己的zookeeper服务器地址
kafka-manager.zkhosts="localhost:2181"
启动
cd kafka-manager-1.0-SNAPSHOT/bin
./kafka-manager -Dconfig.file=../conf/application.conf
查看帮助 和 后台运行:
./kafka-manager -h
nohup ./kafka-manager -Dconfig.file=../conf/application.conf >/dev/null 2>&1 &
默认http端口是9000,可以修改配置文件里的http.port的值,或者通过命令行参数传递:
./kafka-manager -Dhttp.port=9001
正常来说,play框架应该会自动加载conf/application.conf配置里的内容,但是貌似这个不起作用,要显式指定才行。
参考: https://github.com/yahoo/kafka-manager/issues/16
donation:
如有捐赠意向的朋友,请捐赠到支付宝账号:qdcccc@gmail.com 账户名:杨春炼
ask for help:
如需帮助,请加QQ:1028750558或微信:lian-ye
来源:oschina
链接:https://my.oschina.net/u/2700824/blog/699962