kafka命令

首先下载zookeeper（版本zookeeper-3.4.13）和kafka（版本kafka_2.12-2.0.0），解压就可以使用了。 1、zookeeper： 在config目录下，有zoo.conf这个配置文件，可以配置端口和日志存储的位置，可以根据自己习惯更改。 首先启动zookeeper，如果环境变量中配置过了zookeeper，则可以直接打开cmd窗口，用zkserver来启动，如下： 如果打印的日志都是INFO 或者WARN，并且进入守护线程状态，表示启动成功。 2、Kafka： 在config目录下，有个server.properties配置文件，有配置日志目录的： log.dirs=D:/nomalAPP/kafka_2.12-2.0.0/kafka-logs ， 还有配置连接的zookeeper的地址的： zookeeper.connect=localhost:2181 。其他的基本不用管，也可以根据具体需要进行修改。 启动命令为： .\bin\windows\kafka-server-start.bat .\config\server.properties 。如下： 下面还会打印出一些基本配置信息。启动成功也会进入守护线程状态。 上面启动的两个不要关闭，再继续进行下面的操作： 3、topic：创建主题 命令为： .\bin\windows\kafka

2.2 KAFKA命令行操作 1）查看当前服务器中的所有topic [qingfeng@hadoop102 kafka]$ bin/kafka-topics.sh --zookeeper hadoop102:2181 --list 2）创建topic [qingfeng@hadoop102 kafka]$ bin/kafka-topics.sh --zookeeper hadoop102:2181 --create --replication-factor 3 --partitions 1 --topic first 选项说明： --topic 定义topic名 --replication-factor 定义副本数 --partitions 定义分区数 3）删除topic [qingfeng@hadoop102 kafka]$ bin/kafka-topics.sh --zookeeper hadoop102:2181 --delete --topic first 需要server.properties中设置delete.topic.enable=true否则只是标记删除。 4）生产消息 [qingfeng@hadoop102 kafka]$ bin/kafka-console-producer.sh \ --broker-list hadoop102:9092 --topic

用到的软件：zookeeper、kafka、logstash（6.3.2版本）、ES（6.3.2版本）、Kibana（6.3.2版本）。具体安装步骤不在此说明，基本都是下载解压，改一下配置文件，即可使用。（以下所述均在Windows下） 1、zookeeper： kafka中自带zookeeper，可以不用装zookeeper，如果想自己另装，需配置环境变量，如下： ZOOKEEPER_HOME => D:\nomalAPP\zookeeper-3.4.13 path 里面加入 %ZOOKEEPER_HOME%\bin 如果配置好以后，在cmd里运行zkserver报找不到java错误的话，可能是java环境变量的位置放置有问题，可以将path里面配置的java环境位置移到最前面。</b> 2、kafka： kafka如果启动报找不到java的错误，原因在于kafka-run-class.bat的179行，找到里面的 %CLASSPATH% ，将其用双引号括起来。即改为：set COMMAND=%JAVA% %KAFKA_HEAP_OPTS% %KAFKA_JVM_PERFORMANCE_OPTS% %KAFKA_JMX_OPTS% %KAFKA_LOG4J_OPTS% -cp "%CLASSPATH%" %KAFKA_OPTS% %* </b> kafka的配置文件server

2019/3/14 星期四 Linux 初始化脚本 （centos6 centos7 通用） Linux 初始化脚本 （centos6 centos7 通用） zookeeper生产环境搭建 zookeeper生产环境搭建 在安装前请务必安装好zookeeper 查看上面2个链接地址！ kafka优化： 有时候系统需要应对突如其来的高峰数据，它可能会拖慢磁盘。（比如说，每个小时开始时进行的批量操作等） 这个时候需要容许更多的脏数据存到内存，让后台进程慢慢地通过异步方式将数据写到磁盘当中。 vm.dirty_background_ratio = 5 vm.dirty_ratio = 80 这个时候，后台进行在脏数据达到5%时就开始异步清理，但在80%之前系统不会强制同步写磁盘。这样可以使IO变得更加平滑。 实际操作： echo "vm.dirty_background_ratio=5" >> /etc/sysctl.conf echo "vm.dirty_ratio=80" >> /etc/sysctl.conf sysctl -p kafka 生产环境搭建 [root@emm-kafka01-10--174 ~]# cd /opt/ins/ [root@emm-kafka01-10--174 ins]# ll total 233044 -rwxr-xr-x 1 root root

Zookeeper集群搭建 Kafka集群是把状态保存在Zookeeper中的，首先要搭建Zookeeper集群。 1、软件环境 （3台服务器-我的测试） 192.168.30.204 server1 192.168.30.205 server2 192.168.30.206 server3 1-1、Linux服务器一台、三台、五台、（2*n+1），Zookeeper集群的工作是超过半数才能对外提供服务，3台中超过两台超过半数，允许1台挂掉 ，是否可以用偶数，其实没必要。 如果有四台那么挂掉一台还剩下三台服务器，如果在挂掉一个就不行了，这里记住是超过半数。 1-2、zookeeper是用java写的所以他的需要JAVA环境，java是运行在java虚拟机上的 1-3、Zookeeper的稳定版本Zookeeper 3.4.6版本 2、配置&安装Zookeeper 下面的操作是：3台服务器统一操作 2-1、安装Java (可选) 卸载已有的open jdk，安装最新版本的java jdk # rpm -qa | grep jdk java-1.6.0-openjdk-1.6.0.0-1.45.1.11.1.el6.i686 # yum -y remove java-1.6.0-openjdk-1.6.0.0-1.45.1.11.1.el6.i686 remove java-1.6.0