kafka命令

一、基本概念 介绍 Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能，但具有自己独特的设计。 这个独特的设计是什么样的呢？ 首先让我们看几个基本的消息系统术语： Kafka将消息以topic为单位进行归纳。 将向Kafka topic发布消息的程序成为producers. 将预订topics并消费消息的程序成为consumer. Kafka以集群的方式运行，可以由一个或多个服务组成，每个服务叫做一个broker. producers通过网络将消息发送到Kafka集群，集群向消费者提供消息，如下图所示： 客户端和服务端通过TCP协议通信。Kafka提供了Java客户端，并且对多种语言都提供了支持。 Topics 和Logs 先来看一下Kafka提供的一个抽象概念:topic. 一个topic是对一组消息的归纳。对每个topic，Kafka 对它的日志进行了分区，如下图所示： 每个分区都由一系列有序的、不可变的消息组成，这些消息被连续的追加到分区中。分区中的每个消息都有一个连续的序列号叫做offset,用来在分区中唯一的标识这个消息。 在一个可配置的时间段内，Kafka集群保留所有发布的消息，不管这些消息有没有被消费。比如，如果消息的保存策略被设置为2天，那么在一个消息被发布的两天时间内，它都是可以被消费的。之后它将被丢弃以释放空间

1、安装jdk1.8 2、安装ZooKeeper 1、 下载安装包（附带链接） 2、 解压并进入ZooKeeper目录，笔者：D:\Kafka\zookeeper-3.4.9\conf 3、 将“zoo_sample.cfg”重命名为“zoo.cfg” 4、 打开“zoo.cfg”找到并编辑dataDir=D:\Kafka\zookeeper-3.4.9\data 5、 添加系统变量：ZOOKEEPER_HOME=D:\Kafka\zookeeper-3.4.9 6、 编辑path系统变量，添加路径：%ZOOKEEPER_HOME%\bin 7、 在zoo.cfg文件中修改默认的Zookeeper端口（默认端口2181） 8、 打开新的cmd，输入“zkServer“，运行Zookeeper 9、 命令行提示如下：说明本地Zookeeper启动成功 注意：不要关了这个窗口 三、安装Kafka 1、 下载安装包（见附带链接 2、 解压并进入Kafka目录，笔者：D:\Kafka\kafka_2.12-0.11.0.0 3、 进入config目录找到文件server.properties并打开 4、 找到并编辑log.dirs=D:\Kafka\kafka_2.12-0.11.0.0\kafka-logs 5、 找到并编辑zookeeper.connect=localhost:2181

开启zookeeper命令(备注：先进入zookeeper的bin目录) ./zkServer.sh start 关闭zookeeper命令(备注：先进入zookeeper的bin目录) ./zkServer.sh stop Kafka启动命令(备注：先进入kafka目录) 常规模式启动kafka bin/kafka-server-start.sh config/server.properties 进程守护模式启动kafka Kafka关闭命令(备注：先进入kafka目录) bin/kafka-server-stop.sh 来源：51CTO 作者： Super-Henry 链接：https://blog.csdn.net/lh756437907/article/details/100690816

./filebeat setup --dashboards curl -X GET "10.0.6.114:9200/_cat/indices?v" 启动filebeat cd /opt/filebeat-6.5.4-linux-x86_64 ./filebeat -e -c filebeat.yml & 启动kafka cd /opt/kafka_2.11-2.1.0/bin ./kafka-server-start.sh ../config/server.properties & 启动zookeeper cd /opt/kafka_2.11-2.1.0 ./bin/zookeeper-server-start.sh ./config/zookeeper.properties & 生成一个topic bin/kafka-topics.sh --create --zookeeper 10.0.6.25:2181 --replication-factor 1 --partitions 1 --topic elk 查看topic bin/kafka-topics.sh --list --zookeeper 10.0.6.25:2181 来源：博客园 作者： frantzz 链接：https://www.cnblogs.com/frantz/p/11462470.html

Ubuntu中安装zookeeper及kafka并配置环境变量 首先安装zookeeper zookeeper需要jdk环境，请在jdk安装完成的情况下安装zookeeper 1.从官网下载zookeeper http://mirror.bit.edu.cn/apache/zookeeper/，版本可以根据自己需要选择使用，个人建议使用比最新版本低一点的版本，比较稳定 https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.5.5/ 2.将下载后的压缩包复制到安装目录下，并加压，以zookeeper-3.4.11.tar.gz为例 tar -zxvf zookeeper-3.4.11.tar.gz 3.配置环境变量，我比较喜欢配置全局性环境变量，即在/etc/profile配置 首先打开/etc/profile:sudo vim /etc/profile export ZOOKEEPER_HOME=/home/xxx/software/zookeeper-3.4.11 export PATH=$PATH:$ZOOKEEPER_HOME/bin 保存完成之后，加载环境变量：source /etc/profile 4.将zookeeper/conf下的zoo_sample.cfg复制一份并重命名为zoo

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/m0_37809146/article/details/91283672 一、版本说明 Spark针对Kafka的不同版本，提供了两套整合方案： spark-streaming-kafka-0-8 和 spark-streaming-kafka-0-10 ，其主要区别如下： spark-streaming-kafka-0-8 spark-streaming-kafka-0-10 Kafka版本 0.8.2.1 or higher 0.10.0 or higher AP״̬ Deprecated 从Spark 2.3.0版本开始，Kafka 0.8支持已被弃用 Stable(稳定版) 语言支持 Scala, Java, Python Scala, Java Receiver DStream Yes No Direct DStream Yes Yes SSL / TLS Support No Yes Offset Commit API(偏移量提交) No Yes Dynamic Topic Subscription (动态主题订阅) No Yes 本文使用的Kafka版本为 kafka_2.12-2.2.0 ，故采用第二种方式进行整合。 二、项目依赖 项目采用Maven进行构建

ԭ kafka 清除topic数据脚本 2018年07月25日 16:57:13 pete1223 阅读数：1028 #!/bin/sh param= $1 echo "=============" echo ${param} echo "kafka-topics.sh --zookeeper localhost:2181 --delete --topic ${param}" kafka-topics.sh --zookeeper localhost:2181 --delete --topic ${param} #打印语句 echo "kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 2 --partitions 3 --topic ${param}" #执行命令 kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 2 --partitions 3 --topic ${param} 输入 xxx.sh topicname 转载请标明出处: kafka 清除topic数据脚本 文章来源: kafka 清除topic数据脚本

一、安装JAVA JDK 1、下载安装包 http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 注意：根据32/64位操作系统下载对应的安装包 2、添加系统变量：JAVA_HOME=C:\Program Files (x86)\Java\jdk1.8.0_144 二、安装ZooKeeper 1、 下载安装包 http://zookeeper.apache.org/releases.html#download 2、 解压并进入ZooKeeper目录，笔者的为：D:\workplace\worktool\zookeeper-3.4.10\conf； 3、 将“zoo_sample.cfg”重命名为“zoo.cfg”，如果目录下存在该文件名，则不需要修改； 4、 打开“zoo.cfg”找到并编辑dataDir=D:\workplace\worktool\zookeeper-3.4.10； 5、 添加系统变量：ZOOKEEPER_HOME=dataDir=D:\workplace\worktool\zookeeper-3.4.10； 6、 编辑path系统变量，添加路径：%ZOOKEEPER_HOME%\bin； 7、 在zoo.cfg文件中修改默认的Zookeeper端口

1.KafKaServer管理 1.启动KafKa单个节点 kafka-server-start.sh 2. 启动KafKa集群 自定义脚本启动kafka集群； 遍历brokers指定的代理列表取出每个节点，通过SSH方式登录该节点，执行kafka-server-start.sh脚本，启动Kafka。前提，需要确保安装配置了SSH； 对自定义脚本赋予执行权限。因为Kafka运行在JVM之上，因此会依赖相应的系统环境配置，为了保证各环境配置在执行该脚本的时候已经生效，在启动命令的时候可以加入，source/etc/profile命令； 3.关闭KafKa单个节点 kafka-server-stop.sh脚本 4.关闭KafKa集群 自定义脚本，通过遍历调用kafka-server-stop.sh脚本实现 2.主题管理 Kafka提供了一个kafka-topic.sh工具脚本用于对主题相关的操作，如创建主题、删除主题、修改主题分区数和副本分配以及修改主题级别的配置信息，查看主题信息等操作； 1.创建主题 Kafka提供以下两种方式创建主题： 方式一：如果代理设置了auto.create.topics.enable=true，则当生产者向一个还未创建主题发送消息的时候，会自动创建一个拥有${num.partitions}个分区和${default.replication.factor

kafka知识总结 //切换到安装路径命令 cd /home/kafka/kafka_2.11-0.10.2.1/bin //启动kafka服务，三台主机分别输入此指令： ./kafka-server-start.sh $KAFKA_HOME/config/server.properties & //以后台的方式启动 nohup ./kafka-server-start.sh $KAFKA_HOME/config/server.properties & //查看topic名 ./kafka-topics.sh --list --zookeeper 10.101.22.41:2181 ./kafka-topics.sh --list --zookeeper 10.101.22.41:2181,10.101.22.42:2181,10.101.22.43:2181 //查询topic内容 ./kafka-console-consumer.sh --bootstrap-server 10.101.22.41:9092,10.101.22.42:9093,10.101.22.43:9094 --topic oth_cpd_active_realtime_data --from-beginning //查看某个Topic的详情 ./kafka-topics.sh --topic oth