kafka命令

安装zookeeper kafka运行需要有jdk+zookeeper环境才能够使用,jdk的安装和环境变量的配置就不介绍了,这里需要先安装zookeeper.可以从官网上下载 https://www.apache.org/dyn/closer.cgi/zookeeper/ 清华镜像：https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/ 将下载下来的包解压一下,然后在conf目录下将zoo_sample.cfg改成zoo.cfg,如图 之后打开zoo.cfg将里面的dataDir的路径改一下,我这里修改成下面的 dataDir=E:\\Software\\data\\logs\\zookeeper 之后把zookeeper配到环境变量里面,它的配置和jdk的配置类似 运行zookeeper,在cmd里面输入zkserver会出现下面的就便是安装成功 安装kafka kafka: http://kafka.apache.org/downloads 将下载下来的安装包解压,并进入到conf目录下面找到server.properties文件 找到并编辑 log.dirs=E:\\Software\\data\\logs\\kafkazookeeper.connect=localhost:2181

kafka自带sh脚本使用示例： （1）启动/关闭kafka服务： ```shell nohup env JMX_PORT=9999 /path/to/kafka_2.10-0.8.2.2/bin/kafka-server-start.sh config/server.properties >/dev/null 2>&1 & /path/to/kafka_2.10-0.8.2.2/bin/zookeeper-server-stop.sh config/zookeeper.properties >/dev/null 2>&1 & ``` （2）创建topic /path/to/kafka_2.10-0.8.2.2/bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test 查看topic列表 /path/to/kafka_2.10-0.8.2.2/bin/kafka-topics.sh --list --zookeeper localhost:2181 （3）发送msg /path/to/kafka_2.10-0.8.2.2/bin/kafka-console-producer.sh --broker-list localhost

Kafka的集群配置 一般有 三种方法 ，即 （1）Single node – single broker集群； （2）Single node – multiple broker集群； （3）Multiple node – multiple broker集群。 前两种方法官网上有配置过程（ （1）（2）配置方法官网教程 ），下面会简单介绍前两种方法，主要介绍最后一种方法。 准备工作： 1.Kafka的压缩包，这里选用的是 kafka_2.10-0.8.2.2.tgz 。 2.三台CentOS 6.4 64位虚拟机。分别是192.168.121.34(主机名为master)、192.168.121.35(主机名为datanode1)、192.168.121.36(主 机名为datanode2)。 一、Single node – single broker集群配置（单节点单boker集群配置） 注：图片来源自网络 1.解压Kafka的压缩包 [root @master kafkainstall]# tar -xzf kafka_2.10-0.8.2.0.tgz [root @master kafkainstall]# cd kafka_2.10-0.8.2.2 这里我新建了一个kafkainstall文件夹来存放加压后的文件，然后进入解压后的kafka_2.10-0.8.2.2文件夹。

使用Docker快速搭建Zookeeper和kafka集群 镜像选择 Zookeeper和Kafka集群分别运行在不同的容器中 zookeeper官方镜像，版本3.4 kafka采用wurstmeister/kafka镜像 集群规划 hostname Ip addr port listener zoo1 172.19.0.11 2184:2181 zoo2 172.19.0.12 2185:2181 zoo3 172.19.0.13 2186:2181 kafka1 172.19.0.14 9092:9092 kafka1 kafka2 172.19.0.15 9093:9093 kafka2 Kafka3 172.19.0.16 9094:9094 Kafka3 宿主机root OSX 192.168.21.139【DHCP获取，会变动】 实现目标 kafka集群在docker网络中可用，和zookeeper处于同一网络 宿主机可以访问zookeeper集群和kafka的broker list docker重启时集群自动重启 集群的数据文件映射到宿主机器目录中 使用yml文件和$ docker-compose up -d命令创建或重建集群 1 $ docker-compose up -d zk集群的docker-compose.yml version: '3.4'

安装JDK，跳过 kafka依赖zookeeper，此处zookeeper安装跳过 http://kafka.apache.org/downloads kafka下载地址 解压文件（我的目录是D:\michal\kafka_2.12-2.1.1） 打开D:\michal\kafka_2.12-2.1.1\config\server.properties文件,把log.dirs修改为【log.dirs=D:\kafka_2.12-0.11.0.0\kafka-logs】 进入kafka文件目录D:\michal\kafka_2.12-2.1.1，执行以下命令，启动kafka通讯的服务器broker .\bin\windows\kafka-server-start.bat .\config\server.properties 进入kafka文件目录D:\michal\kafka_2.12-2.1.1\bin\windows，创建kafka的消息topics .\kafka-topics.bat --create --zookeeper 192.168.34.254:2181 --replication-factor 1 --partitions 1 --topic testDemo 分别打开两个cmd窗口，进入目录D:\michal\kafka_2.12-2.1.1\bin

第一部分：系统基础配置 系统基础配置中主完成了安装大数据环境之前的基础配置，如防火墙配置和安装MySQL、JDK安装等 第一步：关闭防火墙 Hadoop与其他组件的服务需要通过端口进行通信，防火墙的存在会阻拦这些访问，在初学阶段建议将防火墙全部 关闭，命令如下。 systemctl stop firewalld.service vi /etc/selinux/config # Selinux策略 SELINUX=disabled #更改为disabled关闭状态 第二步：安装JDK JDK安装包已经定制在环境当中的“/usr/local”目录中，直接使用即可 cd /usr/local/ rpm -ivh jdk-8u144-linux-x64.rpm java -version 第三步：安装MySQL 由于Hive数据仓库需要使用MySQL作为元数据库，所以在基础环境配置过程中我们需要安装MySQL安装过程如下 （1）安装mysql，命令如下。 wget -i -c http://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpm yum -y install mysql57-community-release-el7-10.noarch.rpm #安装MySQL服务器 yum -y install

kafka版本：kafka_2.12-2.1.1 kafka_port默认9092，zk_port默认2181 查看topic bin/kafka-topics.sh --zookeeper zk_ip:zk_port --list 查看group bin/kafka-consumer-groups.sh --bootstrap-server kafka_ip:kafka_port --list 查看topic下group的消费情况 bin/kafka-consumer-groups.sh --bootstrap-server kafka_ip:kafka_port --group group_name --describe 手动设置offset 停止consumer后，设置group=3，topic=test的offset为1524510 bin/kafka-consumer-groups.sh --bootstrap-server kafka_ip:kafka_port --group 3 --topic test --execute --reset-offsets --to-offset 1524510 来源： https://www.cnblogs.com/gracewolf/p/11777037.html

作用： 系统之间解耦和 峰值压力缓冲 异步通信 特点：生产者消费者模式，先进先出（FIFO）保证顺序，自己不丢数据，默认每隔7天清理数据，高吞吐量，没有主从关系，依靠Zk协调 结构： topic：消息队列/分类 　　kafka里面的消息是有topic来组织的，简单的我们可以想象为一个队列，一个队列就是一个topic，然后它把每个topic又分为很多个partition（自己指定），这个是为了 做并行 的，在每个partition内部消息强有序，相当于有序的队列，其中每个消息都有个序号offset，比如0到12，从前面读往后面写。 一个partition对应一个broker，一个broker可以管多个partition ，比如说，topic有6个partition，有两个broker，那每个broker就管3个partition。这个partition可以很简单想象为 一个文件 ， 位置信息叫offset ,当数据发过来的时候它就往这个partition上面append，追加就行，消息不经过内存缓冲， 直接写入磁盘（零拷贝技术） ，kafka和很多消息系统不一样，很多消息系统是消费完了我就把它删掉，而kafka是根据时间策略删除，而不是消费完就删除，在kafka里面没有一个消费完这么个概念，只有过期这样一个概念。 　　producer自己决定往哪个partition里面去写

Spring Cloud Stream is a framework for building highly scalable event-driven microservices connected with shared messaging systems. The framework provides a flexible programming model built on already established and familiar Spring idioms and best practices, including support for persistent pub/sub semantics, consumer groups, and stateful partitions. 野生翻译：spring cloud stream是打算统一消息中间件后宫的男人，他身手灵活，身后有靠山spring，会使十八般武器（消息订阅模式啦，消费者组，stateful partitions什么的），目前后宫有东宫娘娘kafka和西宫娘娘rabbitMQ。 八卦党：今天我们扒一扒spring cloud stream和kafka的关系，rabbitMQ就让她在冷宫里面呆着吧。 1、先出场的正宫娘娘：kafka Apache Kafka® is a distributed

　　　　　　　　　　　　　　　　管理kafka 主题操作 1.在集群里创建一个主题需要用到3个参数。这些参数是必须提供的，尽管有些已经有broker级别的默认值。 主题名字，想要创建的主题的名字，主题名字可以包含字母，数字，下划线以及英文状态下破折号和句号。 复制系数，主题的副本数量 分区，主题的分区数量 指定主题配置 可以在创建时显式地指定复制系数或者对配置进行覆盖，通过向kafka-topic.sh 传递 --config参数来实现的。 主题创建的格式 kafka-topics.sh --zookeeper <zookeeper connect> --create --topic <string> --relipcation-fact <integer> -- partition <integer> 如果为集群指定了基于机架信息的副本分配策略，那么分区的副本会分布在不同的架构上。如果不需要基于架构信息的分配策略，可以指定参数 --disable-rack-aware 增加分区 kafak-topics.sh --zookeeper <zookeeper connect> --alter --topic <String> --partitions <integer> 只能增加分区，不能删除分区，如果删除分区，会导致数据不一致。 删除主题 如果一个主题不再使用，只要它还存在集群里面