kafka命令

1 Kafka Cluster的部署 　　由于Kafka 集群需要依赖ZooKeeper集群，所以这里我们需要事先搭建好ZK集群（可与kafka集群分离），我这里kafka和zk并没有安在同一机器上，而是直接使用的hadoop集群里的zk。 server列表 kafka集群 slave4,slave5,slave6 zookeeper集群 master1,master2,slave1 　　首先，我们将下载好的Kafka安装包kafka_2.9.1解压，命令如下所示： 解压Kafka到slave4 [hadoop@slave4~]$ tar -zxvf kafka_2.9.1-0.8.2.1.tgz 进入到Kafka解压目录 [hadoop@slave4~]$ cd kafka_2.9.1-0.8.2.1 配置环境变量 [hadoop@slave4~]$ vi /etc/profile export KAFKA_HOME=/home/hadoop/kafka_2.9.1-0.8.2.1 export PATH=$PATH:$KAFKA_HOME/bin 配置Kafka的zookeeper.properties # the directory where the snapshot is stored. dataDir=/home/hadoop/data/zk # the port at

一、kafka环境配置 1.jdk安装 安装文件：http://www.oracle.com/technetwork/java/javase/downloads/index.html 下载JDK 安装完成后需要添加以下的环境变量（右键点击“我的电脑” -> "高级系统设置" -> "环境变量" ）： JAVA_HOME: C:\Program Files\Java\jdk-13.0.1(jdk的安装路径) Path: 现有值后追加 "%JAVA_HOME%\bin" 2.zookeeper安装 Kafka的运行依赖于Zookeeper，所以在运行Kafka之前我们需要安装并运行Zookeeper 下载安装文件： http://zookeeper.apache.org/releases.html 解压文件 apache-zookeeper-3.5.6-bin.tar 打开zookeeper-3.5.6\conf，把zoo_sample.cfg重命名成zoo.cfg 从文本编辑器里打开zoo.cfg， 把dataDir的值改成“./apache-zookeeper-3.5.6/data” 添加如下系统变量： ZOOKEEPER_HOME: C:\Users\Yc\work\apache-zookeeper-3.5.6 (zookeeper目录) Path: 在现有的值后面添加 ";

单机版： 下 载 Kafka 安装文件 kafka_2.10-0.10.0.1.tgz 　　Kafka 版本： kafka_2.10-0.10.0.1 　　地址： Kafka 官网（ https://www.apache.org/dyn/closer.cgi?path=/kafka/0.10.0.1/kafka_2.10-0.10.0.1.tgz ） 解压 kafka_2.10-0.10.0.1.tgz tar –zxvf kafka_2.10-0.10.0.1.tgz 启动Kafka自带的 zookeeper bin/zookeeper-server-start.sh config/zookeeper.properties & 　　使用命令查看 zookeeper 是否启动成功： jps | grep Quorum 　　可以查看到类似以下输出（进程 id 和 zookeeper 的服务名称 QuorumPeerMain ） 46309 QuorumPeerMain 启动 Kafka Broker bin/kafka-server-start.sh -daemon config/server.properties 　　 使用命令查看 kafka Broker 是否启动更成功： jps | grep Kafka 可以查看到类似以下输出（进程 id 和 Kafka 的服务名称

依赖于 zookeeper, 先搭建好 zookeeper 集群部署 1） 解压安装包 tar -zxvf kafka_2.11-0.11.0.0.tgz 2） 修改解压后的 文件 名称 mv kafka_2.11-0.11.0.0/ /usr/local/kafka 3）在/usr/local/kafka目录下 创建 logs 文件夹 mkdir logs 4） 修改配置文件 cd config/ vi server.properties #broker的 全局唯一编号，不能重复 broker.id=1 #删除topic 功能使能 delete.topic.enable=true # 处理网络请求 的 线程数量 num.network.threads=3 #用来 处理磁盘 IO 的现成数量 num.io.threads=8 # 发送套接字的缓冲区大小 socket.send.buffer.bytes=102400 # 接收套接字的缓冲区大小 socket.receive.buffer.bytes=102400 # 请求套接字的缓冲区大小 socket.request.max.bytes=104857600 #kafka 运行日志存放的路径 log.dirs=/usr/local/kafka/logs #topic 在当前 broker 上的分区个数 num.partitions

# 启动nginx /usr/local/nginx/sbin/nginx -c /usr/local/nginx/conf/nginx.conf # 启动php /usr/local/php/sbin/php-fpm # 启动zookeeper /home/kafka/bin/zookeeper-server-start.sh -daemon /home/kafka/config/zookeeper.properties # 启动broker nohup /home/kafka/bin/kafka-server-start.sh /home/kafka/config/server.properties 1>/dev/null 2>&1 & # 停止zookeeper /home/kafka/bin/zookeeper-server-stop.sh # 停止broker /home/kafka/bin/kafka-server-stop.sh # 创建topic /home/kafka/bin/kafka-topics.sh --create --bootstrap-server 192.168.10.41:9092,192.168.10.42:9092 --replication-factor 1 --partitions 6 --topic test # 查看所有topic

一、安装多节点ZooKeeper集群 下面就是在本机一台机器上安装3个节点的ZooKeeper集群，在多台机器上安装的方法和一台机器上是一样的，就是配置文件有微小的调整。 1.下载ZooKeeper包 https://www-us.apache.org/dist/zookeeper/stable/ 下载带bin的tar.gz文件，目前是apache-zookeeper-3.5.6-bin.tar.gz 解压 tar -zxvf apache-zookeeper-3.5.6-bin.tar.gz 把解压文件移动到/usr/local sudo mv apache-zookeeper-3.5.6-bin /usr/local/ 2.创建配置文件 在ZooKeeper的conf目录下创建3个配置文件zoo1.cfg,zoo2.cfg,zoo3.cfg,如果是在多台服务器上安装ZooKeeper集群可以取相同的配置文件名字。 zoo1.cfg tickTime=2000 dataDir=/home/xl/zookeeper/data_logs/zookeeper1 clientPort=2181 initLimit=5 syncLimint=2 server.1=localhost:2888:3888 server.2=localhost:2889:3889 serve.3

Kafka 基本概述 什么是 Kafka Kafka 是一个分布式流式平台，它有三个关键能力 订阅发布记录流，它类似于企业中的 消息队列 或 企业消息传递系统 以容错的方式存储记录流 实时记录流 Kafka 的应用 作为消息系统 作为存储系统 作为流处理器 Kafka 可以建立流数据管道，可靠性的在系统或应用之间获取数据。 建立流式应用传输和响应数据。 Kafka 作为消息系统 Kafka 作为消息系统，它有三个基本组件 Producer : 发布消息的客户端 Broker：一个从生产者接受并存储消息的客户端 Consumer : 消费者从 Broker 中读取消息 在大型系统中，会需要和很多子系统做交互，也需要消息传递，在诸如此类系统中，你会找到源系统（消息发送方）和 目的系统（消息接收方）。为了在这样的消息系统中传输数据，你需要有合适的数据管道 这种数据的交互看起来就很混乱，如果我们使用消息传递系统，那么系统就会变得更加简单和整洁 Kafka 运行在一个或多个数据中心的服务器上作为集群运行 Kafka 集群存储消息记录的目录被称为 topics 每一条消息记录包含三个要素： 键（key）、值（value）、时间戳（Timestamp） 核心 API Kafka 有四个核心API，它们分别是 Producer API，它允许应用程序向一个或多个 topics 上发送消息记录

主机的IP地址： 主机IP地址 zookeeper kafka 10.19.85.149 myid=1 broker.id=1 10.19.15.103 myid=2 broker.id=2 10.19.189.221 myid=3 broker.id=3 配置文件： # cat zoo.cfg tickTime=2000 initLimit=10 syncLimit=5 dataDir=/data/zookeeper/data dataLogDir=/data/zookeeper/log clientPort=2181 server.1=10.19.85.149:2888:3888 server.2=10.19.15.103:2888:3888 server.3=10.19.189.221:2888:3888 #maxClientCnxns=60 #autopurge.snapRetainCount=3 #autopurge.purgeInterval=1 注释：2888表示zookeeper程序监听端口，3888表示zookeeper选举通信端口。 按照上述指定： echo 1 > /data/zookeeper/data/myid echo 2 > /data/zookeeper/data/myid echo 3 > /data/zookeeper/data/myid

消息队列学习03：Zookeeper、Kafka在Linux平台的安装和配置 安装Zookeeper 下载安装包 　　在 Apache Zookeeper镜像站点 下载安装包；我下载的是3.4.14版本 安装Zookeeper 　　1-通过XFTP将zookeeper-3.4.14.tar安装包上传到Linux服务器usr/local目录下 　　2-到usr/local目录下，确认是否成功 [root@izbp1aum9uyt0x56d3vepwz ~]# cd /usr/local/ [root@izbp1aum9uyt0x56d3vepwz local]# ls -al total 36860 drwxr-xr-x. 15 root root 4096 Oct 16 19:13 . drwxr-xr-x. 13 root root 4096 Mar 13 2019 .. drwxr-xr-x 7 root root 4096 Aug 31 03:59 aegis drwxr-xr-x. 2 root root 4096 Apr 12 2019 bin drwxr-xr-x 4 root root 4096 Aug 7 09:15 cloudmonitor drwxr-xr-x. 2 root root 4096 Apr 11 2018 etc drwxr-xr-x. 2

创建主题 kafka-topics.sh --zookeeper localhost:2181 --create --topic my-topic --replication-factor 3 --partitions 3 查看主题列表 kafka-topics.sh --zookeeper localhost:2181 --list 查看主题状态 kafka-topics.sh --describe --zookeeper 127.0.0.1:2181 --topic TestTopic 修改主题分区 kafka-topics.sh --alter --zookeeper 127.0.0.1:2181 --topic g5 --partitions 3 重新分配Partition和复制因子 kafka-reassign-partitions --generate: 根据给予的Topic列表和Broker列表生成迁移计划。generate并不会真正进行消息迁移，而是将消息迁移计划计算出来，供execute命令使用。 --execute: 根据给予的消息迁移计划进行迁移。 --verify: 检查消息是否已经迁移完成。 例子： kafka-reassign-partitions.sh --zookeeper 10.80.0.34:2181,10.80.0.36:2181,10.80