kafka命令

一、kafka环境配置 1.jdk安装 安装文件：http://www.oracle.com/technetwork/java/javase/downloads/index.html 下载JDK 安装完成后需要添加以下的环境变量（右键点击“我的电脑” -> "高级系统设置" -> "环境变量" ）： JAVA_HOME: C:\Program Files\Java\jdk-13.0.1(jdk的安装路径) Path: 现有值后追加 "%JAVA_HOME%\bin" 2.zookeeper安装 Kafka的运行依赖于Zookeeper，所以在运行Kafka之前我们需要安装并运行Zookeeper 下载安装文件： http://zookeeper.apache.org/releases.html 解压文件 apache-zookeeper-3.5.6-bin.tar 打开zookeeper-3.5.6\conf，把zoo_sample.cfg重命名成zoo.cfg 从文本编辑器里打开zoo.cfg， 把dataDir的值改成“./apache-zookeeper-3.5.6/data” 添加如下系统变量： ZOOKEEPER_HOME: C:\Users\Yc\work\apache-zookeeper-3.5.6 (zookeeperĿ¼) Path: 在现有的值后面添加 ";

今天新安装的centos7,使用 ifconfig 命令却提示没有,直接安装也没有~ 直接安装直接告诉我这个包不是一个有效的 [ root@kafka ~]# yum install - y ifconfig Loaded plugins : fastestmirror Loading mirror speeds from cached hostfile * base : mirrors . aliyun . com * extras : mirrors . aliyun . com * updates : mirrors . aliyun . com No package ifconfig available . Error : Nothing to do [ root@kafka ~]# yum install - y net - tools . x86_64 来源：博客园 作者： 。思索 链接：https://www.cnblogs.com/wangyang0210/p/11459058.html

1.创建topic ./kafka-topics.sh --create --topic test1 --replication-factor 2 --partitions 3 --zookeeper hbp001:2181 2.增加partition ./kafka-topics.sh --zookeeper node01:2181 --alter --topic t_cdr --partitions 10 3.查看所有topic列表 4.查看指定topic信息 ./kafka-topics.sh --zookeeper hbp201:2181 --describe --topic t_cdr 5.控制台向topic生产数据 ./kafka-console-producer.sh --broker-list node86:9092 --topic t_cdr 6.控制台消费topic的数据 ./kafka-console-consumer.sh -zookeeper hdh247:2181 --from-beginning --topic fieldcompact 7.查看topic某分区偏移量最大（小）值 ./kafka-run-class.sh kafka.tools.GetOffsetShell --topic hive-mdatabase-hostsltable -

1、 kafka介绍 Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。 2、 kafka的特性 Kafka 是一种高吞吐量的分布式发布订阅消息系统，有如下特性： 通过磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。 持久性：使用文件性存储，日志文件存储消息，需要写入硬盘，采用达到一定阈值才写入硬盘，从而较少磁盘I/O，如果突然宕机数据会丢失 高吞吐量 ：即使是非常普通的硬件Kafka也可以支持每秒数百万的消息。 支持通过Kafka服务器和消费机集群来分区消息。 支持Hadoop并行数据加载。 3、 kafka的体系架构 如上图所示，一个典型的Kafka体系架构包括若干Producer（可以是服务器日志，业务数据，页面前端产生的page view等等）

1.Apache Kafka官网介绍 http://kafka.apache.org 发布 & 订阅: 类似于一个消息系统，读写流式的数据. 处理: 编写可扩展的流处理应用程序，用于实时事件响应的场景。 存储: 安全的将流式的数据存储在一个分布式，有副本备份，容错的集群。 Kafka@用于构建实时的数据管道和流式的app.它可以水平扩展，高可用，速度快，并且已经运用在数千家公司的生产环境。 2.CDH Kafka官网介绍 https://docs.cloudera.com/documentation/kafka/latest/topics/kafka.html 3.生产如何选择版本 生产上绝大部分是CDH来构建企业级大数据平台，那么Kafka属于需要自定义部署《CDK部署课程》。 故企业里现在使用CDH5.15.1版本，那么默认zookeeper的版本即为zookeeper-3.4.5-cdh5.15.1， 这是固定的，无法改变。 那么Kafka版本如何选择呢？一般我们选择，当前的CDH官网的Kafka安装包最新版本即可。 当然我司经典版本是选择[0.10.2.0+kafka2.2.0+110]，主要是历史时间原因+Spark Streaming对接Kafka的起始版本0.10。 CDH Kafka: wget http://archive.cloudera.com/kafka

1. 请先下载安装文件,java环境需提前安装，解压到指定目录： tar -zxvf kafka_2.11-2.3.1.tgz -C /root/soft/ 从官网下载文件，上传到centos虚拟机指定路径下，当前download文件夹下面 解压到指定目录soft文件夹下面： 2. 创建zk日志目录。 mkdir zklogs 3. 查看是否启动成功， ps -ef | grep zookeeper 4. 启动zookeeper nohup bin/zookeeper-server-start.sh ./config/zookeeper.properties & 5. 修改kafka配置 vim config/server.properties 执行命令 vi config/server.properties 修改kafka的配置信息 修改advertised.host.name和advertised.port信息 修改日志文件路径： 修改log.dirs=/root/soft/kafka-logs为log.dirs=/root/soft/kafka/logs 该参数为kafka日志文件存放路径 advertised.host.name=192.168.132.152 advertised.port=9092 log.dirs=/root/soft/kafka/logs 6.

group=orchestrate-factory && export KAFKA_HEAP_OPTS="" && /kafka/bin/kafka-consumer-groups.sh --command-config config/consumer.properties --describe --bootstrap-server kafka-1-master.basis.svc.cluster.local:9092 --group $group | awk '{print $5}'|awk '{sum+=$1} END {print sum}' 　　 来源： https://www.cnblogs.com/hanwei666/p/11743390.html

虚拟机搭建 https://blog.csdn.net/qq_37598011/article/details/88960035 安装Java环境 https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html \ 下载完成后，上传压缩包： rz 解压： tar zxvf jdk-8u201-linux-x64.tar.gz 记下jdk目录，输入: pwd 使用Vi编辑器，设置环境变量: sudo vi /etc/profile export JAVA_HOME=/myText/jdk1.8.0_201 export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export PATH=$PATH:$JAVA_HOME/bin 环境生效： source /etc/profile 安装zookeeper http://apache.fayea.com/zookeeper/ wget http://apache.fayea.com/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gz 下载后上传至linux： rz 解压： tar -zxvf zookeepre

Broker Configs Property Default Description broker.id 每个broker都可以用一个唯一的非负整数id进行标识；这个id可以作为broker的“名字”，并且它的存在使得broker无须混淆consumers就可以迁移到不同的host/port上。你可以选择任意你喜欢的数字作为id，只要id是唯一的即可。 log.dirs /tmp/kafka-logs kafka存放数据的路径。这个路径并不是唯一的，可以是多个，路径之间只需要使用逗号分隔即可；每当创建新partition时，都会选择在包含最少partitions的路径下进行。 port 6667 server接受客户端连接的端口 zookeeper.connect null ZooKeeper连接字符串的格式为：hostname:port，此处hostname和port分别是ZooKeeper集群中某个节点的host和port；为了当某个host宕掉之后你能通过其他ZooKeeper节点进行连接，你可以按照一下方式制定多个hosts： hostname1:port1, hostname2:port2, hostname3:port3. ZooKeeper 允许你增加一个“chroot”路径，将集群中所有kafka数据存放在特定的路径下

一、JDK安装 二、ZK安装 三、kafka安装 kafka是基于jdk和zk上运行的，安装kafka前必须安装jdk和zk。 Kafka下载路径 http://kafka.apache.org/downloads 解压文件（我的目录是E:\software\kafka_2.12-2.3.0 【这里不要在Program Files等文件名之间有空格的目录下，不然一会执行会不识别路径】） 打开目录E:\software\kafka_2.12-2.3.0\config下server.properties文件，把log.dirs修改为【log.dirs=E:\software\kafka_2.12-2.3.0\kafka-logs】，也可以直接在 进入kafka文件目录D:\kafka_2.12-0.11.0.0，执行以下命令，启动kafka通讯的服务器broker .\bin\windows\kafka-server-start.bat .\config\server.properties 进入kafka文件目录\bin\windows，创建kafka的消息topics kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic testDemo