kafka命令

kafka知识总结 //切换到安装路径命令 cd /home/kafka/kafka_2.11-0.10.2.1/bin //启动kafka服务，三台主机分别输入此指令： ./kafka-server-start.sh $KAFKA_HOME/config/server.properties & //以后台的方式启动 nohup ./kafka-server-start.sh $KAFKA_HOME/config/server.properties & //查看topic名 ./kafka-topics.sh --list --zookeeper 10.101.22.41:2181 ./kafka-topics.sh --list --zookeeper 10.101.22.41:2181,10.101.22.42:2181,10.101.22.43:2181 //查询topic内容 ./kafka-console-consumer.sh --bootstrap-server 10.101.22.41:9092,10.101.22.42:9093,10.101.22.43:9094 --topic oth_cpd_active_realtime_data --from-beginning //查看某个Topic的详情 ./kafka-topics.sh --topic oth

docker 搭建zookeeper集群 安装docker-compose容器编排工具 Compose介绍 Docker Compose 是 Docker 官方编排（Orchestration）项目之一，负责快速在集群中部署分布式应用。 Compose 项目是 Docker 官方的开源项目，负责实现对 Docker 容器集群的快速编排。Compose 定位是 「定义和运行多个 Docker 容器的应用（Defining and running multicontainer Docker applications）」，其前身是开源项目 Fig。 使用一个 Dockerfile 模板文件，可以让用户很方便的定义一个单独的应用容器。然而，在日常工作中，经常会碰到需要多个容器相互配合来完成某项任务的情况。例如要实现一个 Web 项目，除了 Web 服务容器本身，往往还需要再加上后端的数据库服务容器，甚至还包括负载均衡容器等。 Compose 恰好满足了这样的需求。它允许用户通过一个单独的 docker-compose.yml 模板文件（YAML 格式）来定义一组相关联的应用容器为一个项目（project）。 Compose 中有两个重要的概念： 服务 ( service )：一个应用的容器，实际上可以包括若干运行相同镜像的容器实例 项目 ( project )

下载Kafka 1.下载Kafka: http://mirror.bit.edu.cn/apache/kafka/2.3.0/kafka_2.12-2.3.0.tgz 2.解压后复制Kafka文件夹,分别命名为kafka1、kafka2、kafka3 修改配置文件 修改config文件夹下的server.properties ，其中的brokerId是惟一的,集群中kafka服务器配置的brokerId不能相同，相当于zookeeper的myid zookeeper.connect=127.0.0.1:2181,127.0.0.1:2182,127.0.0.1:2183/kafka 说明: 这个是zookeeper集群的服务器端口号, /kafka是在zookeeper挂载的文件夹,要自己创建zookeeper客户端命令 create /kafka Kafka操作 创建主题 kafka-topics.bat –create –zookeeper 127.0.0.1:2181,127.0.0.1:2182,127.0.0.1:2183/kafka –replication-factor 1 –partitions 1 –topic test 指令说明: –create 指定创建topic动作 –zookeeper 指定kafka连接zk的连接url，该值和server

消息中间件是基于什么需求设计的？ 既然是消息中间件，那么一定会有发送消息和接收消息 应用程序往消息中间件发送消息，那么一定会通过网络请求，为了保证中间件的性能，网络请求应该需要用到NIO 牛逼一点的中间件，应该会支持跨语言，不应该只为Java而设计 消息是通过什么形式发送的呢，目前比较流行的应该还是序列化和反序列化吧 生产者发送完消息后如何知道自己是否发送成功了，消费者消费完消息后，中间件如何知道该消息是否真的被消费了，这应该会设计一个确认机制吧 消息存储在哪里，如何储存的，是存内存还是磁盘 术语 kafak主题（topic） 每条消息的发送其实都应该设计一个类别，比如新闻包含军事、娱乐等。而topic其实就是一个类别，也可以理解为topic就是一个数据库的某张表。生产者需要发送消息到topic=test上，就好比需要将一批数据保存到test表里面。 kafka分区（Partition） 一个topic会包含多个分区，如果topic是一张表，那么partition就是表分区。Oracle有表分区的概念，如果数据量非常大的时候，表分区可以提高查询性能。kafka的分区也是为了提高性能。分区其实就是物理上的概念，它在物理上被拆分成多个文件。 kafka消费者组 消费者在消费消息时，它会存在一个组里面（如果指定消费者组，那么就存在于指定组，不指定，就在默认组里面）

1、安装java 注意：kafka 截止发稿日兼容最高版本为1.8 千万不要安装 更高版本 ，我就是安装了12的发现不支持卸载了重装的😂 这里提供一下下载地址吧，官网现在1.8的无法下载， https://download.csdn.net/download/chinayyj2010/11633015 安装过程忽略， 2、验证Java安装 希望你已经在你的机器上安装了java，所以你只需使用下面的命令验证它。 java -version java version "1.8.0_221" Java(TM) SE Runtime Environment (build 1.8.0_221-b11) Java HotSpot(TM) 64-Bit Server VM (build 25.221-b11, mixed mode) 3、使用brew 安装kafka 打开终端输入命令： /*--> */ /*--> */ brew install kafka 如上图，过程中会一直停了留在在 Updating Homebrew ... 此时可以执行ctrl + c 终止更新，继续安装。如图结果。 至此已经完成了安装， 安装位置以及配置文件路径都在图片上显示了，并且怎么启动也都告诉了我们 安装位置 /usr/local/Cellar/zookeeper /usr/local/Cellar/kafka

文章目录 一、kafka介绍 1. kafka基本认识 1.1 kafka 4个核心API 2. 各版本变化说明 2.1 不同 Kafka 版本之间服务器和客户端的适配性 二、kafka入门 1. kafka基本术语概念 2. kafka消息设计 2.1 消息压缩 三、kafka connect 1. Kafka Connect的应用 2. Kafka Connect 组件的启动脚本 四、 Kafka Streams 1. 什么是流式计算 2. 关键概念 五、kafka环境搭建 六、kafka基本使用 1. kafka常用命令 2. 命令使用问题总结 1）报错：Error while fetching metadata with correlation id 2）消费消息报错zookeeper is not a recognized option 六、关于Kafka Consumer 1. push 还是 pull 2. Kafka重复消费原因 2.1 kafka重复消费解决方案 2.2 具体案例 七、关于Kafka 拦截器 1. 生产者拦截器 2. 消费者拦截器 八、常见问题整理 1. 消息丢失问题 2. kafka如何建立tcp连接 2.1 生产者代码是什么时候创建 TCP 连接的？ 2.2 生产者何时关闭 TCP 连接？ 2.3 消费者代码是什么时候创建 TCP 连接的？ 2

参考地址： https://www.jianshu.com/p/d0e630c8f4ae 一、下载 kafka 二进制安装包 下载地址： http://kafka.apache.org/downloads 二、上传 kafka 压缩包到虚拟机中并解压到指定文件夹 tar -xzf kafka_2.11-2.3.0.tgz 三、启动 kafka 服务 kafka需要使用Zookeeper，首先需要启动Zookeeper服务，如果没有的话，可以使用kafka自带的脚本启动一个简单的单一节点Zookeeper实例： bin/zookeeper-server-start.sh config/zookeeper.properties & 如果已经启动了 zookeeper，则直接运行下面的命令： bin/kafka-server-start.sh config/server.properties & 停止 kafka 服务则运行下面命令： bin/kafka-server-stop.sh config/server.properties 四、kafka 简单使用 4.1、创建一个主题 首先创建一个名为test的topic，只使用单个分区和一个复本 bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication

Kafka是一种分布式的，基于发布/订阅的消息系统。 Kafka的组成包括： Kafka将消息以topic为单位进行归纳。 将向Kafka topic发布消息的程序成为producers. 将预订topics并消费消息的程序成为consumer. Kafka以集群的方式运行，可以由一个或多个服务组成，每个服务叫做一个broker. Kafka的下载： https://kafka.apache.org/downloads 下载最新版本 解压后修改配置（config/server.properties:broker.id、log.dirs） vim config/server.properties broker.id = 1 log.dirs = "日志目录地址" 启动服务： Kafka用到了Zookeeper，所有首先启动Zookper，下面简单的启用一个单实例的Zookkeeper服务。可以在命令的结尾加个&符号，这样就可以启动后离开控制台。 bin/zookeeper-server-start.sh config/zookeeper.properties & 现在启动Kafka bin/kafka-server-start.sh config/server.properties 创建topic bin/kafka-topics.sh --create --zookeeper

下载地址： http://kafka.apache.org/downloads http://mirror.bit.edu.cn/apache/kafka/2.3.0/kafka_2.12-2.3.0.tgz zookeeper.properties修改dataDir dataDir=G:\zookeeper-3.5.5\data # the port at which the clients will connect clientPort=2181 # disable the per-ip limit on the number of connections since this is a non-production config maxClientCnxns=0 server.properties修改log.dirs ############################# Log Basics ############################# # A comma separated list of directories under which to store log files log.dirs=G:\kafka\logs 运行zookeeper命令 zkserver 进入cd G:\kafka\bin\windows 启动服务： kafka-server

一、版本 CentOS 7.5 zookeeper-3.4.12 kafka _2.12-1.1.0 二、zookeeper安装 1、下载解压zookeeper压缩包 tar -zvxf zookeeper-3.4.12.tar.gz 2、创建数据与日志文件夹 mkdir /usr/local/zookeeper-3.4.12/data mkdir /usr/local/zookeeper-3.4.12/logs 3、复制配置文件 进入conf目录，复制zoo_sample.cfg cp zoo_sample.cfg zoo.cfg 4、进入data目录，执行命令 echo 1 > myid 创建myid文件并输入值为1，依次在另外两台机器上执行同样的操作，myid的数值依次为2，3配置成功； 5、修改配置文件 # The number of milliseconds of each tick tickTime=2000 # The number of ticks that the initial # synchronization phase can take initLimit=10 # The number of ticks that can pass between # sending a request and getting an acknowledgement