kafka命令

1.下载kafka_2.11-1.0.0.tgz http://kafka.apache.org/downloads 解压 tar -zxvf kafka_2.11-2.3.0.tgz cd kafka_2.11-2.3.0 2.启动服务器 需要先启动ZooKeeper,kafka内置提供了一个ZooKeeper服务器以及一组相关的管理脚本，使用内置的ZooKeeper即可： bin/zookeeper-server-start.sh config/zookeeper.properties 出现INFO binding to port 0.0.0.0/0.0.0.0:2181 (org.apache.zookeeper.server.NIOServerCnxnFactory)表示ZooKeeper已经成功地在端口2181上启动了。 启动Kafka服务器： 需要在/config/server.properties上添加： advertised.host.name=10.10.15.14 再执行kafka启动命令： bin/kafka-server-start.sh config/server.properties 控制台输出INFO [KafkaServer id=0] started (kafka.server.KafkaServer)表示Kafka服务器启动成功

注意： 1、kafka依赖于zokeeper，故学习kafka还需安装zookeeper。 2、kafka涉及到java运行环境，所以要安装配置JDK。 提示： 1、我的kafka的目录为：D:\kafka_2.11-1.0.0 2、我的zookeeper的目录：D:\zookeeper-3.4.12 3、我的jdk目录：D:\Java 如果安装目录不一样请稍作修改。 开始配置，分为三步： 1、安装配置java环境 2、安装配置zookeeper 3、安装配置kafka 一、安装配置Java环境 1、JDK安装包下载地址： http://www.oracle.com/technetwork/java/javase/downloads/jdk9-downloads-3848520.html 2、配置环境： 3、打开Dos界面，运行java： 4、运行javac 5、配置完成。 二、安装配置Zookeeper 1) 建议下载稳定版。 下载地址： http://mirrors.hust.edu.cn/apache/zookeeper/ 2) 下载后解压到一个目录：eg: D:\zookeeper-3.4.12 3) 在zookeeper-3.4.10目录下，新建文件夹，并命名(eg: data).(路径为：D:\zookeeper-3.4.12\data) 4)

之前说过python confluent kafka客户端做kerberos认证的过程，如果使用kafka python客户端的话同样也可以进行kerberos的认证，具体的认证机制这里不再描述，主要叙述配置认证的过程 需要的模块有下面这些： kafka-python：https://pypi.org/project/kafka-python/ gssapi：https://pypi.org/project/gssapi/ decorator：https://pypi.org/project/decorator/ six：https://pypi.org/project/six/ kerberos环境 kafka python开启GSSAPI需要模块gssapi的支持，而gssapi模块需要依赖于decorator模块和six模块，但是安装时不会校验和提示，如果不安装的话kafka python运行是会提示找不到gssapi lib，真正的原因还是因为decorator或者six没有安装，这里要注意. 首先安装decorator和six这两个模块. 然后安装gssapi模块，安装的时候要确保decorator和six模块正常安装并且kerberos需要的开发包正常安装，否则gssapi会编译失败，安装kerberos库可以使用yum命令如下： yum install krb5

消息队列学习02：kafka Windows环境搭建并集成Springboot 一、Zookeeper环境配置 （1）下载zookeeper安装包 http://apache.fayea.com/zookeeper/current/ ； （2）加压压缩文件到指定位置，本文加压到E:\Kafka\zookeeper-3.4.12，并新建一个文件夹data； （3）进入到conf目录，复制zoo_sample.cfg为zoo.cfg，修改其中dataDir为新建文件夹data对的路径； （4）进入bin目录，双击zkServer.cmd即可启动zookeeper。 二、Kafka环境配置 （1）下载Kafka二进制包， http://kafka.apache.org/downloads.html ； （2）解压安装包到指定目录下，这里我们解压到E:\Kafka\kafka_2.11-2.1.0，并新建一个命名为logs的空文件夹； （3）进入config目录，编辑server.properties 文件，修改 log.dirs 属性部分地址为新建logs文件夹的路径； （4）在E:\Kafka\kafka_2.11-2.1.0\目录下打开命令窗口，输入如下命令设置CLASSPATH； SET CLASSPATH=.; （5）然后输入下面的命令启动kafka-server； .\bin

Kafka 1. kafka概念 kafka是一个高吞吐亮的、分布式、基于发布/订阅（也就是一对多）的消息系统，最初由Linkedln公司开发的，使用Scala语言编写的，目前是Apache的开源项目。 消息队列： 1> 原理 客户端消费Queue的数据优良种方式： 发布/订阅模式：也就是一对多，数据产生后，推给所有的订阅者。 点点对点模式：也就是一对一，这个是主动模式，第一种模式更像是被动模式，这个就是消费者主动拉取生产后的数据。 2> 消息队列的优点： 解耦2.冗余3.扩展性4.灵活性和峰值处理能力5.可恢复性6.顺序保证(kafka保证一个partition内的数据是有序的)7.缓冲8.异步通信 kafka的基本术语 topic：消息类别，kafka按照topic来分类消息。可以理解成一个队列，一个topic里有多个partition。 broker：kafka服务器，负责消息的存储与转发。一台kafka服务器就是一个broker，一个集群有多个broker，一个broker可以有多个topic。 partition：topic的一个分区，一个topic可以包含多个partition，topic消息保存在各个partition上。 offset：消息在日志中的位置，可以理解是消息在partition上的偏移量，也是代表消息的唯一序号。 producer：消息生产者

错误日志： 2019-10-11 17:50:48.744 WARN []-[o.a.k.clients.consumer.ConsumerConfig :173] The configuration num.replica.fetchers = 1 was supplied but isn't a known config. 2019-10-11 17:50:48.747 INFO []-[o.a.kafka.common.utils.AppInfoParser :82] Kafka version : 0.9.0.1 2019-10-11 17:50:48.747 INFO []-[o.a.kafka.common.utils.AppInfoParser :83] Kafka commitId : 23c69d62a0cabf06 2019-10-11 17:50:48.747 WARN []-[o.a.kafka.common.utils.AppInfoParser :59] Error registering AppInfo mbean javax.management.InstanceAlreadyExistsException: kafka.consumer:type=app-info,id=consumer-1 at com.sun.jmx.mbeanserver

回顾： KAFKA集群搭建: 参考百度文章，搭建KAFKA本地集群。 这里要注意一个坑： kafka的config/server.properties文件中的broker.id要和kafka-logs/meta.properties里面的broker.id一致，而kafka-logs/meta.properties是在第一次运行kafka之后生成的。如果不一致，我们可以修改为一致，再启动kafka，如果我们部署kafka集群，是复制粘贴多个kafka文件夹出来的，那就记得一定要改。 启动 .\bin\windows\kafka-server-start.bat .\config\server.properties 创建主题 cmd进入 bin/windows文件夹:运行命令 kafka-topics.bat --create --zookeeper 127.0.0.1:2180,127.0.0.1:2181,127.0.0.1:2182 --replication-factor 2 --partitions 2 --topic mytopic 指令说明: –create 指定创建topic动作 --zookeeper 指定kafka连接zk的连接url，该值和server.properties文件中的配置项{zookeeper.connect}一样 –replication

kafka消费模式 1.点对点模式：消费者主动拉取消息，消费之后删除数据。 2.发布/订阅模式：如果生产者推给消费者，可能会有些消费者消费比较慢，直接爆炸、或者有些消费者消费很快，资源浪费；一般是消费者主动拉取（但是这样要不停的去询问kafka是否有新消息）。 Kafka基本架构 1.生产者：生产消息给kafka集群。 2.kafka集群：消息队列，暂存消息。 ​ 　　borker可以任务是不同的服务器； ​ 　　Topic是指主题，每个主题存不同类型的消息； ​ 　　partition是指分区，分区的作用在于，负载均衡，提高并发率(竖看是分区)； ​ 　　leader是相对于分区而言的，并不是相对于broker，而follower是在其中的leader宕机时会被提升为leader，作为副本（leader与follower一定不在一台服务器）； 3.消费者：拉取kafka中的消息，消费，存储数据等。 ​ 　　消费者组：一个分区同时只能被一个消费者组的一个消费者消费 4.zookper：帮助kafka集群存储一些信息，纪录消费者消费到了哪里（0.9版本之前存在zk中，0.9版本之后存又存在了kafka的一个系统的Topic中,之所以改回去，是因为消费者既要维护与kafka的链接，又要维护与ZK的链接比较浪费资源，另外ZK本身只是各个框架整合的润滑剂，让它高并发并不好）。

尚硅谷大数据技术之Kafka (作者：尚硅谷大数据研发部) 版本：V2.0 第1章 Kafka概述 1.1 消息队列 （1）点对点模式（一对一，消费者主动拉取数据，消息收到后消息清除） 点对点模型通常是一个基于拉取或者轮询的消息传送模型，这种模型从队列中请求信息，而不是将消息推送到客户端。这个模型的特点是发送到队列的消息被一个且只有一个接收者接收处理，即使有多个消息监听者也是如此。 （2）发布/订阅模式（一对多，数据生产后，推送给所有订阅者） 发布订阅模型则是一个基于推送的消息传送模型。发布订阅模型可以有多种不同的订阅者，临时订阅者只在主动监听主题时才接收消息，而持久订阅者则监听主题的所有消息，即使当前订阅者不可用，处于离线状态。 1.2 为什么需要消息队列 1）解耦： 　　允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。 2）冗余： 消息队列把数据进行持久化直到它们已经被完全处理，通过这一方式规避了数据丢失风险。许多消息队列所采用的"插入-获取-删除"范式中，在把一个消息从队列中删除之前，需要你的处理系统明确的指出该消息已经被处理完毕，从而确保你的数据被安全的保存直到你使用完毕。 3）扩展性： 因为消息队列解耦了你的处理过程，所以增大消息入队和处理的频率是很容易的，只要另外增加处理过程即可。 4）灵活性 & 峰值处理能力： 在访问量剧增的情况下

基本概念 1.Producer：消息生产者，就是向 kafka broker 发消息的客户端 2.Consumer：消息消费者，向 kafka broker 取消息的客户端 3.Consumer Group（CG ）：消费者组，由多个 consumer 组成。 消费者组内每个消费者负责消费不同分区的数据， 一个分区只能由一个 组内 消费者消费； 消费者组之间互不影响。 所有的消费者都属于某个消费者组，即 消费者组是逻辑上的一个订阅者。 4.Broker：一台 kafka 服务器就是一个 broker。一个集群由多个 broker 组成。一个 broker可以容纳多个 topic。 5.Topic：可以理解为一个队列， 生产者和消费者面向的都是一个 topic 6.Partition：为了实现扩展性， 一个非常大的 topic 可以分布到多个 broker （即服务器） 上，一个 topic 可以分为多个 partition，每个 partition 是一个有序的队列； 7.Replica： 副本， 为保证集群中的某个节点发生故障时， 该节点上的 partition 数据不丢失，且 kafka 仍然能够继续工作， kafka 提供了副本机制， 一个 topic 的每个分区都有若干个副本，一个 leader 和若干个 follower。 8.leader：每个分区多个副本的“主”