kafka命令

zookeeper+KAFKA 集群搭建 ZooKeeper是一个分布式的1600174884，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、集群管理等。因为Kafka集群是把状态信息保存在Zookeeper中的，并且Kafka的动态扩容是通过Zookeeper来实现的，所以需要优先搭建Zookeerper集群，建立分布式状态管理。开始准备环境，搭建集群： zookeeper是基于Java环境开发的所以需要先安装Java 然后这里使用的zookeeper安装包版本为zookeeper-3.4.14，Kafka的安装包版本为kafka_2.11-2.2.0。 AMQP协议：Advanced Message Queuing Protocol （高级消息队列协议）是一个标准开放的应用层的消息中间件协议。AMQP定义了通过网络发送的字节流的数据格式。因此兼容性非常好，任何实现AMQP协议的程序都可以和与AMQP协议兼容的其他程序交互，可以很容易做到跨语言，跨平台。 server1：192.168.42.128 server2：192.168.42.129 server3：192.168.42.130

最近公司项目需要用到kafka消息队列，所以特地花了一个周末的时间对kafka的搭建以及使用做了一个了解，特地记录一下。 kafka搭建需要依赖于zookeeper作为注册中心，前面两篇文已经介绍了zookeeper的环境搭建，现在将记录一下kafka的搭建，同样也是选取三个节点 如下： Node1:192.168.153.133 Node2:192.168.153.137 Node3:192.168.153.138 开始安装kafka，参照官网地址： http://kafka.apachecn.org/quickstart.html 执行命令： /#进入下载目录 cd /usr/opt/ #下载kafka wget http://archive.apache.org/dist/kafka/1.0.0/kafka_2.11-1.0.0.tgz #解压文件并且重命名 tar -zxvf kafka_2.11-1.0.0.tgz && mv kafka_2.11-1.0.0 kafka 编辑配置文件（三台机器都是如此配置，记得修改ip以及broker.id）： #修改日志存储地址 log.dirs=/usr/opt/kafka/data #节点id，用于区分子节点，就算是节点ip改变了，也能找到此节点 broker.id=1 #将使用外部的zookeeper配置 zookeeper

参考: 原理: https://www.cnblogs.com/yinzhengjie/p/9780976.html 常用配置参数: https://www.cnblogs.com/yinzhengjie/p/9652392.html 操作: 见笔记 #日常命令 https://www.cnblogs.com/yinzhengjie/p/9210029.html kafka--zk broker: 它是一个kafka实例,一般一个kafka server上跑一个实例. topic: 主体,对业务进行分类 partition: 实际干活的 leader: 相应客户端读/写 follower: 对客户端啥也不干,复制leader replication: 副本 建议最好为2 当下架一台时不会影响数据,下架broker要一台一台的下. 用kafka-server-stop.sh,生产中会比较慢,但一定不要用kill -9 kafka AR=ISR + OSR ISR: leader,follower(之间相差时间,条数控制) OSR: follower(如相差条数超过设定的follower就放到OSR) 通过unclean.leader.election.enable来控制,如为true,则OSR中的follower也允许成为leader. 设为true的优点是: 恢复速度快,可用性高

一、安装&启动 在 Kafka官网 下载安装包 kafka_2.11-1.0.0.tgz ## 解压 tar zxvf kafka_2.11-1.0.0.tgz ## 启动内置的zookeeper .bin/zookeeper-server-start.sh ../config/zookeeper.properties ## 启动kafka ./bin/kafka-server-start.sh ../config/server.properties 二、终端命令 创建主题 ./kafka-topics.sh --create --zookeeper localhost:2181 --topic test --partitions 1 --replication-factor 1 查看主题 ./kafka-topics.sh --describe --zookeeper localhost:2181 --topic test 生产消息 ./kafka-console-producer.sh --broker-list localhost:9092 --topic test 消费消息 ./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning 三、客户端连接 1

1.准备工作： iptables -F #关闭防火墙 systemctl stop firewalld.service #关闭防火墙 准备三台虚拟机并放入/etc/hosts下 192.168.100.242 testceph 192.168.100.244 redis1 192.168.100.245 redis2 将testceph的/etc/hosts文件拷贝到其他两台虚拟机上 命令： [root@testceph ~]# for i in 244 245 > do > scp /etc/hosts 192.168.100.$i:/etc/ > done root@192.168.100.244's password: 输入密码 hosts 100% 238 231.1KB/s 00:00 root@192.168.100.245's password: 输入密码 hosts 100% 238 418.2KB/s 00:00 2.安装依赖包 [root@testceph ~]yum install -y gcc g++ make gcc-c++ kernel-devel automake autoconf libtool make wget tcl vim unzip git java 3.准备 zookeeper目录 三个节点 192.168.100.242 192.168

虽然kafka集群部署的文章网络的到处都是，但是还是想把自己亲自操作的过程记录一下，同时也可以记录一下遇到的问题，避免以后部署的时候再遇到。 一、安装 1、下载，地址： https://www.apache.org/dyn/closer.cgi?path=/kafka/2.3.0/kafka_2.12-2.3.0.tgz 2、解压 1 tar xzvf kafka_2.12.3.0.tgz 2 cd kafka_2.12.3.0 二、启动服务 kafka依赖zookeeper，如果本身没有已经启动的zookeeper集群的话，kafka的安装包中已经内置了一个脚本来启动一个单节点的zookeeper实例，我的机器没有zookeeper，所以需要先启动一个zookeeper实例，启动命令： bin/zookeeper-server-start. sh -daemon config/zookeeper.properties 然后启动kafka，启动命令： bin/kafka-server-start. sh -daemon config/server.properties 执行过命令后发现启动失败了，看日志发现没有Java命令，才想起来自己的电脑没有安装Java，于是安装下Java，centos的系统，安装命令： yum install java- 1.8 . 0 -openjdk 三

Kafka在0.8以前的版本中，并不提供High Availablity机制，一旦一个或多个Broker宕机，则宕机期间其上所有Partition都无法继续提供服务。若该Broker永远不能再恢 复，亦或磁盘故障，则其上数据将丢失。而Kafka的设计目标之一即是提供数据持久化，同时对于分布式系统来说，尤其当集群规模上升到一定程度后，一台或 者多台机器宕机的可能性大大提高，对Failover要求非常高。因此，Kafka从0.8开始提供High Availability机制。本文从Data Replication和Leader Election两方面介绍了Kafka的HA机制。 Kafka为何需要High Available 为何需要Replication 在Kafka在0.8以前的版本中，是没有Replication的，一旦某一个Broker宕机，则其上所有的Partition数据都不可被消 费，这与Kafka数据持久性及Delivery Guarantee的设计目标相悖。同时Producer都不能再将数据存于这些Partition中。 如果Producer使用同步模式则Producer会在尝试重新发送 message.send.max.retries （默认值为3）次后抛出Exception，用户可以选择停止发送后续数据也可选择继续选择发送。而前者会造成数据的阻塞

kafka bin/kafka-server-start.sh config/server.properties & 　　 Hbase bin/hbase-daemon.sh start master bin/hbase-daemon.sh start regionserver 　　 来源： https://www.cnblogs.com/Jomini/p/11824947.html

Kafka的用途有哪些？使用场景如何？ 消息系统： Kafka 和传统的消息系统（也称作消息中间件）都具备系统解耦、冗余存储、流量削峰、缓冲、异步通信、扩展性、可恢复性等功能。与此同时，Kafka 还提供了大多数消息系统难以实现的消息顺序性保障及回溯消费的功能。 存储系统： Kafka 把消息持久化到磁盘，相比于其他基于内存存储的系统而言，有效地降低了数据丢失的风险。也正是得益于 Kafka 的消息持久化功能和多副本机制，我们可以把 Kafka 作为长期的数据存储系统来使用，只需要把对应的数据保留策略设置为“永久”或启用主题的日志压缩功能即可。 流式处理平台： Kafka 不仅为每个流行的流式处理框架提供了可靠的数据来源，还提供了一个完整的流式处理类库，比如窗口、连接、变换和聚合等各类操作。 Kafka中的ISR、AR又代表什么？ISR的伸缩又指什么 分区中的所有副本统称为 AR（Assigned Replicas）。所有与 leader 副本保持一定程度同步的副本（包括 leader 副本在内）组成ISR（In-Sync Replicas），ISR 集合是 AR 集合中的一个子集。 ISR的伸缩： leader 副本负责维护和跟踪 ISR 集合中所有 follower 副本的滞后状态，当 follower 副本落后太多或失效时，leader 副本会把它从 ISR 集合中剔除。如果

- 依次在各节点上启动: kafka bin/kafka-server-start.sh config/server.properties - 查看当前服务器中的所有topic bin/kafka-topics.sh --list --zookeeper hadoop01:2181 - 创建topic bin/kafka-topics.sh --create --zookeeper hadoop01:2181 --replication-factor 1 --partitions 3 --topic CustomerContacts - 删除topic bin/kafka-topics.sh --delete --zookeeper hadoop01:2181 --topic CustomerContacts 需要server.properties中设置delete.topic.enable=true否则只是标记删除或者直接重启。 - 通过shell命令发送消息 sh bin/kafka-console-producer.sh --broker-list kafka01:9092 --topic test - 通过shell消费消息 bin/kafka-console-consumer.sh --zookeeper hadoop01:2181 --from-beginning -