kafka命令

本文记录在linux环境下，安装kafka，并做简单测试，如果zookeeper没有安装，可参考 zookeeper安装 ： 1.下载安装包 地址： http://kafka.apache.org/downloads， 注意不要下载成source了。 2.上传至服务器 rz命令上传至服务器 解压 [root@localhost local]# tar -zxvf kafka_2.11-2.1.1.tgz 3.修改配置文件 这里这列举几个重要的配置，其他配置如果只是单机的自己做测试不需要修改： 4.启动 [root@localhost bin]# ./kafka-server-start.sh ../config/server.properties & 这个&是后台启动，但是需要exit去退出。 （还有一种是：sh kafka-server-start.sh …/config/server.properties 1>/dev/null 2>&1 & 其中1>/dev/null 2>&1 是将命令产生的输入和错误都输入到空设备，也就是不输出的意思。 /dev/null代表空设备。） 启动后会刷一波日志然后看到如下信息： [2019-02-28 10:49:13,727] INFO [ExpirationReaper-1-Rebalance]: Starting (kafka

一、Linux虚拟机下的安装与测试 1、环境准备 使用的是vm虚拟机，安装ubuntu18.04.2的镜像文件 2、安装步骤与测试 1）首先在Kafka官网上下载kafka版本，本次下载的是Scala 2.11 - kafka_2.11-1.1.1.tgz 。将其下载到/usr/local/目录下。 2）使用tar -zxvf kafka_2.11-1.1.1.tgz 对压缩包进行解压，并使用mv kafka_2.11-1.1.1 kafka对其压缩后的文件夹重命名。 3）由于kafka的启动是需要zookeeper支持的，但是压缩包中给提供了zookeeper的环境供测试使用，所以再单机的环境下我们不需要在重新下载zookeeper。单机环境下，可以直接启动zookeeper服务。 进入到kafka的bin/目录下，使用./zookeeper-server-start.sh /usr/local/kafka/config/zookeeper.properties启动zookeeper，注意，zookeeper的配置文件在kafka/config/目录下。 4）zookeeper启动成功后，就可以kafka服务了。重新开一个终端，进入到kafka的安装目录，使用 ./kafka-server-start.sh /usr/local/kafka/config/server

[size=medium]1. 简介[/size] kafka （官网地址：[url]http://kafka.apache.org[/url]）是一款分布式消息发布和订阅的系统，具有高性能和高吞吐率。 [img]http://dl2.iteye.com/upload/attachment/0096/1014/758475a7-1c1b-3c60-a753-c04a6debec0d.jpg[/img] i. 消息的发布（publish）称作producer，消息的订阅（subscribe）称作consumer，中间的存储阵列称作broker。 ii. 多个broker协同合作，producer、consumer和broker三者之间通过zookeeper来协调请求和转发。 iii. producer产生和推送(push)数据到broker，consumer从broker拉取(pull)数据并进行处理。 iv. broker端不维护数据的消费状态，提升了性能。 v. 直接使用磁盘进行存储，线性读写，速度快：避免了数据在JVM内存和系统内存之间的复制，减少耗性能的创建对象和垃圾回收。 vi. Kafka使用scala编写，可以运行在JVM上。 [size=medium]2. 安装：[/size] a. 首先安装JRE/JDK [url=http://czj4451.iteye.com

写于2019年5月21日15:47:10 linux环境下kafka安装 1、使用wget http://apache.01link.hk/kafka/2.1.1/kafka_2.12-2.1.1.tgz命令下载压缩包。 如果linux不能联网可使用其他机器打开url进行下载。 2、使用tar -xzf kafka_2.12-2.1.1.tgz命令解压，不出意外已经安装完成了。 3、启动kafka必须首先启动zookeeper。 4、移动到kafka安装目录启动kafka，bin/kafka-server-start.sh -daemon config/server.properties&， &可以让kafka后台运行。 5、还是在kafka安装目录创建一个叫做test的topic，bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test 6、kafka的操作均需要在bin目录下，查看test topic注意你的zookeeper端口号（默认2181）， kafka中的zookeeper连接设置在config/server.properties，如果不是2181可以看一下。 bin/kafka-topics.sh -list

1.下载kafka 进入kafka官网： http://kafka.apache.org/downloads.html 选择Binary downloads下载【注： Source download需要编译才能使用 】 以下用kafka_2.10-0.9.0.0.tgz 版本 2.解压 tar -xzvf kafka_2.10-0.9.0.0.tgz cd kafka_2.10-0.9.0.0 目录： /bin 启动和停止命令等。 /config 配置文件 /libs 类库 3.启动和停止 启动Zookeeper server： bin/zookeeper-server-start.sh config/zookeeper.properties & &是为了能退出命令行 启动Kafka server: bin/kafka-server-start.sh config/server.properties & 停止Kafka server: bin/kafka-server-stop.sh 停止Zookeeper server: bin/zookeeper-server-stop.sh 4 . 单机连通性测试 运行producer： bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

首先要安装并启动zookeeper，特别注意的是zoo.cfg中有项配置 "dataDir=/tmp/zookeeper"，一定要有对应目录，否则启动zookeeper时可能可以启动，但是kafka连不上zookeeper。 安装kafka，使用命令/bin/kafka-server-start.sh config/server.properties启动。 测试kafka： 创建topic test，命令见其他博客。 创建topic 打开两个终端 一个执行：./bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test 另一个执行：./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning 在生产者终端命令行中输入，可以看到消费着终端上会实施获取对应输入。 来源： CSDN 作者： 老醋 链接： https://blog.csdn.net/u013759134/article/details/81951521

一 为什么需要消息系统 1.解耦 允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。 2.冗余 消息队列把数据进行持久化直到它们已经被完全处理，通过这一方式规避了数据丢失风险。许多消息队列所采用的"插入-获取-删除"范式中，在把一个消息从队列中删除之前，需要你的处理系统明确的指出该消息已经被处理完毕，从而确保你的数据被安全的保存直到你使用完毕。 3.扩展性 因为消息队列解耦了你的处理过程，所以增大消息入队和处理的频率是很容易的，只要另外增加处理过程即可。 4.灵活性 & 峰值处理能力 在访问量剧增的情况下，应用仍然需要继续发挥作用，但是这样的突发流量并不常见。如果为以能处理这类峰值访问为标准来投入资源随时待命无疑是巨大的浪费。使用消息队列能够使关键组件顶住突发的访问压力，而不会因为突发的超负荷的请求而完全崩溃。 5.可恢复性 系统的一部分组件失效时，不会影响到整个系统。消息队列降低了进程间的耦合度，所以即使一个处理消息的进程挂掉，加入队列中的消息仍然可以在系统恢复后被处理。 6.顺序保证 在大多使用场景下，数据处理的顺序都很重要。大部分消息队列本来就是排序的，并且能保证数据会按照特定的顺序来处理。（Kafka 保证一个 Partition 内的消息的有序性） 7.缓冲 有助于控制和优化数据流经过系统的速度，解决生产消息和消费消息的处理速度不一致的情况。 8

1. Topics CLI 1.1 首先启动 zookeeper 与 kafka > zookeeper-server-start.sh config/zookeeper.properties … INFO binding to port 0.0.0.0/0.0.0.0:2181 (org.apache.zookeeper.server.NIOServerCnxnFactory) INFO Expiring session 0x100ab41939d0000, timeout of 6000ms exceeded (org.apache.zookeeper.server.ZooKeeperServer) INFO Processed session termination for sessionid: 0x100ab41939d0000 (org.apache.zookeeper.server.PrepRequestProcessor) INFO Creating new log file: log.1d (org.apache.zookeeper.server.persistence.FileTxnLog) > kafka-server-start.sh config/server.properties … Socket connection established to

原文链接： https://mp.weixin.qq.com/s/zxPz_aFEMrshApZQ727h4g ** 引言 MQ（消息队列）是跨进程通信的方式之一，可理解为异步rpc，上游系统对调用结果的态度往往是重要不紧急。使用消息队列有以下好处：业务解耦、流量削峰、灵活扩展。接下来介绍消息中间件Kafka。 Kafka是什么？ Kafka是一个分布式的消息引擎。具有以下特征 能够发布和订阅消息流（类似于消息队列） 以容错的、持久的方式存储消息流 多分区概念，提高了并行能力 Kafka架构总览 Topic 消息的主题、队列，每一个消息都有它的topic，Kafka通过topic对消息进行归类。Kafka中可以将Topic从物理上划分成一个或多个分区（Partition），每个分区在物理上对应一个文件夹，以”topicName_partitionIndex”的命名方式命名，该dir包含了这个分区的所有消息(.log)和索引文件(.index)，这使得Kafka的吞吐率可以水平扩展。 Partition 每个分区都是一个 顺序的、不可变的消息队列， 并且可以持续的添加;分区中的消息都被分了一个序列号，称之为偏移量(offset)，在每个分区中此偏移量都是唯一的。 producer在发布消息的时候，可以为每条消息指定Key，这样消息被发送到broker时

博文大纲： 一、kafka介绍及原理 二、部署单机kafka 一、kafka介绍及原理 kafka是由Apache软件基金会发布的一个开源流处理平台，由Scala和Java编写。它是一种高吞吐量的分布式发布的订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。 1、kafka的特性 kafka是一种高吞吐量的分布式发布订阅消息系统，具有以下特性： 通过磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能； 持久性：使用文件性存储，日志文件存储消息，需要写入硬盘，采用达到一定阈值才写入硬盘，从而减少磁盘I/O，如果kafka突然宕机，数据会丢失一部分； 高吞吐量：即使是非常普通的硬件kafka也可以支持每秒数百万的消息； 支持通过kafka服务器和消费机集群来分区消息； 支持Hadoop并行数据加载。 2、kafka相关术语 Broker：消息中间件处理节点