kafka命令

1.概述 目前Kafka ACL支持多种权限认证，今天笔者给大家介绍一下SCRAM和PLAIN的权限认证。验证环境如下： JDK：1.8 Kafka：2.3.0 Kafka Eagle： 1.3.8 2.内容 2.1 PLAIN认证 首先，在$KAFAK_HOME/config目录新建一个文本文件，名为kafka_server_plain_jaas.conf，配置内容如下： KafkaServer { org.apache.kafka.common.security.plain.PlainLoginModule required username="admin" password="admin-secret" user_admin="admin-secret" user_ke="ke"; }; 接着，将脚本文件kafka-server-start.sh重命名为kafka-server-plain-start.sh，并修改最后一行的内容为： # 添加鉴权文件 exec $base_dir/kafka-run-class.sh $EXTRA_ARGS -Djava.security.auth.login.config=$base_dir/../config/kafka_server_plain_jaas.conf kafka.Kafka "$@" 然后，复制server

前提：三台服务器。由于kafka是依赖与zookeeper的，所以必须要下载zookeeper，然后下载kafka zookeeper： 下载zookeeper：在linux中/usr/local/下面运行下面命令进行下载 wget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gz 解压命令：tar -zxvf zookeeper-3.4.14.tar.gz 加压完毕后会看见一个 zookeeper-3.4.14 的文件夹。 执行命令：cd /usr/local/ zookeeper-3.4.14 /conf 执行命令：mv zoo_sample.cfg zoo.cfg （将文件名修改一个，必须要修改） 执行命令：vi zoo.cfg 找到dataDir修改值为/usr/local/ zookeeper-3.4.14 /data 在 zookeeper-3.4.14 下面创建文件夹data （命令是mkdir data） 在最后面添加（注意里面的 ip是你需要安装zookeeper的主机 ip） server.0=ip:2888:3888 server.1=ip:2888:3888 server.2=ip:2888:3888 保存退出（命令

EMQ X 3.2 版本引入了 “规则引擎” 功能，支持在 EMQ X Broker 筛选终端上报的数据，处理后流至后端数据库或其他的消息队列。本篇以具体场景来说明 “如何使用规则引擎将消息转发至 Kafka” 场景介绍 该场景需要将 EMQ X 指定主题下且满足条件的消息桥接到 Kafka 。为了便于后续分析检索，消息内容需要进行拆分。 该场景下设备端上报信息如下： 上报主题：cmd/state/:id，主题中 id 代表车辆客户端识别码 消息体： { "id": "NXP-058659730253-963945118132721-22", // 客户端识别码 "speed": 32.12, // 车辆速度 "direction": 198.33212, // 行驶方向 "tachometer": 3211, // 发动机转速，数值大于 8000 时才需存储 "dynamical": 8.93, // 瞬时油耗 "location": { // GPS 经纬度数据 "lng": 116.296011, "lat": 40.005091 }, "ts": 1563268202 // 上报时间 } 当上报数据发动机转速数值大于 8000 时，存储当前信息以便后续分析用户车辆使用情况。 准备工作 创建Kafka主题 ./bin/kafka-topics.sh --create -

原文链接： http://www.studyshare.cn/software/details/1176/0 一、预备环境 Kafka是java生态圈中的一员，运行在java虚拟机上，按Kafka官方说明，java环境推荐Java8；Kafka需要Zookeeper保存集群的元数据信息和消费者信息。Kafka一般会自带Zookeeper，但是从稳定性考虑，应该使用单独的Zookeeper，而且构建Zookeeper集群。 jdk1.8下载安装教程： http://www.studyshare.cn/software/details/1143/0 zookeeper下载安装教程： http://www.studyshare.cn/software/details/1169/0 二、下载 官网下载： 下载地址 百度网盘： 下载地址 提取码：vow8 java开发工具下载地址及安装教程大全，点 这里 。 更多深度技术文章，在 这里 。 三、安装 1、将下载好的kafka安装文件上传至linux系统，可以使用ftp工具或者在窗口使用alt+p快捷键打开上传窗口。拖拽kafka文件上传。 2、解压 tar -zxvf kafka_2.11-2.3.0.tgz 3、移动到/usr/local/， 并改名kafka mv kafka_2.11-2.3.0 /usr/local/kafka 4

前言 Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop的一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。 Kafka官网 | http://kafka.apache.org/ 步骤 下载Kafka 进入Kafka的官网选择自己需要的版本下载即可，我这里选择的是 2.12 版本。 # wget http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.2.0/kafka_2.12-2.2.0.tgz 创建安装目录 我一般创建于 usr/local 的目录下 # mkdir /usr/local/kafka 解压到安装目录下 将下载好的 kafka 解压到刚才创建的目录下 # tar -zxvf kafka_2.12-2.2.0.tgz -C /usr/local/kafka/ 修改配置文件 编辑

创建kafka topic bin/kafka-topics.sh --zookeeper node01:2181 --create --topic t_cdr --partitions 30 --replication-factor 2 注： partitions指定topic分区数，replication-factor指定topic每个分区的副本数 partitions分区数: partitions ：分区数，控制topic将分片成多少个log。可以显示指定，如果不指定则会使用broker(server.properties)中的num.partitions配置的数量 虽然增加分区数可以提供kafka集群的吞吐量、但是过多的分区数或者或是单台服务器上的分区数过多，会增加不可用及延迟的风险。因为多的分区数，意味着需要打开更多的文件句柄、增加点到点的延时、增加客户端的内存消耗。 分区数也限制了consumer的并行度，即限制了并行consumer消息的线程数不能大于分区数 分区数也限制了producer发送消息是指定的分区。如创建topic时分区设置为1，producer发送消息时通过自定义的分区方法指定分区为2或以上的数都会出错的；这种情况可以通过alter –partitions 来增加分区数。 replication-factor副本 replication factor

kafka常用shell命令： ------------------------------------ 1、创建topic 　　bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test 2、查看创建的topic 　　bin/kafka-topics.sh --list --zookeeper localhost:2181 3、生产者发布消息命令 （执行完此命令后，在控制台输入要发送的消息，回车即可） 　　bin/kafka-console-producer.sh --broker-list 192.168.91.231:9092,192.168.91.231:9093,192.168.91.231:9094 --topic test 4、消费者接受消息命令 　　bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning 5、kafka启动 　　首先启动zookeeper zkServer.sh start（相当于一个server,kafka会连接这个server） 启动kafka bin/kafka-server

本文首发于 vivo互联网技术 微信公众号 https://mp.weixin.qq.com/s/bV8AhqAjQp4a_iXRfobkCQ 作者简介：郑志彬，毕业于华南理工大学计算机科学与技术（双语班）。先后从事过电子商务、开放平台、移动浏览器、推荐广告和大数据、人工智能等相关开发和架构。目前在vivo智能平台中心从事 AI中台建设以及广告推荐业务。擅长各种业务形态的业务架构、平台化以及各种业务解决方案。 博客地址： http://arganzheng.life 。 背景 最近要把原来做的那套集中式日志监控系统进行迁移，原来的实现方案是: Log Agent => Log Server => ElasticSearch => Kibana，其中Log Agent和Log Server之间走的是Thrift RPC，自己实现了一个简单的负载均衡(WRB)。 原来的方案其实运行的挺好的，异步化Agent对应用性能基本没有影响。支持我们这个每天几千万PV的应用一点压力都没有。不过有个缺点就是如果错误日志暴增，Log Server这块处理不过来，会导致消息丢失。当然我们量级没有达到这个程度，而且也是可以通过引入队列缓冲一下处理。不过现在综合考虑，其实直接使用消息队列会更简单。PRC，负载均衡，负载缓冲都内建实现了。另一种方式是直接读取日志，类似于logstash或者flume的方式

本文首发于 vivo互联网技术 微信公众号 https://mp.weixin.qq.com/s/bV8AhqAjQp4a_iXRfobkCQ 作者简介：郑志彬，毕业于华南理工大学计算机科学与技术（双语班）。先后从事过电子商务、开放平台、移动浏览器、推荐广告和大数据、人工智能等相关开发和架构。目前在vivo智能平台中心从事 AI中台建设以及广告推荐业务。擅长各种业务形态的业务架构、平台化以及各种业务解决方案。 博客地址： http://arganzheng.life 。 背景 最近要把原来做的那套集中式日志监控系统进行迁移，原来的实现方案是: Log Agent => Log Server => ElasticSearch => Kibana，其中Log Agent和Log Server之间走的是Thrift RPC，自己实现了一个简单的负载均衡(WRB)。 原来的方案其实运行的挺好的，异步化Agent对应用性能基本没有影响。支持我们这个每天几千万PV的应用一点压力都没有。不过有个缺点就是如果错误日志暴增，Log Server这块处理不过来，会导致消息丢失。当然我们量级没有达到这个程度，而且也是可以通过引入队列缓冲一下处理。不过现在综合考虑，其实直接使用消息队列会更简单。PRC，负载均衡，负载缓冲都内建实现了。另一种方式是直接读取日志，类似于logstash或者flume的方式

前提 zookeeper安装参考：https://www.cnblogs.com/JustinLau/p/11372782.html 其他安装参考：https://www.cnblogs.com/luotianshuai/p/5206662.html 安装Kafka前需要先安装zookeeper集群，集体安装方法请参照我的另一篇文档。 Kafka安装 下载 wget https://archive.apache.org/dist/kafka/0.8.0/kafka_2.8.0-0.8.0.tar.gz 解压 tar -zxvf kafka_2.8.0-0.8.0.tar.gz 移动文件夹 mv kafka_2.8.0-0.8.0 /usr/local/hadoop/ 修改配置 cd /usr/local/hadoop/config vi server.properties 参照下图信息修改 Kafaka操作 启动kafka server cd ../ bin/kafka-server-start.sh config/server.properties 创建主题 cd /usr/local/hadoop/bin ./kafka-create-topic.sh --partition 1 --replica 1 --zookeeper 192.168.6.100:2181,192