kafka命令

一、Zookeeper集群搭建 为保证集群高可用，Zookeeper 集群的节点数最好是奇数，最少有三个节点，所以这里搭建一个三个节点的集群。 1.1 下载 & 解压 下载对应版本 Zookeeper，这里我下载的版本 3.4.14 。官方下载地址： https://archive.apache.org/dist/zookeeper/ # 下载 wget https://archive.apache.org/dist/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gz # 解压 tar -zxvf zookeeper-3.4.14.tar.gz 1.2 修改配置 拷贝三份 zookeeper 安装包。分别进入安装目录的 conf 目录，拷贝配置样本 zoo_sample.cfg 为 zoo.cfg 并进行修改，修改后三份配置文件内容分别如下： zookeeper01 配置： tickTime=2000 initLimit=10 syncLimit=5 dataDir=/usr/local/zookeeper-cluster/data/01 dataLogDir=/usr/local/zookeeper-cluster/log/01 clientPort=2181 # server.1 这个1是服务器的标识，可以是任意有效数字

【转载请注明】： 原文出处 ： https://www.cnblogs.com/jstarseven/p/11041729.html 作者 ：jstarseven 码字挺辛苦的..... 一、kafka介绍 Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。 主要应用场景是：日志收集系统和消息系统。 Kafka主要设计目标如下： 以时间复杂度为O(1)的方式提供消息持久化能力，即使对TB级以上数据也能保证常数时间的访问性能。 高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒100K条消息的传输。 支持Kafka Server间的消息分区，及分布式消费，同时保证每个partition内的消息顺序传输。 同时支持离线数据处理和实时数据处理。 支持在线水平扩展 二、kafka架构图 三、kafka安装与测试 1、配置JDK环境 Kafka 使用Zookeeper 来保存相关配置信息，Kafka及Zookeeper 依赖Java 运行环境，从oracle网站下载JDK 安装包，解压安装 1 tar zxvf jdk-8u171-linux-x64

Kafka Kafka依赖于Zookkeeper 两个都依赖于Java Kafka依赖于Zookeeper 官方网站：https://zookeeper.apache.org/ 下载ZK的二进制包 解压到对应目录完成安装 ZK的安装命令 tar -zxf zookeeper-3.4.13.tar.gz mv zookeeper-3.4.13 /usr/local/ cp /usr/local/zookeeper-3.4.13/conf/zoo_sample.cfg /usr/local/zookeeper-3.4.13/conf/zoo.cfg ZK的启动 更改配置：clientPortAddress=0.0.0.0 启动：/usr/local/zookeeper-3.4.13/bin/zkServer.sh start Kafka下载地址 Kafka官网：http://kafka.apache.org/ 下载Kafka的二进制包 解压到对应目录完成安装 Kafka的安装命令 cd /usr/local/src/ tar -zxf kafka_2.11-2.1.1.tgz mv kafka_2.11-2.1.1 /usr/local/kafka_2.11 Kafka的启动 更改kafka的配置：更改监听地址、更改连接zk的地址 前台启动：/usr/local/kafka_2.11

1. Centos 7.2 设置允许连接网络： vi /etc/sysconfig/network-scripts/ifcfg-enp0s3 #编辑配置文件 BOOTPROTO = static ONBOOT = yes IPADDR = 172.16.40.173 NETMASK = 255.255.255.0 GATEWAY = 172.16.40.1 DNS1 = 114.114.114.114 #重启service service network restart 安装软件 yum install net-tools yum install wget yum install vim yum install ntpdate yum -y install lrzsz yum -y install gcc yum -y install gcc-c++ 卸载旧版本 换源 进入到/etc/yum.repos.d/目录： cd /etc/yum.repos.d/ mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.bak wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo yum

这一节主要讲kafka 集群环境部署， kafka 基础概念介绍与强化 1）Producer：消息生产者，就是向kafkabroker发消息的客户端； 2）Consumer：消息消费者，向kafkabroker取消息的客户端； 3）Topic：可以理解为一个队列； 4）Consumer Group（CG）：这是kafka用来实现一个topic消息的广播（发给所有的consumer） 和单播（发给任意一个consumer）的手段。一个topic可以有多个CG。topic的消息会复制 （不是真的复制，是概念上的）到所有的CG，但每个partion只会把消息发给该CG中的一 个consumer。如果需要实现广播，只要每个consumer有一个独立的CG就可以了。要实现 单播只要所有的consumer在同一个CG。用CG还可以将consumer进行自由的分组而不需 要多次发送消息到不同的topic； 5）Broker：一台kafka服务器就是一个broker。一个集群由多个broker组成。一个broker 可以容纳多个topic； 6）Partition：为了实现扩展性，一个非常大的topic可以分布到多个broker（即服务器）上， 一个topic可以分为多个partition，每个partition是一个有序的队列。partition中的每条消息 都会被分配一个有序的id

0x00 问题描述 使用kafka-topics --delete命令删除topic时并没有真正的删除，而是把topic标记为：“marked for deletion”，导致重新创建相同名称的Topic时报错“already exists”。 0x01 问题复现 1. 登录Kafka集群所在的服务器，创建一个test的topic [root@cdh1 ~]# kafka-topics --create --zookeeper 192.168.2.13:2181 --replication-factor 1 --partitions 1 --topic test 2.查看新创建的topic [root@cdh1 ~]# kafka-topics --list --zookeeper 192.168.2.13:2181 3.通过如下命令删除新建的topic [root@cdh1 ~]# kafka-topics --delete --zookeeper 192.168.2.13:2181 --topic test 此处显示“Topic test is marked for deletion” 4.尝试重新创建一个test的Topic [root@cdh1 ~]# kafka-topics --create --zookeeper 192.168.2.13:2181 -

D ocker 安装部署kafka 1、下载镜像 这里使用了wurstmeister/kafka docker pull wurstmeister/kafka 在命令中运行docker images验证镜像已经安装完毕 2.启动 启动kafka docker run -d --name kafka --publish 9092 : 9092 --link docker_ zookeeper --env KAFKA_ZOOKEEPER_CONNECT= 192.168.9.101 : 218 2 --env KAFKA_ADVERTISED_HOST_NAME= 192.168. 9.101 --env KAFKA_ADVERTISED_PORT= 9092 --volume /etc/ localtime: /etc/ localtime wurstmeister/ kafka: latest 报异常： 1）.Kafka超时错误：Timed out waiting for connection while in state 因为/etc/resolv.conf中添加了其它的DNS地址，所以导致在Kafka启动时无法解析到集群中的其它节点,我把以下节点注释以后，启动docker start 容器id 2）. 启动报:Native memory allocation (mmap)

大数据学习路线之Logstach与flume对比， 没有集群的概念 ,logstach与flume都称为组 logstash是用JRuby语言开发的 组件的对比 : 　　logstach : input filter output 　　flume : source channel sink 优劣对比 : logstach : 安装简单 ,安装体积小 有 filter组件,使得该工具具有数据过滤,数据切分的功能 可以与 ES无缝结合 具有数据容错功能 ,在数据采集的时候,如果发生宕机或断开的情况,会断点续传(会记录读取的偏移量) 　　 综上 ,该工具主要用途为采集日志数据 flume: 高可用方面要比 logstach强大 flume一直在强调数据的安全性,flume在数据传输过程中是由事务控制的 flume可以应用在多类型数据传输领域 数据对接 将 logstach.gz文件上传解压即可 可以在 logstach目录下创建conf文件,用来存储配置文件 一 命令启动 1.bin/logstash -e 'input { stdin {} } output { stdout{} }' 　　stdin/stdout(标准输入输出流) hello xixi 2018-09-12T21:58:58.649Z hadoop01 hello xixi hello haha 2018-09

1、下载kafka https://www.apache.org/dyn/closer.cgi?path=/kafka/1.1.0/kafka_2.11-1.1.0.tgz 2、上传至linux下并解压 3、启动服务 3.1、启动zookeeper （启动zk有两种方式，第一种是使用kafka自己带的一个zk。） bin/zookeeper-server-start.sh config/zookeeper.properties & 另一种是使用其它的zookeeper，可以位于本机也可以位于其它地址。这种情况需要修改config下面的sercer.properties里面的zookeeper地址 。例如zookeeper.connect=192.168.52.128:2181 3.2启动kafka bin/kafka-server-start.sh config/server.properties 4、创建topic bin/kafka-topics.sh --create --zookeeper 192.168.52.128:2181（localhost:2181） --replication-factor 1 --partitions 1 --topic test 创建一个名为test的topic，只有一个副本，一个分区。 通过list命令查看刚刚创建的topic bin

阿里云kafka安装 本案例使用的是kafka的版本是kafka_2.11-0.9.0.1，zookeeper的版本是zookeeper-3.4.6，jdk1.7.0_79 来安装一个简单测试环境。 一、安装启动zookeeper 1 . 去官网下载zookeeper-3.4.6.tar.gz 2 . 解压文件，设置zookeeper环境变量（ZOOKEEPER_HOME） 设置完后的etc/profile文件部分内容如下： JAVA_HOME=/usr/java/jdk1. 7.0 _79 JRE_HOME=/usr/java/jdk1. 7.0 _79/jre CLASS_PATH=.: $JAVA_HOME /lib/dt.jar: $JAVA_HOME /lib/tools.jar: $JRE_HOME /lib export JAVA_HOME JRE_HOME PATH CLASSPATH export MAVEN_HOME=/usr/maven/apache-maven- 3.5 . 0 export PATH= ${MAVEN_HOME} /bin: ${PATH} export ZOOKEEPER_HOME=/usr/zookeeper/zookeeper- 3.4 . 6 export PATH= ${ZOOKEEPER_HOME} /bin: ${PATH}