kafka安装包下载

下载 tar.gz 安装包
zookeeper下载地址:https://archive.apache.org/dist/zookeeper/zookeeper-3.4.10
kafka下载地址:http://archive.apache.org/dist/kafka/2.1.0/
安装文档及安装包下载:https://download.csdn.net/my/uploads/1/1

kafka简介及应用场景

简介

Kafka是一个流处理平台
1.可发布和订阅流数据,类似于消息队列或者企业级消息系统
2.以容错的方式存储流数据
3.可以在流数据产生时就进行处理

应用场景

1.异步处理
2.应用解耦
3.流量削峰
4.消息通讯
5.海量数据同步（日志）
6.任务调度
7.分布式事物

kafka安装部署

zookeeper伪分布式集群安装

kafka是强依赖zookeeper,所以安装kafka需要先安装zookeeper

解压zookeeper

首先，建立一个集群安装的目录，就叫zookeeper。其次，在这个目录的下面解压三份ZooKeeper，形成3个节点，每一个目录中的ZooKeeper就代表一个节点。

这样就形成了如下的安装目录结构：

/root/zookeeper

    |----zookeeper1/


    |----zookeeper2/


    |----zookeeper3/

解压zookeeper
在这里插入图片描述
之后把解压的zk复制出三份来，分别命名为zookeeper1，zookeeper2，zookeeper3，这三个目录中的zk就当成是集群中的3个节点。

为每个节点建立data目录、logs目录和myid文件

在3个节点目录中分别建立data目录、logs目录和myid文件

新建目录data：mkdir data

新建目录logs：mkdir logs

新建文件myid：touch data/myid

myid文件的内容是节点在集群中的编号，zookeeper1节点的编号就写成1，后边的zookeeper2的编号是2，zookeeper3的编号就是3。
在这里插入图片描述

为每个节点创建配置文件

在zookeeper1下新增配置文件：cp zoo_sample.cfg zoo.cfg

配置文件zoo.cfg的内容如下：
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/root/zookeeper/zookeeper1/data
dataLogDir=/root/zookeeper/zookeeper1/logs
clientPort=2181
server.1=127.0.0.1:8880:7770
server.2=127.0.0.1:8881:7771
server.3=127.0.0.1:8882:7772

配置文件中的配置项的含义参见下面的介绍。

用同样的方法，在zookeeper2和zookeeper3的相应位置创建zoo.cfg，文件内容复制zookeeper1的zoo.cfg。只不过需要改动clientport、dataDir、dataLogDir三个配置项，zookeeper2的clientport改为2182，zookeeper3的clientport改为2183，而dataDir和dataLogDir都修改为相应的目录，就好了。
在这里插入图片描述