zookeeper集群

安装包下载地址： http://mirror.bit.edu.cn/apache/zookeeper ,记住要下载那个bin的 不要下tar.gz 包不然即使你安装了也会报错误: 找不到或无法加载主类org.apache.zookeeper.server.quorum.QuorumPeerMain，你安装了也无法起来zk wget http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.5.5/apache-zookeeper-3.5.5-bin.tar.gz 注意：在安装zk之前请先确保要部署的三台机器均已经安装JDK. zk服务治理实现模型： 注册中心，生产者，消费者，注册中心注册了关于生产消费者的所有信息简单来说就是想要实现治理服务，必须要知道哪台机器提供什么服务，该找谁，也就ip映射服务之间的映射关系是怎样的， zk通过心跳机制可以检测挂掉的机器并将挂掉机器的ip和服务对应关系从列表中删除 tar -xvf apache-zookeeper-3.5.6.tar.gz && cd apache-zookeeper-3.5.6.tar.gz/conf 将zoo_sample.cfg这个文件复制为zoo.cfg (必须是这个文件名): cp zoo_sample.cfg zoo.cfg zoo.cfg参数解释： 打开zoo

@[TOC] 1、环境准备 1.1下载zooKeeper    查阅hadoop2.7.3的文档我们可以看到hadoop2.7.3在搭建高可用的时候使用的是zookeeper-3.4.2版本，所以我们也按照hadoop官网的提示，接下来我们安装zookeeper-3.4.2版本.进入官网下载ZooKeeper3.4.2版本    官网地址： https://zookeeper.apache.org/ 点击 Download 1.3安装zooKeeper #1.把zookeeper的压缩安装包解压到/opt/bigdata/目录下 [root@node1 ~]# tar -xzvf zookeeper-3.4.2.tar.gz -C /opt/bigdata/ #输入完命令后回车 #2.切换到bigdata目录下 [root@node1 ~]# cd /opt/bigdata/ #3.按照安装hadoop的方式，将zookeeper的安装目录的所属组修改为hadoop:hadoop #修改zookeeper安装目录的所属用户和组为hadoop:hadoop [root@node1 bigdata]# chown -R hadoop:hadoop zookeeper-3.4.2/ #4.修改zookeeper安装目录的读写权限 [root@node1 bigdata]# chmod

@[TOC] 1、环境准备 1.1下载zooKeeper    查阅hadoop2.7.3的文档我们可以看到hadoop2.7.3在搭建高可用的时候使用的是zookeeper-3.4.2版本，所以我们也按照hadoop官网的提示，接下来我们安装zookeeper-3.4.2版本.进入官网下载ZooKeeper3.4.2版本    官网地址： https://zookeeper.apache.org/ 点击 Download 1.3安装zooKeeper #1.把zookeeper的压缩安装包解压到/opt/bigdata/目录下 [root@node1 ~]# tar -xzvf zookeeper-3.4.2.tar.gz -C /opt/bigdata/ #输入完命令后回车 #2.切换到bigdata目录下 [root@node1 ~]# cd /opt/bigdata/ #3.按照安装hadoop的方式，将zookeeper的安装目录的所属组修改为hadoop:hadoop #修改zookeeper安装目录的所属用户和组为hadoop:hadoop [root@node1 bigdata]# chown -R hadoop:hadoop zookeeper-3.4.2/ #4.修改zookeeper安装目录的读写权限 [root@node1 bigdata]# chmod

zk集群的一些基本概念 zookeeper集群搭建： zk集群，主从节点，心跳机制（选举模式） 配置数据文件 myid 1/2/3 对应 server.1/2/3 通过 zkCli.sh -server [ip]:[port] 命令检测集群是否配置成功 和其他大多数集群结构一样，zookeeper集群也是主从结构。搭建集群时，机器数量最低也是三台，因为小于三台就无法进行选举。选举就是当集群中的master节点挂掉之后，剩余的两台机器会进行选举，在这两台机器中选举出一台来做master节点。而当原本挂掉的master恢复正常后，也会重新加入集群当中。但是不会再作为master节点，而是作为slave节点。如下： 单机伪分布式搭建zookeeper集群 本节介绍单机伪分布式的zookeeper安装，官方下载地址如下： https://archive.apache.org/dist/zookeeper/ 我这里使用的是3.4.11版本，所以找到相应的版本点击进去，复制到.tar.gz的下载链接到Linux上进行下载。命令如下： [root@study-01 ~]# cd /usr/local/src/ [root@study-01 /usr/local/src]# wget https://archive.apache.org/dist/zookeeper/zookeeper-3.4

安装前首先当然是下载安装包了。我们进入，zookeeper官网： https://zookeeper.apache.org/releases.html 前提：由于zookeeper是使用java语言开发的，所以，在安装zookeeper之前务必先在本机安装配置好java环境！ 1，找到下载链接，然后在linux中先下载所需安装包（我这边下载的是3.4.9版本）： wget https://archive.apache.org/dist/zookeeper/zookeeper-3.4.9/zookeeper-3.4.9.tar.gz 2，解压 tar -zxvf zookeeper-3.4.9.tar.gz 3，配置conf文件 进入到安装目录的…/conf目录下 可以看到这里有个zoookeeper给我们的一个样例配置文件：zoo_sample.cfg，我们在配置我们自己的zk时，需要做的就是将这个文件复制一份，并命名为：zoo.cfg，然后在zoo.cfg中修改自己的配置即可。 cp zoo_sample.cfg zoo.cfg vim zoo.cfg zoo.cfg的相关配置项其实并不多，这边各个配置项的详细说明如下： # zookeeper内部的基本单位，单位是毫秒，这个表示一个tickTime为 2000 毫秒，在zookeeper的其他配置中

zookeeper 准备环境 这里我们需要三台虚拟机 三台机子都需要有 JAVA环境 [root@bogon src]# rz 将 jdk-8u211-linux-x64.tar.gz 和 zookeeper-3.4.14.tar.gz上传至虚拟机 解压缩并配置变量 [root@bogon src]# tar -zxf jdk-8u211-linux-x64.tar.gz -C /data/server/ [root@localhost src]# vim /etc/profile 重启并查看 [root@localhost src]# source /etc/profile [root@bogon src]# java -version java version “1.8.0_211” Java™ SE Runtime Environment (build 1.8.0_211-b12) Java HotSpot™ 64-Bit Server VM (build 25.211-b12, mixed mode) 解压zookeeper [root@bogon src]# tar -zxf zookeeper-3.4.14.tar.gz -C /data/server/ 修改配置文件 [root@bogon src]# cd /data/server/zookeeper-3.4.14

准备三台虚拟机 ip192.168.1.224 ip192.168.1.239 ip192.168.1.250 下载zookeeper https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/ 上传安装包到ip为192.168.1.224中 安装依赖环境 添加以下四行 dataDir=/data/server/zookeeper-3.4.14/data server.1=192.168.1.224:2888:3888 server.2=192.168.1.239:2888:3888 server.3=192.168.1.250:2888:3888 创建文件及目录 192.168.1.239： [root@localhost ~]# cd /data/server/zookeeper-3.4.14/data/ [root@localhost data]# echo “2”>myid 192.168.1.250： [root@localhost ~]# cd /data/server/zookeeper-3.4.14/data/ [root@localhost data]# echo “3”>myid 关闭三台机子的防火墙 分别开启服务 查看状态 来源： CSDN 作者： weixin_46011276 链接： https:/

一、部署前准备： 　　1、下载ZooKeeper的安装包： 　　　　http://zookeeper.apache.org/releases.html 我下载的版本是zookeeper-3.4.9。 　　2、将下载的zookeeper-3.4.9包放到/opt目录下，目录结构如下图所示： 　 3、在/tmp目录下新建一个zookeeper目录，并在zookeeper目录下新建一个data目录。 　 4、三台linux系统的ip： 　　　　　　ip1:10.43.98.6 　　　　　　ip2:10.43.98.8 　　　　　　ip3:10.43.98.18 　　 　　5、安装jdk8： 　　　　下载路径：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html，我选择的是jdk-8u112-linux-i586.tar.gz（Linux x64）。 　　下载下来后拷贝到/usr/java目录下，然后：tar-zxvf jdk-8u112-linux-i586.tar.gz解压后目录下有一个jdk1.8.0_111文件下。然后通过vi /etc/profile命令来设置环境变量： 　　　　export JAVA_HOME=/usr/java/jdk1.8.0_111 　　　

Zookeeper 方案 主机IP 消息端口 通信端口 节点目录/usr/local/下 192.168.1.108 2181 2888:3888 zookeeper 192.168.1.109 2181 2888:3888 zookeeper 192.168.1.120 2181 2888:3888 zookeeper 之所以数目为奇数，方便管理算法管理。提升管理性能。 实现步骤 （三台机子统一修改） 1.准备Zookeeper安装包并上传到服务器中。 官网下载 csdn下载 2.解压 tar -zxvf zookeeper-3.4.5.tar.gz -C /usr/local mv zookeeper-3.4.5 zookeeper 3.修改配置 # 设置环境变量 vim /etc/profile # 写入的内容如下 export ZOOKEEPER_HOME=/usr/local/zookeeper/ #zookeeper路径 export PATH=$PATH:$ZOOKEEPER_HOME/bin:$ZOOKEEPER_HOME/conf # 让配置文件生效 source /etc/profile # 修改配置文件准备 cd /usr/local/zookeeper/conf #进到配置文件目录 mv zoo_sample.cfg zoo.cfg #改配置文件名

kafka是使用Java和Scala编写的一个快速可扩展的高吞吐量的分布式消息队列系统。 kafka将数据持久化存储到磁盘上，自带分区和副本机制，因而具有较好的持久化保证。 但是kafka的消息消费没有确认机制，可能因为consumer崩溃导致消息没有完成处理。因此不建议将kafka用于一致性较高的业务场景，kafka经常被用做日志收集和数据仓库之间的缓存。 比如将网站的浏览日志缓存到kafka，然后从kafka中取出批量写入ElasticSearch, Hive或者HBase等数据仓库中。这样做可以极大的减轻离线分析系统的负载。 架构简介 kafka架构中有下列角色参与： broker: kafka 集群中的服务器实例称为broker producer: 向broker发送消息的客户端 consumer: 向从borker中读取消息的客户端 zookeeper: 存储集群状态的注册中心，不处理具体消息。在负载均衡和集群扩展等功能中有重要作用。 接下来介绍kafka的逻辑模型: message: 消息是kafka通信的基本单元 topic: topic 在逻辑结构上类似于队列, 每条消息都属于一个 topic。 consumer group: 每个group中可以包含若干 consumer 实例，每个topic可以被多个consumer group 订阅。 消费者组拥有唯一的