zookeeper集群

1. ZooKeeper 安装部署 本文在一台机器上模拟 3 个 zk server 的集群安装 。 1.1. 创建目录、 解压 cd /usr/ # 创建项目目录 mkdir zookeeper cd zookeeper mkdir tmp mkdir zookeeper-1 mkdir zookeeper-2 mkdir zookeeper-3 cd tmp mkdir zk1 mkdir zk2 mkdir zk3 cd zk1 mkdir data mkdir log cd zk2 mkdir data mkdir log cd zk3 mkdir data mkdir log # 将压缩包分别解压一份到 zookeeper-1, zookeeper-2, zookeeper-3 目录下 tar -zxvf zookeeper-3.4.10.tgz 1.2. 创建每个目录下 conf/zoo.cfg 配置文件 /usr/zookeeper/zookeeper-1/zookeeper-3.4.10/conf/zoo.cfg 内容如下： tickTime=2000 initLimit=10 syncLimit=5 dataDir=/home/hadoop/tmp/zk1/data dataLogDir=/home/hadoop/tmp/zk1/log clientPort

=============================================================大数据相关资料============================================================ 课程环境 Virtual Box 4.1安装 1、使用课程提供的Virtual Box安装包，一步一步安装即可。Oracle_VM_VirtualBox_Extension_Pack-4.1.40-101594.vbox-extpack。 2、之所以选用Virtual Box是因为它比VMWare更加稳定。使用VMWare运行hadoop集群或者spark集群时，有时会出现休眠后重启时，某些进程莫名挂掉的问题。而Virtual Box没有这种情况。 3、之所以选择Virtual Box 4.1版本，是因为更高的版本就不兼容win7了。 CentOS 6.5安装 1、使用课程提供的CentOS 6.5镜像即可，CentOS-6.5-i386-minimal.iso。 2、创建虚拟机：打开Virtual Box，点击“新建”按钮，点击“下一步”，输入虚拟机名称为spark1，选择操作系统为Linux，选择版本为Red Hat，分配1024MB内存，后面的选项全部用默认，在Virtual Disk File location and

启停 （下面操作，都已配置环境变量） 先启动zookeeper $ zkServer.sh status # 查看zookeeper状态 JMX enabled by default Using config: /home/whr/workbench/zookeeper/bin/../conf/zoo.cfg Mode: follower 启动kafka # 后台启动，需要配置参数 # 不加-daemon，会是一个阻塞进程，可以方便看日志 $ kafka-server-start.sh -daemon config/server.properties 关闭kafka $ kafka-server-stop.sh config/server.properties topic 创建一个topic topic的分区会被创建在当前主机，每个分区的副本会分配到集群的其他机器； 比如下面例子： 在master上创建了两个分区：first-0、first-1 在slave1上会存放分区之一的一个副本：first-0 在slave2上会存放分区之一的一个副本：first-1 # -create创建 # --zookeeper master:2181；信息写入zookeeper（新版：--bootstrap-server） # --partitions 2；partition数量 # -

Dubbo建议使用Zookeeper作为服务的注册中心。 1. Zookeeper的作用： zookeeper用来注册服务和进行负载均衡，哪一个服务由哪一个机器来提供必需让调用者知道，简单来说就是ip地址和服务名称的对应关系。当然也可以 通过硬编码的方式把这种对应关系在调用方业务代码中实现，但是如果提供服务的机器挂掉调用者无法知晓，如果不更改代码会继续请求挂掉的机器提供服务。 zookeeper通过心跳机制可以检测挂掉的机器并将挂掉机器的ip和服务对应关系从列表中删除。至于支持高并发，简单来说就是横向扩展，在不更改代码 的情况通过添加机器来提高运算能力。通过添加新的机器向zookeeper注册服务，服务的提供者多了能服务的客户就多了。 2. dubbo： 是管理中间层的工具，在业务层到数据仓库间有非常多服务的接入和服务提供者需要调度，dubbo提供一个框架解决这个问题。 注意这里的dubbo只是一个框架，至于你架子上放什么是完全取决于你的，就像一个汽车骨架，你需要配你的轮子引擎。这个框架中要完成调度必须要有一个分布式的注册中心，储存所有服务的元数据，你可以用zk，也可以用别的，只是大家都用zk。 3. zookeeper和dubbo的关系： Dubbo的将注册中心进行抽象，是得它可以外接不同的存储媒介给注册中心提供服务，有ZooKeeper，Memcached，Redis等。

zookeeper集群搭建与监控工具ZK UI安装 zookeeper相关安装 zookeeper集群搭建 安装包下载 信息配置 监控工具ZK UI安装 Shell一键启动脚本编写 zookeeper相关安装 记录下安装zookeeper集群的过程 zookeeper集群搭建 本次安装集群需要3个节点，下面是我的节点信息： node1 192.168.75.200 node2 192.168.75.201 node3 193.168.75.202 安装包下载 链接： https://pan.baidu.com/s/1pmDKErhMLfx0pcMMoZHPaQ 提取码： wghz 信息配置 下载安装后，解压到某个目录下面，复制一个zoo_sample.cfg文件并改名为zoo.cfg 下面是我的配置信息 配置dataDir,dataLogDir的属性值；clientPort端口号；相关集群节点信息 # The number of milliseconds of each tick tickTime=2000 # The number of ticks that the initial # synchronization phase can take initLimit=10 # The number of ticks that can pass between # sending

为了演示集群的效果，这里准备一台虚拟机(window 7)，在虚拟机中搭建了单IP多节点的zookeeper集群（多IP节点的也是同理的），并且在本机（win 7）和虚拟机中都安装了kafka。 前期准备说明： 1.三台zookeeper服务器，本机安装一个作为server1，虚拟机安装两个(单IP) 2.三台kafka服务器，本机安装一个作为server1，虚拟机安装两个。 备注 ：当然你可以直接在虚拟机上安装三个服务器分别为server1、server2、server3 。 虚拟机和本机网络环境 1.将虚拟机的网络模式调整为桥接模式，将虚拟机的防火墙功能关闭； 2.将主机的防火墙也关闭。 3.互相ping，测试是否能正常连接.。 下载kafka 从Kafka官网 http://kafka.apache.org/downloads 下载Kafka安装包。(要下载Binary downloads这个类型，不要下载源文件，方便使用) 下载zookeeper 从zookeeper官网 http://zookeeper.apache.org/releases.html 下载zookeeper安装包。 下载JDK 从官网 http://www.java.com/download/ 下载(建议下载Oracle官方发布的Java),，配置环境变量。 zookeeper集群环境搭建 本机配置

====软件版本==== jdk：jdk-8u77-linux-x64.tar.gz zookeeper：zookeeper-3.4.6.tar.gz hadoop：hadoop-2.7.4.tar.gz hbase：hbase-1.3.1-bin.tar.gz ====前提准备==== 3台vmware虚拟机（已配置无秘钥访问） 其中，/etc/hosts文件内容如下： ====安装jdk==== 上传安装包，解压缩，然后配置环境变量即可。 正常配置之后，在服务器任意路径执行java -version可以显示java版本。如下所示。 ====安装zookeeper==== 这里也不在过多描述，简单罗列一下配置文件。 配置文件：zoo.cfg 需要分别在3个节点的，dataDir路径下生成节点的myid。 启动并验证zookeeper是否正常 启动命令：/home/hadmin/zookeeper-3.4.6/bin/zkServer.sh start 查看状态：/home/hadmin/zookeeper-3.4.6/bin/zkServer.sh status 启动之后，3个节点的状态分别如下： ====安装hadoop==== 因为HBase的底层是基于Hadoop的hdfs的，所以在安装HBase之前，必须要安装Hadoop，并确保hdfs正常。

1.1. Zookeeper的 安装 与使用 ZooKeeper的安装包括单机模式安装，以及集群模式安装。 安装如果有不懂可以看： https://blog.csdn.net/lihao21/article/details/51778255 1.1.1. Windows环境下搭建Zookeeper 环境要求：必须要有 jdk环境。 （1） 安装 jdk （2） 安装 zookeeper，可以在http://zookeeper.apache.org/官网下下载zookeeper。 我下载的是 3.3.6版本的zookeeper。 （3） 解压 zookeeper后获取到zookeeper的目录。 对主要的一些目录做介绍： Bin：主要运行的一些脚本 Conf：配置文件的所在地 Lib：zookeeper的jar （4） 启动 zookeeper服务 走到 bin目录下去运行zkServer.cmd，双击它，但是出现一闪而退的情况，这是正常的。 到 conf目录下将zoo_sample.cfg复制粘贴命名为zoo.cfg。 并修改其中的内容： 1 # The number of milliseconds of each tick 2 3 tickTime=2000 4 5 # The number of ticks that the initial 6 7 #

1. 脚本使用小结 1.开启集群 start-hbase.sh 2.关闭集群 stop-hbase.sh 3.开启/关闭【所有】的regionserver、zookeeper hbase-daemons.sh start/stop regionserver/zookeeper 4.开启/关闭【单个】的regionserver、zookeeper hbase-daemon.sh start/stop regionserver/zookeeper 5.开启/关闭master hbase-daemon.sh start/stop master 是否成为active master取决于当前是否有active master 2. 两个进阶脚本 6.rolling-restart.sh 可以用来挨个滚动重启 7.graceful_stop.sh move服务器上的所有region后，再stop/restart该服务器，可以用来进行版本的热升级 几个细节： 1。hbase-daemon.sh start master 与 hbase-daemon.sh start master --backup，这2个命令的作用一样的，是否成为backup或active是由master的内部逻辑来控制的 2。stop-hbase.sh不会调用hbase-daemons.sh stop regionserver

Zookeeper 是Hadoop分布式调度服务，用来构建分布式应用系统。构建一个分布式应用是一个很复杂的事情，主要的原因是我们需要合理有效的处理分布式集群中的部分失败的问题。例如，集群中的节点在相互通信时，A节点向B节点发送消息。A节点如果想知道消息是否发送成功，只能由B节点告诉A节点。那么如果B节点关机或者由于其他的原因脱离集群网络，问题就出现了。A节点不断的向B发送消息，并且无法获得B的响应。B也没有办法通知A节点已经离线或者关机。集群中其他的节点完全不知道B发生了什么情况，还在不断的向B发送消息。这时，你的整个集群就发生了部分失败的故障。 Zookeeper不能让部分失败的问题彻底消失，但是它提供了一些工具能够让你的分布式应用安全合理的处理部分失败的问题。 Zookeeper基本 是什么 是一个基于观察者模式设计的分布式服务管理框架，他负责存储和管理大家都关心的数据，然后接受管擦者的注册，一旦这些数据的状态发生了变化，Zookeeper就将负责通知已经在Zookeeper上注册的观察者做出相应的反应。 特点是什么 集群中半数以上的机器存活，Zookeeper集群就可以正常服务。 集群数据保持一致，每一个Server保存一分相同的数据副本，Client无论连接那个Server，数据都是一致的。 Zookeeper的工作机制 Zookeeper 特点 Zookeeper: