zookeeper集群

原文链接: http://www.jasongj.com/zookeeper/fastleaderelection/ Zookeeper是什么 Zookeeper是一个分布式协调服务，可用于服务发现，分布式锁，分布式领导选举，配置管理等。 这一切的基础，都是Zookeeper提供了一个类似于Linux文件系统的树形结构（可认为是轻量级的内存文件系统，但只适合存少量信息，完全不适合存储大量文件或者大文件），同时提供了对于每个节点的监控与通知机制。 既然是一个文件系统，就不得不提Zookeeper是如何保证数据的一致性的。本文将介绍Zookeeper如何保证数据一致性，如何进行领导选举，以及数据监控/通知机制的语义保证。 Zookeeper架构 角色 Zookeeper集群是一个基于主从复制的高可用集群，每个服务器承担如下三种角色中的一种 Leader 一个Zookeeper集群同一时间只会有一个实际工作的Leader，它会发起并维护与各Follwer及Observer间的心跳。所有的写操作必须要通过Leader完成再由Leader将写操作广播给其它服务器。 Follower 一个Zookeeper集群可能同时存在多个Follower，它会响应Leader的心跳。Follower可直接处理并返回客户端的读请求，同时会将写请求转发给Leader处理

#0 系列目录# Zookeeper系列 【Zookeeper系列一】Zookeeper应用介绍与安装部署 【Zookeeper系列二】ZooKeeper典型应用场景实践 【Zookeeper系列三】ZooKeeper Java API使用 【Zookeeper系列四】ZooKeeper 分布式锁实现 【Zookeeper系列五】ZooKeeper 实时更新server列表 【Zookeeper系列六】Zookeeper 工作原理 Zookeeper源码 【Zookeeper源码一】Zookeeper 源码环境搭建 【Zookeeper源码二】Zookeeper 客户端创建连接过程分析 【Zookeeper源码三】Zookeeper 单机版服务器介绍 【Zookeeper源码四】Zookeeper 集群版服务器介绍 【Zookeeper源码五】Zookeeper 集群版建立连接过程 Zookeeper应用 基于ZooKeeper的分布式Session实现 #1 Zookeeper概述# ZooKeeper是一个为分布式应用所设计的分布的、开源的协调服务，它主要是 用来解决分布式应用中经常遇到的一些数据管理问题，简化分布式应用协调及其管理的难度，提供高性能的分布式服务 。ZooKeeper本身可以 以Standalone模式安装运行 ，不过

zookeeper 伪集群报错 清理配置目录后重启 cat /etc/zookeeper/conf/zoo.cfg cd /var/lib/zookeeper mv ./version-2 ./version-2.bak redis 伪集群报错 修改完ip之后要清理node.conf 重新生成集群 来源： https://www.cnblogs.com/heling/p/11870121.html

前言 大数据的基础离不开Hbase， 本文就hbase的基础概念，特点，以及框架进行简介， 实际操作种需要注意hbase shell的使用。 Hbase 基础 官网： https://hbase.apache.org/ Apache HBase™ is the Hadoop database, a distributed, scalable, big data store. Use Apache HBase™ when you need random, realtime read/write access to your Big Data. This project's goal is the hosting of very large tables -- billions of rows X millions of columns -- atop clusters of commodity hardware. Apache HBase is an open-source, distributed, versioned, non-relational database modeled after Google's Bigtable: A Distributed Storage System for Structured Data by Chang et al. Just as

1、Zookeeper 的由来 在Hadoop生态系统中，许多项目的Logo都采用了动物，比如 Hadoop 和 Hive 采用了大象的形象，HBase 采用了海豚的形象，而从字面上来看 ZooKeeper 表示动物园管理员，所以大家可以理解为 ZooKeeper就是对这些动物（项目组件）进行一些管理工作的。 对于单机环境多线程的竞态资源协调方法，我们一般通过线程锁来协调对共享数据的访问以保证状态的一致性。 但是分布式环境如何进行协调呢？于是，Google创造了Chubby，而ZooKeeper则是对于Chubby的一个开源实现。 ZooKeeper是一种为分布式应用所设计的高可用、高性能且一致的开源协调服务，它提供了一项基本服务：分布式锁服务。由于ZooKeeper的开源特性，后来我们的开发者在分布式锁的基础上，摸索了出了其他的使用方法：配置维护、组服务、分布式消息队列、分布式通知/协调等。它被设计为易于编程，使用文件系统目录树作为数据模型。 2、ZooKeeper集群模式典型架构 2.1 角色 Zookeeper服务自身组成一个集群(2n+1个服务允许n>=1个失效)。Zookeeper集群是一个基于主从复制的高可用集群，每个服务器承担如下三种角色中的一种 Leader 一个Zookeeper集群同一时间只会有一个实际工作的Leader

1 zookeeper原理 Zookeeper虽然在配置文件中并没有指定master和slave 但是，zookeeper工作时，是有一个节点为leader，其他则为follower Leader是通过内部的选举机制临时产生的 1.1 zookeeper的选举机制（全新集群paxos） 以一个简单的例子来说明整个选举的过程. 假设有五台服务器组成的zookeeper集群,它们的id从1-5,同时它们都是最新启动的,也就是没有历史数据,在存放数据量这一点上,都是一样的.假设这些服务器依序启动,来看看会发生什么. 1) 服务器1启动,此时只有它一台服务器启动了,它发出去的包没有任何响应,所以它的选举状态一直是LOOKING状态 2) 服务器2启动,它与最开始启动的服务器1进行通信,互相交换自己的选举结果,由于两者都没有历史数据,所以id值较大的服务器2胜出,但是由于没有达到超过半数以上的服务器都同意选举它(这个例子中的半数以上是3),所以服务器1,2还是继续保持LOOKING状态. 3) 服务器3启动,根据前面的理论分析,服务器3成为服务器1,2,3中的老大,而与上面不同的是,此时有三台服务器选举了它,所以它成为了这次选举的leader. 4) 服务器4启动,根据前面的分析,理论上服务器4应该是服务器1,2,3,4中最大的,但是由于前面已经有半数以上的服务器选举了服务器3

安装Zookeeper 1.1 准备工作 安装到3台虚拟机上 安装好JDK 1.2 Rz工具安装 安装 yum install lrzsz 拖入后，右键send to zoom或者输入rz回车； 1.3 上传安装文件 输入rz回车； 选择zookeeper-3.4.5.tar.gz 确定后上传成功 1.4 解压安装文件 mkdir /root/apps/ cd /root tar -zxvf zookeeper-3.4.5.tar.gz -C apps （解压） 1.5 安装文件重命名 cd apps mv /root/apps/zookeeper-3.4.5 /root/apps/zookeeper （重命名文件夹zookeeper-3.4.5为zookeeper） 1.6 修改环境变量 1、su – root(切换用户到root) 2、vi /etc/profile (修改文件) 3、添加内容： export ZOOKEEPER_HOME=/root/apps/zookeeper export PATH=$PATH:$ZOOKEEPER_HOME/bin 4、重新编译文件生效： source /etc/profile 5、注意：3台zookeeper都需要修改 1.7 修改配置文件  编辑配置文件 cd /root/apps/zookeeper/conf cp /root

1.Zookeeper选举机制 什么时候需要进行选举？ ​ 当Zookeeper集群中的一台服务器出现以下两种情况之一时，需要进行Leader选举： ​ 1）服务器初始化启动 ​ 2）服务器运行期间无法和Leader保持连接 怎样进行选举？ ​ 1. 服务器初始化启动的Leader选举 ​ 前提：至少需要两台服务器，当只有一台服务器时，其单独无法进行Leader选举，当有两台服务器时，并且他们之间可以相互通信，此时才能进入选举状态 ​ 选举过程： ​ 1）每台服务器发出自己的投票。初始投票每台服务器都会投自己，投票内容为（ myid ， ZXID ， Epoch ） ​ 2）接收来自各个服务器的投票。每台服务器接收到其他服务器的投票后，首先判断该投票的有效性（根据Epoch判断是否为本轮投票，是否来自 LOOKING 状态的服务器） ​ 3）处理投票。针对接收到的每一个投票，都需要将该投票与自己的投票进行PK，规则如下： ​ 1）首先检查ZXID，ZXID大的服务器优先作为Leader ​ 2）ZXID相同，myid大的服务器作为Leader ​ 4）将投票的处理结果发送给其他服务器，进行重新投票。 ​ 5）统计投票结果。若超过半数的服务器接受到相同的投票信息，则便可以认为选出了Leader。 ​ 6）改变服务器状态。一旦确定了Leader，每台服务器根据选举结果

zookeeper 安装部署： 官网下载地址： https://archive.apache.org/dist/zookeeper/zookeeper-3.5.5/apache-zookeeper-3.5.5-bin.tar.gz zookeeper支持两种运行模式：独立模式（standalone）和复制模式（replicated） 真正用于生产环境的Zookeeper肯定都是使用复制模式的，这样做可以避免单点问题。想要使用复制模式，但由于没有富余的机器能够使用， 所以可以在单台机器上通过配置来使用复制模式，从而模拟真实的集群环境。 由于Zookeeper集群是通过多数选举的方式产生leader的，因此，集群需要奇数个Zookeeper实例组成，也就是说至少需要3台 演示环境说明： ucloud 云主机， 系统是CentOS6.5 x86_64位 一、zookeeper介绍和安装： 下面的链接是介绍： https://yq.aliyun.com/articles/638031?spm=a2c4e.11153940.0.0.2d9713d4u8uZMC 开始安装： 1.下载的zookeeper 版本是apache-zookeeper-3.5.5-bin.tar.gz 2.准备java环境： 由于apache-zookeeper是基于java环境的，所以要提前部署jdk

服务器节点规划： 节点1：192.168.0.103 节点2：192.168.0.104 节点3：192.168.0.105 安装zookeeper，将zookeeper上传到三个服务器，保存在/home/wanzixiang/app目录下，解压tar包 tar -xzvf zookeeper-3.4.6.tar.gz cd zookeeper-3.4.6 cp conf/zoo_sample.cfg conf/zoo.cfg 节点 1 配置（ 192.168.0.103 ） tickTime=2000 initLimit=10 syncLimit=5 clientPort=2181 dataDir=/home/wanzixiang/app/zookeeper-3.4.6/data 保存数据目录 dataLogDir=/home/wanzixiang/app/zookeeper-3.4.6/log 保存日志目录 server.1=192.168.0.103:2888:3888 server.2=192.168.0.104:2888:3888 server.3=192.168.0.105:2888:3888 echo 1 > /home/wanzixiang/app/zookeeper-3.4.6/data/myid 节点 2 配置（ 192.168.0.104 ） tickTime