zookeeper集群

一：zookeeper是什么 What is ZooKeeper? ZooKeeper is a centralized service for maintaining configuration information, naming, providing distributed synchronization, and providing group services. All of these kinds of services are used in some form or another by distributed applications. Each time they are implemented there is a lot of work that goes into fixing the bugs and race conditions that are inevitable. Because of the difficulty of implementing these kinds of services, applications initially usually skimp on them, which make them brittle in the presence of change and difficult to manage. Even

问题描述 测试环境ZK集群的三个节点中zk1状态虽然是 follower ，启动也能正常启动（通过telnet也能telnet 2181端口）; 无法通过zk客户端去连接2181端口，状态一致是 CONNECTING 查看zk集群所有节点状态 /data/zookeeper-new-1/bin/zkServer.sh status /data/zookeeper-new-2/bin/zkServer.sh status /data/zookeeper-new-3/bin/zkServer.sh status 得到zk2是主节点 查看各个节点的data数据大小 du -h /data/zookeeper/tmp/zk1/data/version-2/ --max-depth=1 du -h /data/zookeeper/tmp/zk2/data/version-2/ --max-depth=1 du -h /data/zookeeper/tmp/zk3/data/version-2/ --max-depth=1 [appadm@moonmall_Z1 zookeeper]$ du -h /data/zookeeper/tmp/zk1/data/version-2/ --max-depth=1 2.4G /data/zookeeper/tmp/zk1/data/version-2/

一、版本 CentOS 7.5 zookeeper-3.4.12 kafka _2.12-1.1.0 二、zookeeper安装 1、下载解压zookeeper压缩包 tar -zvxf zookeeper-3.4.12.tar.gz 2、创建数据与日志文件夹 mkdir /usr/local/zookeeper-3.4.12/data mkdir /usr/local/zookeeper-3.4.12/logs 3、复制配置文件 进入conf目录，复制zoo_sample.cfg cp zoo_sample.cfg zoo.cfg 4、进入data目录，执行命令 echo 1 > myid 创建myid文件并输入值为1，依次在另外两台机器上执行同样的操作，myid的数值依次为2，3配置成功； 5、修改配置文件 # The number of milliseconds of each tick tickTime=2000 # The number of ticks that the initial # synchronization phase can take initLimit=10 # The number of ticks that can pass between # sending a request and getting an acknowledgement

Dubbo 阿里框架 ZooKeeper顾名思意：动物园管理员 它是拿来管大象(Hadoop)、蜜蜂(Hive)、小猪(Pig)的管理员， Apache Hbase和Apache Solr以及阿里的Dubbo等项目中都采用到了Zookeeper 。 一句话：ZooKeeper是一个分布式协调技术、高性能的，开源的分布式系统的协调(Coordination)服务 ，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。 它是一个为分布式应用程序一致性和分布式协调技术服务的软件。 设计模式来理解： 是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据， 然后接受观察者的注册，一旦这些数据的状态发生变化，Zookeeper就将负责通知已经在 Zookeeper上注册的那些观察者做出相应的反应，从而实现集群中类似Master/Slave管理模式 zookeeper=类似unix文件系统+通知机制+Znode节点 作用：服务注册+分布式系统的一致性通知协调 https://zookeeper.apache.org/releases.html#download 统一命名服务（Name Service如Dubbo服务注册中心) Dubbo是一个分布式服务框架，致力于提供高性能和透明化的RPC远程服务调用方案

#0 系列目录# Zookeeper系列 【Zookeeper系列一】Zookeeper应用介绍与安装部署 【Zookeeper系列二】ZooKeeper典型应用场景实践 【Zookeeper系列三】ZooKeeper Java API使用 【Zookeeper系列四】ZooKeeper 分布式锁实现 【Zookeeper系列五】ZooKeeper 实时更新server列表 【Zookeeper系列六】Zookeeper 工作原理 Zookeeper源码 【Zookeeper源码一】Zookeeper 源码环境搭建 【Zookeeper源码二】Zookeeper 客户端创建连接过程分析 【Zookeeper源码三】Zookeeper 单机版服务器介绍 【Zookeeper源码四】Zookeeper 集群版服务器介绍 【Zookeeper源码五】Zookeeper 集群版建立连接过程 Zookeeper应用 基于ZooKeeper的分布式Session实现 ZooKeeper提供了Java和C的binding. 本文关注Java相关的API. #1 准备工作# 拷贝ZooKeeper安装目录下的zookeeper.x.x.x.jar文件到项目的classpath路径下. #2 创建连接和回调接口# 首先需要创建ZooKeeper对象, 后续的一切操作都是基于该对象进行的.

学了zookeeper有一段时间了，写个博客记录一下。。。 一、zookeeper是什么？ zookeeper是一个高效的分布式协调服务，它暴露了一些公共服务，比如起名/配置管理/同步控制/群组控制等。我们可以使用zk来实现达成共识、集群管理、lender选举等。 zookeeper是一个高可用的分布式管理和协调框架，基于ZAB算法（原子消息广播协议）的实现。该框架可以很好地保证分布式环境中数据的一致性。正是基于这样的特性，使得zookeeper成为解决分布式一致性的有效利器。 二、安装zookeeper 安装zookeeper的前提要安装jdk。 1、将zookeeper的软件包放到linux环境中 2、在local目录下创建一个zookeeper文件夹 3、将zookeeper安装包解压到zookeeper文件夹中 4、将zookeeper安装目录下的conf文件夹中的zoo_sample.cfg 改名为zoo.xfg 5、利用vi zoo.cfg编辑zoo.cfg文件内容 6、在zookeeper安装目录下创建文件夹data，并在文件夹下创建myid文件 7、编辑myid文件，根据之前配置的集群信息，填写对应的值。我的192.168.1.23是3号机器，所以这个位置要填写3 8、配置环境变量vi /etc/profile 9、令配置文件生效，执行source命令 10

前提：三台服务器。由于kafka是依赖与zookeeper的，所以必须要下载zookeeper，然后下载kafka zookeeper： 下载zookeeper：在linux中/usr/local/下面运行下面命令进行下载 wget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gz 解压命令：tar -zxvf zookeeper-3.4.14.tar.gz 加压完毕后会看见一个 zookeeper-3.4.14 的文件夹。 执行命令：cd /usr/local/ zookeeper-3.4.14 /conf 执行命令：mv zoo_sample.cfg zoo.cfg （将文件名修改一个，必须要修改） 执行命令：vi zoo.cfg 找到dataDir修改值为/usr/local/ zookeeper-3.4.14 /data 在 zookeeper-3.4.14 下面创建文件夹data （命令是mkdir data） 在最后面添加（注意里面的 ip是你需要安装zookeeper的主机 ip） server.0=ip:2888:3888 server.1=ip:2888:3888 server.2=ip:2888:3888 保存退出（命令

一、kafka各成员 kafka： 分布式消息系统，将消息直接存入磁盘，默认保存一周。 broker： 组成kafka集群的节点，之间没有主从关系，依赖zookeeper来协调，broker负责满息的读写和存储，一个broker可以管理多个partition. producer： 消息的生产者，自己决定向哪个partition中去生产消息，两种机利：hash，轮循。 consumer： 消息的消费者，consumer通过zookeeper去维护消费者偏移量。consumer有自己的消费者组，不同的组之间消费同一个topic数据，互不影响， 相同的组内的不同的consumer消费同一个topic，这个topic中相同的数据只能被消费一次。 topic： 一类消息总称/一个消息队列。topic是由partition组成的，有多少？-> 创建指定。 partition： 组成topic的单元，每个partition有副本，有多少？-> 创建topic时指定。每个partition只能由一个broker来管理，这个broker就是这个partition的leader。 zookeeper： 协调kafka broker，存储原数据：consumer的offset+broker信息+topic信息+partition信息； 二、分析zookeeper元数据存储 1、创建topic [root

一致性级别划分 关于分布式系统一致性级别的划分，有些文章划分为 强一致性，顺序一致性以及弱一致性 。 最终一致性属于弱一致性，最终一致性根据更新数据后各进程访问到数据的时间和方式的不同划分为： 因果一致性、 “读己之所写（read-your-writes）”一致性、 会话（Session）一致性、 单调（Monotonic）读一致性、 单调写一致性 另一种，根据一致性的强弱程度不同，直接划分为 强一致性、单调一致性、会话一致性、最终一致性和弱一致性 。 最终一致性和顺序一致性的区别 最终一致性和顺序一致性的差别非常大。 顺序一致性是更强的一致性模型，最终一致性模型是非常弱的一致性模型。可以这么说，满足顺序一致性的系统一定满足最终一致性，但满足最终一致性的系统不一定满足顺序一致性。比如，zookeeper是顺序一致性，zookeeper也满足最终一致性；cassandra是最终一致性，但cassandra不满足顺序一致性。 ZK一致性级别分析 博文 《线性一致性(Linearizability)是并发控制的基础》 中提到【在分布式领域中，我们也会说线性一致性，例如Zookeeper是线性一致性的，再比如分布式领域著名的CAP定理中的C，也是指线性一致性。】 作者的意思是他在文章中提到的【Zookeeper是线性一致性的】是为了举例说明线性一致性也会用来描述分布式系统

说明：该集群的搭建是为了服务于solr集群，请参考我的关于solr集群搭建的博客。 1、创建solr-cloud目录 mkdir /usr/local/solr-cloud 2、将解压的apache-zookeeper-3.5.5-bin复制三份到solr-cloud目录中 cp -r apache-zookeeper-3.5.5-bin /usr/local/solr-cloud/zookeeper01 cp -r apache-zookeeper-3.5.5-bin /usr/local/solr-cloud/zookeeper02 cp -r apache-zookeeper-3.5.5-bin /usr/local/solr-cloud/zookeeper03 　　 3、进入zookeeper01目录，创建data目录，用于存放zookeeper的数据文件 mkdir data 　　 4、进入data目录，创建myid文件，代表着节点的编号 touch myid 　　 5、编辑myid文件 　　写入数字1 　　 　　 6、进入conf目录 cp zoo_sample.cfg zoo.cfg 　　 7、编辑zoo.cfg文件 　　修改dataDir路径为/usr/local/solr-cloud/zookeeper01/data 　　修改端口clientPort为2182