zookeeper集群

1.ZooKeeper是什么？ ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，它是集群的管理者，监视着集群中各个节点的状态根据节点提交的反馈进行下一步合理操作。最终，将简单易用的接口和性能高效、功能稳定的系统提供给用户 2.ZooKeeper提供了什么？ 1)文件系统 2)通知机制 3.Zookeeper文件系统 每个子目录项如 NameService 都被称作为znode，和文件系统一样，我们能够自由的增加、删除znode，在一个znode下增加、删除子znode，唯一的不同在于znode是可以存储数据的。 有四种类型的znode： 1、PERSISTENT-持久化目录节点 客户端与zookeeper断开连接后，该节点依旧存在 2、PERSISTENT_SEQUENTIAL-持久化顺序编号目录节点 客户端与zookeeper断开连接后，该节点依旧存在，只是Zookeeper给该节点名称进行顺序编号 3、EPHEMERAL-临时目录节点 客户端与zookeeper断开连接后，该节点被删除 4、EPHEMERAL_SEQUENTIAL-临时顺序编号目录节点 客户端与zookeeper断开连接后，该节点被删除，只是Zookeeper给该节点名称进行顺序编号 4.Zookeeper通知机制 客户端注册监听它关心的目录节点

Zookeeper是一个针对大型分布式系统的可靠协调系统。提供的功能包括：配置维护、名字服务、分布式同步、组服务等。目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。Zookeeper已经成为Hadoop生态系统中的基础组件。 Zookeeper有如下特点： 最终一致性：为客户端展示同一视图，这是zookeeper最重要的功能。 可靠性：如果消息被到一台服务器接受，那么它将被所有的服务器接受。 实时性：Zookeeper不能保证两个客户端能同时得到刚更新的数据，如果需要最新数据，应该在读数据之前调用sync()接口。 等待无关（wait-free）：慢的或者失效的client不干预快速的client的请求。 原子性：更新只能成功或者失败，没有中间状态。 顺序性：所有Server，同一消息发布顺序一致。 Zookeeper的应用有 HDFS、YARN、Storm、HBase、Flume、Dubbo（阿里巴巴）以及metaq阿里巴巴）。 Zookeeper基本原理 Zookeeper的架构如图所示。 每个Server在内存中存储了一份数据。当Zookeeper启动时，将从实例中选举一个leader（Paxos协议）。Leader负责处理数据更新等操作（Zab协议）。一个更新操作成功，当且仅当大多数Server在内存中成功修改数据。

ZooKeeper 是一个分布式的，开放源码的分布式应用程序协调服务，它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等。 Zookeeper 是 hadoop 的一个子项目，其发展历程无需赘述。在分布式应用中，由于工程师不能很好地使用锁机制，以及基于消息的协调机制不适合在某些应用中使用，因此需要有一种可靠的、可扩展的、分布式的、可配置的协调机制来统一系统的状态。 Zookeeper 的目的就在于此。 1. Zookeeper 的基本概念 1.1. 角色 Zookeeper 中的角色主要有以下三类，如下表所示： 系统模型如图所示： 1.2. 特点 1. 最终一致性： client 不论连接到哪个 Server ，展示给它都是同一个视图，这是 zookeeper 最重要的性能。 2. 可靠性：具有简单、健壮、良好的性能，如果消息 m 被到一台服务器接受，那么它将被所有的服务器接受。 一旦一个更新操作被应用，那么在客户端再次更新它之前，它的值将不会改变。这个保证将会产生下面两种结果： Ø 如果客户端成功地获得了正确的返回代码，那么说明更新已经成果。如果不能够获得返回代码（由于通信错误、超时等等），那么客户端将不知道更新操作是否生效。 Ø 当从故障恢复的时候，任何客户端能够看到的执行成功的更新操作将不会被回滚。 3. 可用性：Zookeeper

ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等。Zookeeper是hadoop的一个子项目，其发展历程无需赘述。在分布式应用中，由于工程师不能很好地使用锁机制，以及基于消息的协调机制不适合在某些应用中使用，因此需要有一种可靠的、可扩展的、分布式的、可配置的协调机制来统一系统的状态。Zookeeper的目的就在于此。本文简单分析zookeeper的工作原理，对于如何使用zookeeper不是本文讨论的重点。 1 Zookeeper的基本概念 1.1 角色 Zookeeper中的角色主要有以下三类，如下表所示： 系统模型如图所示： 1.2 设计目的 1.最终一致性：client不论连接到哪个Server，展示给它都是同一个视图，这是zookeeper最重要的性能。 2 .可靠性：具有简单、健壮、良好的性能，如果消息m被到一台服务器接受，那么它将被所有的服务器接受。 3 .实时性：Zookeeper保证客户端将在一个时间间隔范围内获得服务器的更新信息，或者服务器失效的信息。但由于网络延时等原因，Zookeeper不能保证两个客户端能同时得到刚更新的数据，如果需要最新数据，应该在读数据之前调用sync()接口。 4 .等待无关（wait-free）

1.3.1 集群运行模式 ZooKeeper集群状态可以通过zkServer.sh脚本检测，命名如下所示: $ zkServer.sh status JMX enabled by default Using config: /usr/share/zookeeper- 3.4 .6 /bin/../conf/zoo.cfg Mode: standalone 从Mode：standlone信息说明，它是单一节点。另外，可以使用jps命令查看对应ZooKeeper运行进程名称QuorumPeerMain。 $jps 27847 QuorumPeerMain 5003 jar 1.3.2 连接到服务器节点 运行基于ZooKeeper命名行shell脚本，只需要运行zkCli.sh 加参数。运行脚本如下所示： ${ZK_HOME} /bin/zkCli.sh –server zk_server:port 1.3.3 连接到集群 连接到ZooKeeper法人集群中，可以通过命令行shell脚本zkCli.sh 。具体命令如下： ${ZK_HOME} /bin/zkCli.sh -server zoo1: 2181 ,zoo2: 2181 ,zoo3: 2181 迎春节，猴年大吉大利！ 欢迎关注我的微信公众号 来源： CSDN 作者： John00000001 链接： https://blog

zookeeper配置单机伪集群，启动后查看状态没有正常运行。 [root @ZhOu bin] # zkServer.sh start ZooKeeper JMX enabled by default Using config : /usr/opt/zookeeper/bin/ ../conf/zoo.cfg Starting zookeeper ... STARTED [root @ZhOu bin] # zkServer.sh status ZooKeeper JMX enabled by default Using config : /usr/opt/zookeeper/bin/ ../conf/zoo.cfg Error contacting service. It is probably not running. 打开bin中zookeeper.out，提示错误信息如下： org.apache.zookeeper.server.quorum.QuorumPeerConfig$ConfigException: Error processing /usr/opt/zookeeper1/bin/../conf/zoo .cfg at org .apache .zookeeper .server .quorum .QuorumPeerConfig .parse

一、ZooKeeper 基本概念 1、ZooKeeper 是什么？ Zookeeper官网地址： http://zookeeper.apache.org/ Zookeeper官网文档地址： http://zookeeper.apache.org/doc/trunk/index.html ZooKeeper 是Hadoop下的一个子项目，它是一个针对大型分布式系统的可靠协调系统；它提供的功能包括：配置维护、名字服务、分布式同步、组服务等； 它的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。 Zookeeper一个最常用的使用场景就是用于担任服务生产者和服务消费者的注册中心，服务生产者将自己提供的服务注册到Zookeeper中心，服务的消费者在进行服务调用的时候先到Zookeeper中查找服务，获取到服务生产者的详细信息之后，再去调用服务生产者的内容与数据，简单示例图如下： 2、ZooKeeper设计目标： ZooKeeper允许分布式进程通过共享的层次结构命名空间进行相互协调，这与标准文件系统类似。 名称空间由ZooKeeper中的数据寄存器组成 - 称为znode，这些类似于文件和目录。 与为存储设计的典型文件系统不同，ZooKeeper数据保存在内存中，这意味着ZooKeeper可以实现高吞吐量和低延迟。

1、Zookeeper原理、结构——Kuring 经典 本文会从zookeeper的基础原理出发，整个服务的组成与实现，对于相关技术会有说明，为提升阅读效率不做过多解释。 zookeeper组成： 注：观察者（类似redis的备份）只接受INFORM消息，不包括提议proposal，可用于不同数据中心的数据交换，简单的说，主要用于读取，转发请求给Leader，且不处理事务，不会增加高可用性。 Zookeeper作为 分布式文件同步监听系统。 Zookeeper的核心是 原子广播（Zab），这个机制保证了各个Server之间的同步。 实现这个机制的协议叫做Zab协议。Zab协议有两种模式，它们分别是恢复模式（选主）和广播模式（同步）。当服务启动或者在领导者崩溃后，Zab就进入了恢复模式，当领导者被选举出来，且大多数Server完成了和leader的状态同步以后，恢复模式就结束了。状态同步保证了leader和Server具有相同的系统状态。 为了保证事务的顺序一致性， zookeeper采用了递增的事务id号（zxid）来标识事务 。 一、请求、事务、标识符 zookeeper 服务器会在本地处理只读请求，exists、getData、getChildren。 更改change类型请求，create、delete、setData，会发送给群首leader，由群首 执行相应的请求

hbase是列式数据库，既可以单机也可以以集群的方式搭建，以集群的方式搭建一般建立在hdfs之上。 分布式的hbase如何启动？ 首先启动hadoop，然后就来问题了：zookeeper和hbase的启动顺序是什么？ 1,先启动hbase:hbase有内置的zookeeper，如果没有装zookeeper，启动hbase的时候会有一个HQuorumPeer进程。 2.先启动zookeeper：如果用外置的zookeeper管理hbase，则先启动zookeeper，然后启动hbase，启动后会有一个QuorumPeerMain进程。 两个进程的名称不一样 HQuorumPeer表示hbase管理的zookeeper QuorumPeerMain表示zookeeper独立的进程 来源： CSDN 作者： Beeman_xia 链接： https://blog.csdn.net/Beeman_xia/article/details/76825743

ZooKeeper是 Hadoop Ecosystem中非常重要的组件，它的主要功能是为分布式系统提供一致性协调(Coordination)服务，与之对应的Google的类似服务叫Chubby。今天这篇文章分为三个部分来介绍ZooKeeper，第一部分介绍ZooKeeper的基本原理，第二部分介绍ZooKeeper提供的Client API的使用，第三部分介绍一些ZooKeeper典型的应用场景。 ZooKeeper基本原理 1. 数据模型 如上图所示，ZooKeeper数据模型的结构与Unix文件系统很类似，整体上可以看作是一棵树，每个节点称做一个ZNode。每个ZNode都可以通过其路径唯一标识，比如上图中第三层的第一个ZNode, 它的路径是/app1/c1。在每个ZNode上可存储少量数据(默认是1M, 可以通过配置修改, 通常不建议在ZNode上存储大量的数据)，这个特性非常有用，在后面的典型应用场景中会介绍到。另外，每个ZNode上还存储了其Acl信息，这里需要注意，虽说ZNode的树形结构跟Unix文件系统很类似，但是其Acl与Unix文件系统是完全不同的，每个ZNode的Acl的独立的，子结点不会继承父结点的，关于ZooKeeper中的Acl可以参考之前写过的一篇文章《 说说Zookeeper中的ACL 》。 2.重要概念 2.1 ZNode 前文已介绍了ZNode