zookeeper原理

#0 系列目录# 聊聊远程通信 Java远程通讯技术及原理分析 聊聊Socket、TCP/IP、HTTP、FTP及网络编程 RMI原理及实现 RPC原理及实现 轻量级分布式 RPC 框架 使用 RMI + ZooKeeper 实现远程调用框架 深入浅出SOA思想 微服务、SOA 和 API对比与分析 聊聊同步、异步、阻塞与非阻塞 聊聊Linux 五种IO模型 聊聊IO多路复用之select、poll、epoll详解 聊聊C10K问题及解决方案 #1 简介# RPC 的主要功能 目标是让构建分布式计算（应用）更容易 ，在提供强大的远程调用能力时不损失本地调用的语义简洁性。为实现该目标，RPC 框架需提供一种透明调用机制让使用者 不必显式的区分本地调用和远程调用 。 #2 调用分类# RPC 调用分以下两种： 同步调用 客户方等待调用执行完成并返回结果。 异步调用 客户方调用后不用等待执行结果返回，但依然可以通过回调通知等方式获取返回结果。 若客户方不关心调用返回结果，则变成单向异步调用，单向调用不用返回结果。 异步和同步的区分在于是否等待服务端执行完成并返回结果 。 #3 结构拆解# RPC 服务方通过 RpcServer 去导出（export）远程接口方法 ，而 客户方通过 RpcClient 去引入（import）远程接口方法 。 客户方像调用本地方法一样去调用远程接口方法，

Zookeeper基于ZAB（Zookeeper Atomic Broadcast），实现了主备模式下的系统架构，保持集群中各个副本之间的数据一致性。 ZAB协议定义了选举（election）、发现（discovery）、同步（sync）、广播(Broadcast)四个阶段。 选举（election）是选出哪台为主机； 发现（discovery）、同步（sync）当主选出后，要做的恢复数据的阶段； 广播(Broadcast)当主机和从选出并同步好数据后，正常的主写同步从写数据的阶段。 下面简单地介绍下ZAB协议，目的是能够快速了解其精髓，快速掌握ZAB协议。然后通过论文了解具体协议的细节。主要介绍选举和广播两个阶段。 基本概念 我们了解下zk的一些基本概念。 zk集群有三种角色： leader 就是我们说的主； follower 就是我们说的从； observer 可以认为是主的clone copy，不参与投票，本文可忽略； zk集群的一个节点，有三种状态： looking 选举状态，当前群龙无首； leading leader才有的状态； following follower才有的状态； 每次写成功的消息，都有一个全局唯一的标识，叫zxid。是64bit的正整数，高32为叫epoch表示选举纪元，低32位是自增的id，每写一次加一。 可以想象为中国古代的年号，例如万历十五年

大型分布式系统原理概述 分布式系统三要素 ​ CPU:处理器 ​ Memory:内存 ​ IO:外存 ​ MultiCore:多核心 ​ LocalDisk:本地磁盘 ​ Networker:网络，网络存储 ​ RDMA:远程内存直接访问 ​ NUMA:分布式系统CPU和内存进行整合，对内存进行捆绑，是硬件层级的，（相似与ThreadLocal,将数据和实时运行线程绑定到一起），网卡直接绕过CPU共享内存，速度非常快 ​ 分布式系统三要素的进化 ​ 桌面级八核心十六线程CPU于2014年诞生，2015年Intel预计发布18核心桌面级CPU ​ NUMA在大中型系统上一直非常盛行，NUMA能很好提升系统吞吐能力，特别对于Java以及数据这样占用大内存的系统，但一直以来没有得到 DBA 们足够的重视、 Java领域也很少有人研究 ​ RDMA（远程内存直接访问，网络传输协议，类似TCP,更低延迟）是超高性能计算UHPC的重要基础之一，而Direct Socket Protocol （SDP）作为RDMA的传输协议已经在很多关键领域取代了TCP，Java7也正式开始支持SDP，跨入了UHPC的领地。 ​ IO方面，万兆网正在崛起，万兆网的ISCSI存储， 单通道可达到500MB/s， 每秒500,000个IO能力，而目前主流的SSD硬盘的速度是400-550MB/s。 ​ ===

Zookeeper是分布式一致性问题的工业解决方案，是Apache Hadoop下解决分布式一致性的一个组件，后被分离出来成为Apache的顶级项目。 工程来源：是雅虎公司内部项目，据说雅虎内部很多项目都是以动物命名，这个动物管理员的名字起的很是形象。 被开源出来后得到开源社区的快速推进，服务端Java语言实现，棒，git有3000+的star： https://github.com/apache/zookeeper zookeeper集群结构 集群的角色，比较典型的是Master/Slave(主备模式)，zk中的概念跟这个不一样，包含Leader、Follower、Observer三个角色，leader提供读和写的能力，follower只对外提供读的能力。 会话（session） 客户端跟服务端交互，是先与服务端建立一个TCP长连接，会话开始，通过心跳检测与服务端保持会话有效，向服务端发送请求和接收响应。 zk将所有的数据都加载在内存一份，同时有事务日志文件（持久化文件），服务端会定时dump快照数据，重启机器的时候会根据快照和事务日志恢复内存数据库的数据，这跟redis的AOF和RDB概念类似。 zookeeper上的数据结构 zk上的数据的结构跟linux文件系统很像，是个树状结构 节点（node）上的信息字段 节点类型包括： 持久型节点 顺序持久型节点 临时节点

随着分布式架构运用的越来越多,RPC框架成为了我们不得不掌握的知识,这里一步一步来手写一个简单的RPC框架,以博文作为记录及自我监督。 首先是技术选型,这边我选用的是当前比较流行的Netty+Zookeeper来实现,通过zookeeper的特性来实现服务注册与发现,通信则使用netty框架。 这里贴出github代码地址,想直接看代码的可以直接下载运行: https://github.com/whiteBX/wrpc 这里先来讲服务注册发现原理: 利用zookeeper的创建临时节点和watcher机制,可以做到在一个服务下注册多个服务器地址,并且在节点发生变动时通过watcher动态更新服务器列表,来达到在新增/修改/删除时自动注册发现/删除/更新服务器连接信息 .这里说一点,zookeeper的增删改操作会交由leader去处理,所以这里不用担心并发问题. zookeeper相关代码如下: public class ZKClient { /** * 获取zookeeper连接 * * @param connectString * @param sessionTimeout * @return */ public ZooKeeper newConnection ( String connectString , int sessionTimeout ) { ZooKeeper

什么是分布式锁 概述 为了防止分布式系统中的多个进程之间相互干扰，我们需要一种分布式协调技术来对这些进程进行调度。而这个分布式协调技术的核心就是来实现这个 分布式锁 。 分布式锁应具备的条件 在分布式系统环境下，一个方法在同一时间只能被一个机器的一个线程执行 高可用的获取锁与释放锁 高性能的获取锁与释放锁 具备可重入特性 具备锁失效机制 具备非阻塞锁特性，即没有获取到锁将直接返回获取锁失败 分布式锁有哪些实现 Memcached：利用 Memcached 的 add 命令。此命令是原子性操作，只有在 key 不存在的情况下，才能 add 成功，也就意味着线程得到了锁。 Redis：利用 setnx 命令。此命令同样是原子性操作，只有在 key 不存在的情况下，才能 set 成功。 Zookeeper：利用 Zookeeper 的顺序临时节点，来实现分布式锁和等待队列。Zookeeper 设计的初衷，就是为了实现分布式锁服务的。 Chubby：Google 公司实现的粗粒度分布式锁服务，底层利用了 Paxos 一致性算法。 Redis分布式锁的实现 加锁 setnx(lock_sale_商品ID, 1) 当一个线程实行 setnx 返回 1 ，说明 key 原本不存在，该线程成功的到了锁；当一个线程执行 setnx 返回 0 ，说明 key 已经存在，该线程抢锁失败。 解锁

一、zookeeper 是什么 Zookeeper是一个分布式协调服务，可用于服务发现，分布式锁，分布式领导选举，配置管理等。这一切的基础，都是Zookeeper提供了一个类似于Linux文件系统的树形结构（可认为是轻量级的内存文件系统，但只适合存少量信息，完全不适合存储大量文件或者大文件），同时提供了对于每个节点的监控与通知机制。既然是一个文件系统，就不得不提Zookeeper是如何保证数据的一致性的。 二、zookeeper 集群架构 Zookeeper集群是一个基于主从复制的高可用集群，通常 Master服务器作为主服务器提供写服务，其他的 Slave 服务器通过异步复制的方式获取 Master 服务器最新的数据，并提供读服务，在 ZooKeeper 中没有选择传统的 Master/Slave 概念，而是引入了Leader、Follower 和 Observer 三种角色，每个角色承担如下： Leader 一个Zookeeper集群同一时间只会有一个实际工作的Leader，它会发起并维护与各Follwer及Observer间的心跳。所有的写操作必须要通过Leader完成再由Leader将写操作广播给其它服务器。 Follower 一个Zookeeper集群可能同时存在多个Follower，它会响应Leader的心跳。Follower可直接处理并返回客户端的读请求

一、分布式协调技术概述： 概述： 在介绍ZooKeeper之前先介绍一种技术——分布式协调技术。那么什么是分布式协调技术？那么我来告诉大家，其实分布式协调技术主要用来解决分布式环境当中多个进程之间的同步控制，让他们有序的去访问某种临界资源； 图中有三台机器，每台机器各跑一个应用程序。然后将这三台机器通过网络将其连接起来，构成一个系统来为用户提供服务，对用户来说这个系统的架构是非透明的，他感觉不到我这个系统是一个什么样的架构。那么我们就可以把这种系统称作一个分布式系统。 　　那我们接下来再分析一下，在这个分布式系统中如何对进程进行调度，我假设在第一台机器上挂载了一个资源，然后这三个物理分布的进程都要竞争这个资源，但我们又不希望他们同时进行访问，这时候我们就需要一个协调器，来让他们有序的来访问这个资源； 二、zookeeper概述： 概述： ZooKeeper 是一个分布式的，开放源码的分布式应用程序协调服务，是 Google 的 Chubby 一个开源的实现。它提供了简单原始的功能，分布式应用可以基于它实现更高级的服务，比如分布式同步，配置管理，集群管理，命名管理，队列管理。它被设计为易于编程，使用文件系统目录树作为数据模型。我们设计 ZooKeeper 的目的是为了减轻分布式应用程序所承担的协调任务 ZooKeeper 是集群的管理者，监视着集群中各节点的状态

分布式案例–zookeeper 下载地址 zookeeper 分布式案例写完后发觉少了zookeeper的使用说明，对此感到十分抱歉，前段时间忙着赶项目，写博客时就没有以往的严谨。对于zookeeper原理性的东西我就不说明了，个人比较以讲解实际操作为准。 下载zookeeper后默认放在D盘根目录下（简单说就是在D盘），没有D盘可以放在其他盘，仍然是根目录下（不能有中文路径哦）。 分布式项目启动前优先启动（路径：D:\zookeeper\zookeeper-3.4.6\bin） 备注：不能关闭哦，不然无法启动分布式协调机制。 遇到问题的小伙伴可以在评论下留下您的问题，博主抽时间解答！ 非常感谢收看。 来源： CSDN 作者： 岽仔玖等 链接： https://blog.csdn.net/ajlgl/article/details/70207755

文章目录 1.分布式锁常见解决方案 2. 基于zookeeper实现分布式锁原理 2. zookeeper实现分布式锁代码 1.分布式锁常见解决方案 分布式锁解决方案（目的：为了保证在分布式领域中共享数据安全问题） 数据库实现分布式锁（不推荐、效率特别低） 基于redis实现分布式锁 setNX（非常麻烦 考虑死锁、释放问题） redsession分布式锁 基于Zookeeper实现分布式锁（强烈推荐） SpringCloud内置实现全局锁 zookeeper实现分布式锁非常简单，使用临时节点释放锁（效率高）、失效时间容易控制 2. 基于zookeeper实现分布式锁原理 2. zookeeper实现分布式锁代码 创建接口 public interface Lock { //获取到锁的资源 public void getLock ( ) ; // 释放锁 public void unLock ( ) ; } 创建ZookeeperAbstractLock抽象类 //将重复代码写入子类中.. public abstract class ZookeeperAbstractLock implements Lock { // zk连接地址 private static final String CONNECTSTRING = "127.0.0.1:2181" ; // 创建zk连接