ZK

zk下载地址 下载地址 > tar -zxvf zookeeper-3.4.10.tar.gz //解压 > cd zookeeper-3.4.10/conf //切换到配置目录下 > mv zoo_sample.cfg zoo.cfg //更改默认配置文件名称 > vi zoo.cfg //编辑配置文件，自定义dataDir > cd zookeeper-3.4.10/bin //切换到 bin目录 > ./zkServer.sh start //启动 ZooKeeper JMX enabled by default Using config: zookeeper-3.4.10/bin/../conf/zoo.cfg Starting zookeeper ... STARTED > cd zookeeper-3.4.10/bin //切换到 bin目录 > ./zkCli.sh -server 127.0.0.1:2181 来源： https://my.oschina.net/wugong/blog/3105744

一、Zookeeper的搭建方式 Zookeeper安装方式有三种， 单机模式 和 集群模式 以及 伪集群模式 。 ■ 单机模式 ：Zookeeper只运行在一台服务器上，适合测试环境； ■ 伪集群模式 ：就是在一台物理机上运行多个Zookeeper 实例； ■ 集群模式 ：Zookeeper运行于一个集群上，适合生产环境，这个计算机集群被称为一个“集合体”（ensemble） Zookeeper通过复制来实现高可用性，只要集合体中半数以上的机器处于可用状态，它就能够保证服务继续。 为什么一定要超过半数呢 ？这跟 Zookeeper的复制策略 有关：zookeeper确保对znode 树的每一个修改都会被复制到集合体中超过半数的机器上。 1.1 Zookeeper的单机模式搭建 下载 ZooKeeper： http://pan.baidu.com/s/1pJlwbR9 解压 ： tar -zxvf zookeeper-3.4.5.tar.gz 重命名 ： mv zookeeper-3.4.5 zk 配置文件 ：在conf目录下删除 zoo_sample.cfg 文件，创建一个配置文件zoo.cfg。 tickTime =2000 dataDir =/usr/local/zk/data dataLogDir =/usr/local/zk/dataLog clientPort

下载 下载地址 zookeeper ，建议下载 bin 结尾的tar包。 在 readme.md 中可以看到 apache-zookeeper-[version].tar.gz Contains all the source files which can be built by running: mvn clean install To generate an aggregated apidocs for zookeeper-server and zookeeper-jute: mvn javadoc:aggregate (generated files will be at target/site/apidocs) apache-zookeeper-[version]-bin.tar.gz Contains all the jar files required to run ZooKeeper Full documentation can also be found in the docs folder 不以 bin 结尾的需要 mvn clean install，我试过这个 tar 包，麻烦... 单机安装 解压 tar 包 进入 zookeeper 目录，建立 data 文件夹 进入conf，修改 配置文件 初始的配置文件是 zoo_sample.cfg，zookeeper

ZooKeeper伪分布式集群安装及使用 让Hadoop跑在云端系列文章 ，介绍了如何整合虚拟化和Hadoop，让Hadoop集群跑在VPS虚拟主机上，通过云向用户提供存储和计算的服务。 现在硬件越来越便宜，一台非品牌服务器，2颗24核CPU，配48G内存，2T的硬盘，已经降到2万块人民币以下了。这种配置如果简单地放几个web应用，显然是奢侈的浪费。就算是用来实现单节点的hadoop，对计算资源浪费也是非常高的。对于这么高性能的计算机，如何有效利用计算资源，就成为成本控制的一项重要议题了。 通过虚拟化技术，我们可以将一台服务器，拆分成12台VPS，每台2核CPU，4G内存，40G硬盘，并且支持资源重新分配。多么伟大的技术啊！现在我们有了12个节点的hadoop集群， 让Hadoop跑在云端，让世界加速。 关于作者： 张丹(Conan), 程序员Java,R,PHP,Javascript weibo：@Conan_Z blog: http://blog.fens.me email: bsspirit @gmail.com 转载请注明出处： http://blog.fens.me/hadoop-zookeeper-intro/ 前言 ZooKeeper是Hadoop家族的一款高性能的分布式协作的产品。在单机中，系统协作大都是进程级的操作。分布式系统中，服务协作都是跨服务器才能完成的

随着分布式架构运用的越来越多,RPC框架成为了我们不得不掌握的知识,这里一步一步来手写一个简单的RPC框架,以博文作为记录及自我监督。 首先是技术选型,这边我选用的是当前比较流行的Netty+Zookeeper来实现,通过zookeeper的特性来实现服务注册与发现,通信则使用netty框架。 这里贴出github代码地址,想直接看代码的可以直接下载运行: https://github.com/whiteBX/wrpc 这里先来讲服务注册发现原理: 利用zookeeper的创建临时节点和watcher机制,可以做到在一个服务下注册多个服务器地址,并且在节点发生变动时通过watcher动态更新服务器列表,来达到在新增/修改/删除时自动注册发现/删除/更新服务器连接信息 .这里说一点,zookeeper的增删改操作会交由leader去处理,所以这里不用担心并发问题. zookeeper相关代码如下: public class ZKClient { /** * 获取zookeeper连接 * * @param connectString * @param sessionTimeout * @return */ public ZooKeeper newConnection ( String connectString , int sessionTimeout ) { ZooKeeper

ZooKeeper常用客户端有三种：原生客户端、zkClient、curator 项目中使用前，需要导入相关依赖 <dependencies> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>4.12</version> </dependency> <dependency> <groupId>org.apache.zookeeper</groupId> <artifactId>zookeeper</artifactId> <version>3.4.12</version> </dependency> <dependency> <groupId>com.101tec</groupId> <artifactId>zkclient</artifactId> <version>0.10</version> </dependency> <dependency> <groupId>org.apache.curator</groupId> <artifactId>curator-framework</artifactId> <version>4.0.0</version> </dependency> <dependency> <groupId>org.apache.curator<

1 概述 1.1 zookeeper 简介 中间件,提供协调服务 作用于分布式系统,发挥其优势,可以为大数据服务 支持 Java, 提供 Java 和 C语言的客户端 API 1.2 什么是分布式系统 很多台计算机组成一个整体,一个整体一致对外并且处理同一请求 内部的每台计算机都可以相互通信(REST/RPC) 客户端到服务端的一次请求到响应结束会经历多台计算机 1.3 分布式系统的瓶颈 1.3.1 zookeeper 的特性 一致性 数据一致性,数据按照顺序分批入库 原子性 事务要么成功要么失败,不会局部化 单一视图 客户端连接集群中的任一 zk 节点,数据都是一致的 可靠性 每次对 zk的操作状态都会保存在服务端 实时性 客户端可以读取到 zk 服务端的最新数据 2 下载、安装以及配置 安装 JDK 2.1 单机模式 2.1.1 Linux环境操作 2.1.2 Mac OS操作 $brew install zookeeper ==> Downloading https://homebrew.bintray.com/bottles/zookeeper-3.4.6_1.mavericks.bottle.2.tar.gz ######################################################################## 100.0% ==

什么是 zookeeper? Zookeeper 是google的chubby一个开源实现，是hadoop的分布式协调服务 它包含一个简单的原语集,分布式应用程序可以基于它实现同步服务，配置维护和命名服务等。 在Hbase中会用到。 Zk(zookeeper简称)可以用来保证数据在zk集群之间的数据的事物性一致。 Zk默认数据2M以下。 zookeeper架构图 如何搭建Zookeeper服务器集群 zk服务器集群规模不小于3节点，要求服务器之间系统时间要保持一致。 将下载的zookeeper复制到/usr/local 里，解压： tar –zxvf zookeeper- 3.4 .5 .tar .gz 重命名： mv zookeeper- 3.4 .5 .tar .gz zk 在hadoop的/usr/local目录下，解压缩zk….tar.gz，设置环境变量 设置环境变量： 加入： export ZOOKEEPER_HOME=/usr/local/zk 在PATH 后面追加： : $ZOOKEEPER_HOME /bin 使环境变量生效： source /etc/profile 在conf目录下，修改文件 mv zoo_sample .cfg zoo .cfg [root@hadoop zk] # cd conf [root@hadoop conf] # ls

1.zookeeper简介 1.1简介 Zookeeper是一个分布式协调服务，换言之，就是为用户的分布式应用程序提供协调服务 - zookeeper是为别的分布式程序服务的 - Zookeeper本身就是一个分布式程序（只要有半数以上节点存活，zk就能正常服务） - Zookeeper所提供的服务涵盖：主从协调、服务器节点动态上下线、统一配置管理、分布式共享锁、统一名称服务 - 虽然说可以提供各种服务，但是zookeeper在底层其实只提供了两个功能（管理数据和监听数据）： 管理(存储，读取)用户程序提交的数据； 并为用户程序提供数据节点监听服务； 1.2 Zookeeper集群的角色： Leader 和 follower Zookeeper在配置文件中并没有指定master和slave，启动之后通过内部的选举机制选举出leader和follower，而且只有一个leader，其他则为follower。zookeeper集群中只要有半数以上节点存活，集群就能提供服务。 2.zookeeper集群机制 半数机制：集群中半数以上机器存活，集群可用。 zookeeper适合装在奇数台机器上！！！ 2.zookeeper安装与配置 2.1zookeeper安装 安装到3台虚拟机上（需要提前安装好JDK） 将zookeeper压缩包上传至/apps/package目录并解压 tar

Watcher是什么 在ZooKeeper中，接口类Watcher用于表示一个标准的事件处理器，其定义了事件通知相关的逻辑，包含KeeperState和EventType两个枚举类，分别代表了通知状态和事件类型，同时定义了事件的回调方法：process（WatchedEvent event） 同一个事件类型在不同的通知状态中代表的含义有所不同， 表7-3列举了常见的通知状态和事件类型。 KeeperState EventType 触发条件 说明 None （-1） 客户端与服务端成功建立连接 SyncConnected （0） NodeCreated （1） Watcher监听的对应数据节点被创建 NodeDeleted （2） Watcher监听的对应数据节点被删除 此时客户端和服务器处于连接状态 NodeDataChanged （3） Watcher监听的对应数据节点的数据内容发生变更 NodeChildChanged （4） Wather监听的对应数据节点的子节点列表发生变更 Disconnected （0） None （-1） 客户端与ZooKeeper服务器断开连接 此时客户端和服务器处于断开连接状态 Expired （-112） Node （-1） 会话超时 此时客户端会话失效，通常同时也会受到SessionExpiredException异常 AuthFailed