zookeeper集群

一、Zookeeper的搭建方式 Zookeeper安装方式有三种， 单机模式 和 集群模式 以及 伪集群模式 。 ■ 单机模式 ：Zookeeper只运行在一台服务器上，适合测试环境； ■ 伪集群模式 ：就是在一台物理机上运行多个Zookeeper 实例； ■ 集群模式 ：Zookeeper运行于一个集群上，适合生产环境，这个计算机集群被称为一个“集合体”（ensemble） Zookeeper通过复制来实现高可用性，只要集合体中半数以上的机器处于可用状态，它就能够保证服务继续。 为什么一定要超过半数呢 ？这跟 Zookeeper的复制策略 有关：zookeeper确保对znode 树的每一个修改都会被复制到集合体中超过半数的机器上。 1.1 Zookeeper的单机模式搭建 下载 ZooKeeper： http://pan.baidu.com/s/1pJlwbR9 解压 ： tar -zxvf zookeeper-3.4.5.tar.gz 重命名 ： mv zookeeper-3.4.5 zk 配置文件 ：在conf目录下删除 zoo_sample.cfg 文件，创建一个配置文件zoo.cfg。 tickTime =2000 dataDir =/usr/local/zk/data dataLogDir =/usr/local/zk/dataLog clientPort

一直听说过kafka跟rabbitmq，redis相似，但是没试过，今天特意抽了点时间学习下kafka集群搭建，了解下。 1.环境准备 3台虚拟机（1C4G） 192.168.77.31　　zk-1 192.168.77.32　　zk-2 192.168.77.33　　zk-3 通过官网下载好安装包. 安装kafka集群，需要先安装zookeeper，这里也一并把zookeeper集群也装了一遍。 2.安装过zookeeper集群 1. 安装jdk1.8，并设置环境变量加载 echo 'export JAVA_HOME=/usr/java/jdk1.8.0_181-amd64/' >>/etc/profile echo 'export PATH=$JAVA_HOME/bin:$PATH' >>/etc/profile echo 'export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar' >>/etc/profile source /etc/profile 2. 安装zookeeper #安装zookeeper tar -xf ./zookeeper-3.4.14.tar.gz -C /opt && ln -s /opt/zookeeper-3.4.14/ /usr/local/zookeeper cd

HA 概述 所谓HA（High Available），即高可用（7*24小时不中断服务） 实现高可用最关键的策略是消除单点故障，HA 严格来说应该分成各个组件的 HA 机制：HDFS 的 HA 和 YARN 的 HA Hadoop2.0 之前，在 HDFS 集群中 NameNode 存在单点故障（SPOF） NameNode 主要在以下两个方面影响 HDFS 集群 NameNode 机器发生意外，如宕机，集群将无法使用，直到管理员重启 NameNode 机器需要升级，包括软件、硬件升级，此时集群也将无法使用 HDFS HA 功能通过配置 Active/Standby 两个 NameNodes 实现在集群中对 NameNode 的热备来解决上述问题，如果出现故障，如机器崩溃或机器需要升级维护，这时可通过此种方式将 NameNode 很快的切换到另外一台机器 2 HDFS-HA 工作机制 通过双 NameNode 消除单点故障 2.1 HDFS-HA 工作要点 元数据的管理方式需要改变： 内存中各自保存一份元数据 Edits 日志只有 Active 状态的 NN 可以做写操作 两个 NN 都可以对 Edits 做读操作 共享的 Edits 放在一个共享存储中管理（qjournal） 需要一个状态管理功能模块： 实现了一个 zkfailover，常驻在每一个 NN 所在的节点

Zookeeper被广泛应用于各种分布式集群场景中，比如Hadoop、Storm、Spark、Kafka等，要想学好大数据分析，不可避免的要用到大规模机器集群，了解和掌握Zookeeper的工作原理将会对学好大数据分析起到事半功倍的作用。 1、实时配置文件 Zookeeper可以作为互联网应用的实时配置开关，将配置信息设置在Zookeeper的node上，并在应用中设置Zookeeper的观察者，实时获取该node关联数据的变化，达到动态实时控制应用的配置信息的目的，实时调控生产环境各项参数。 在大型电商网站中，这种方式可用于节假日等流量爆发的场景，关闭某些不太重要的电商网站功能，降低并发量大爆发对服务器性能的冲击。 2、Kafka中使用 Kafka通过Zookeeper的使用提供给客户端负载均衡能力，每个Kafka客户端直接通过连接Zookeeper就能获得整个Kafka的配置信息。 Kafka将队列服务的机器注册在Zookeeper上，同时维护客户端列表，依靠负载均衡算法将客户端动态分配到合适的队列分区上，维持整个集群的负载均衡。客户端不需要预先知道当前的队列到底分配在哪个机器上，通过Zookeeper获取队列分配的动态变化。 3、Hadoop使用 在Hadoop1.x版本中Master是单节点模式，存在单点故障不支持热备份。Hadoop2

下载 下载地址 zookeeper ，建议下载 bin 结尾的tar包。 在 readme.md 中可以看到 apache-zookeeper-[version].tar.gz Contains all the source files which can be built by running: mvn clean install To generate an aggregated apidocs for zookeeper-server and zookeeper-jute: mvn javadoc:aggregate (generated files will be at target/site/apidocs) apache-zookeeper-[version]-bin.tar.gz Contains all the jar files required to run ZooKeeper Full documentation can also be found in the docs folder 不以 bin 结尾的需要 mvn clean install，我试过这个 tar 包，麻烦... 单机安装 解压 tar 包 进入 zookeeper 目录，建立 data 文件夹 进入conf，修改 配置文件 初始的配置文件是 zoo_sample.cfg，zookeeper

一、上传下载好的zookeeper文件包 二、压 mkdir /usr/local/zookeeper tar -zxvf zookeeper-3.4.6.tar.gz /usr/local/zookeeper 或者 tar -zxvf zookeeper-3.4.6.tar.gz -C /usr/local/zookeeper 三、eeper/3.4.6复制一份 cd /usr/local/zookeeper cp -rf zookeeper-3.4.6/ /usr/local/zookeeper/zk1 四、进入zk1中新建数据文件夹 cd zk1/ mkdir data 在data文件夹中新建myid文件，用于保存当前zookeeper的唯一标识 cd data/ vi myid 在文件中就写一个1，就可以了 五、回到zk1目录下，修改conf下的配置文件 cd .. cd conf/ cp zoo_sample.cfg zoo.cfg 六、修改zk1的conf下的zoo.cfg文件 vi zoo.cfg # 192.168.43.70 是当前主机的ipserver.1=192.168.43.70:2888:3888 server.2=192.168.43.70:2889:3889 server.3=192.168.43.70:2880:3880 七

一、SolrCloud 与 MultiCore 的本质区别 *SolrCloud 用多台机搭建一个SolrCore（即整个系统只有一套schema，solrconfig） *MultiCore 是多个独立的服务，不同的core可以用几套schema，solrconfig。 二、下面开始安装 SolrCloud （SolrCloud 是一个集群，真实环境下是需要多台机配合工作的，下面我以两台机子为例，一步一步来安装 SolrCloud） 现在我有两台机（没有配置 host，只能直接使用 IP地址）： <!-- lang: java --> ip1:202.38.221.64 ip2:202.38.221.50 SolrCloud 服务器是利用 zookeeper 服务器来实现分布式工作的，所以先要安装 zookeeper 下面查看 zookeeper 的官方文档，来介绍如何安装 zookeeper 2.1 安装 zookeeper <!-- lang: java --> 下面分 local 模式和 集群模式 下面根据官方文档（http://zookeeper.apache.org/doc/trunk/zookeeperStarted.html#sc_RunningReplicatedZooKeeper） Getting Started 来部署 zookeeper，官方文档说

ZooKeeper伪分布式集群安装及使用 让Hadoop跑在云端系列文章 ，介绍了如何整合虚拟化和Hadoop，让Hadoop集群跑在VPS虚拟主机上，通过云向用户提供存储和计算的服务。 现在硬件越来越便宜，一台非品牌服务器，2颗24核CPU，配48G内存，2T的硬盘，已经降到2万块人民币以下了。这种配置如果简单地放几个web应用，显然是奢侈的浪费。就算是用来实现单节点的hadoop，对计算资源浪费也是非常高的。对于这么高性能的计算机，如何有效利用计算资源，就成为成本控制的一项重要议题了。 通过虚拟化技术，我们可以将一台服务器，拆分成12台VPS，每台2核CPU，4G内存，40G硬盘，并且支持资源重新分配。多么伟大的技术啊！现在我们有了12个节点的hadoop集群， 让Hadoop跑在云端，让世界加速。 关于作者： 张丹(Conan), 程序员Java,R,PHP,Javascript weibo：@Conan_Z blog: http://blog.fens.me email: bsspirit @gmail.com 转载请注明出处： http://blog.fens.me/hadoop-zookeeper-intro/ 前言 ZooKeeper是Hadoop家族的一款高性能的分布式协作的产品。在单机中，系统协作大都是进程级的操作。分布式系统中，服务协作都是跨服务器才能完成的

Zookeeper简述 Zookeeper是一个开源的分布式应用程序协调服务，用于维护配置信息，命名，提供分布式同步和提供组服务。Zookeeper向使用者提供简单的API用于处理复杂的分布式协调问题。作用详解: 名命服务：按名称标识集群中的节点 配置管理：加入节点最新或者最近的配置信息 集群管理：实时的在集群或者节点状态中加入/离开节点 选举算法：选举一个节点作为协调目的的leader 锁定和同步服务 - 在修改数据的同时锁定数据。此机制可帮助你在连接其他分布式应用程序（如Apache HBase）时进行自动故障恢复 高度可靠的数据注册表 - 即使在一个或几个节点关闭时也可以获得数据 官方网站: https://zookeeper.apache.org/ 镜像地址: http://mirror.bit.edu.cn/apache/zookeeper/ 集群的搭建 服务端准备 zookeeper的er简述 Zookeeper是一个开源的分布式应用程序协调服务，用于维护配置信息，命名，提供分布式同步和提供组服务。Zookeeper向使用者提供简单的API用于处理复杂的分布式协调问题。作用详解: 名命服务：按名称标识集群中的节点 配置管理：加入节点最新或者最近的配置信息 集群管理：实时的在集群或者节点状态中加入/离开节点 选举算法：选举一个节点作为协调目的的leader 锁定和同步服务

zookeeper集群搭建 环境信息 系统： centos6.8 IP： 192.168.57.201、192.168.57.202、192.168.57.203 软件版本： zookeeper-3.4.10.tar.gz 、jdk-8u191-linux-x64.tar.gz 软件存放路径： /opt/yidian/zookeeper-3.4.10.tar.gz /opt/yidian/jdk-8u191-linux-x64.tar.gz 安装JDK 解压JDK tar -xzvf jdk-8u191-linux-x64.tar.gz /opt/yidian/jdk1.8.0_191 -- 当前jdk解压路径 配置JDK环境变量（/etc/profile） JAVA_HOME=/opt/yidian/jdk1.8.0_191 PATH=$JAVA_HOME/bin:$PATH CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAME_HOME/lib/tools.jar export JAVA_HOME export PATH export CLASSPATH 刷新环境变量 source /etc/profile 安装zookeeper 解压zookeeper tar xzvf zookeeper-3.4.10.tar.gz 修改zookeeper的配置文件