zookeeper集群

文档背景： 安装ZooKeeper已经有一段时间了。中间停了一段时间，今天再用发现已经生疏了。忘了zookeeper安装在集群的哪几台机器上了。 目的： 现对拿到一个新的zookeeper环境时，如何认识zookeeper，做以下笔记。 文档内容： 1、选定印象中已经安装zookeeper的一台机器，执行以下命令 [root@datanode1 ~]# echo $ZOOKEEPER_HOME /home/hadoop/modules/zookeeper [root@datanode1 ~]# 注意： 如果机器在10台以上，然而又不记得自己zookeeper装在哪几台机器上，会是一件很悲催的事情，目前我只知道一个笨方法就是一个个的试。 为了避免采用上边这种笨方法，我们可以对hadoop集群中的各机器进行文档登记，记录每台机器的角色，装了哪些软件，以便后查。 2、找到zookeeper安装目录下的conf/zoo.cfg文件 [root@datanode1 ~]# echo $ZOOKEEPER_HOME /home/hadoop/modules/zookeeper [root@datanode1 ~]# less /home/hadoop/modules/zookeeper/conf/ configuration.xsl log4j.properties zoo.cfg zoo

一、Zookeeper安装配置 1、 mkdir solrclound 2、 拷贝zookeeper 3、 解压 tar –zxvf zookeeper-3.4.6.tar.gz 4、 重命名mv zookeeper-3.4.6 zookeeper1 5、 复制cp -r zookeeper1 zookeeper2 6、 复制cp -r zookeeper1 zookeeper3 7、 配置zookeeper a) zookeeper1下创建data目录,mkdir data b) 创建一个myid的文件内容为1, echo 1 >> data/myid c) cat（显示文件的内容） myid d) 在conf下有一个zoo_sample.cfg文件，复制命名为zoo.cfg e) vim zoo.cfg 1、 修改路径dataDir=/home/dev/solrcloud/zookeeper1/data 2、 修改端口clientPort=2181 3、 加入云 server.1=192.168.36.130:2881:3881 server.2=192.168.36.130:2882:3882 server.3=192.168.36.130:2883:3883 f) 重复设置zookeeper2，zookeeper3 g) 制作启动文件 1、 vim start

Solrcloud集群搭建 使用solrcloud 有几点需要注意的： 索引数据量比较大；配置是统一的（zookeeper 会保持配置信息的一致性） 如果索引数据量不大，并且需求变动比较多，field 要经常变动的可以考虑用multicore 的模式。 规划 虚拟机环境centos6.2 64位系统 三台1G内存的虚机 网卡模式是NAT（测试环境推荐使用NAT） 192.168.139.121 master 192.168.139.122 slave1 192.168.139.123 slave2 修改 /etc/hosts 文件加入上面的域名 修改主机名 vi /etc/sysconfig/network 切记关闭防火墙(否则zookeeper启动 zkServer.sh status查看状态会找不到各自的角色) 首先要搭建的是zookeeper集群 Zookeeper集群的机器个数推荐是奇数台，半数机器挂掉，服务是可以正常提供的 所有需要的软件首先上传到 /soft下 使用的zookeeper.3.4.5.tar.gz 稳定版 tar –zxvf zookeeper.3.4.5.tar.gz cd zookeeper.3.4.5/conf mv zoo_sample.cfg zoo.cfg //修改配置文件名 mkdir /soft/zookeeper-data /

本篇主要从hdfs的namenode和resourcemanager的高可用进行安装和原理的阐述。 一、HA安装 1、基本环境准备 1.1.1、centos7虚拟机安装，详情见 VMware安装Centos7虚拟机 1.1.2、关闭防火墙 systemctl stop firewalld.service systemctl disable firewalld.service 1.1.3、修改selinux vim /etc/selinux/config 将SELINUX=enforcing改为SELINUX=disabled [hadoop@lgh2 ~]$ cat /etc/selinux/config # This file controls the state of SELinux on the system. # SELINUX= can take one of these three values: # enforcing - SELinux security policy is enforced. # permissive - SELinux prints warnings instead of enforcing. # disabled - No SELinux policy is loaded. SELINUX=disabled # SELINUXTYPE= can

本文以Twitter Storm 官方Wiki 为基础，详细描述如何快速搭建一个Storm集群，其中，项目实践中遇到的问题及经验总结，在相应章节以“注意事项”的形式给出。 3.1 Storm集群组件 Storm集群中包含两类节点：主控节点（Master Node）和工作节点（Work Node）。其分别对应的角色如下： 1. 主控节点（Master Node）上运行一个被称为Nimbus的后台程序，它负责在Storm集群内分发代码，分配任务给工作机器，并且负责监控集群运行状态。Nimbus的作用类似于Hadoop中JobTracker的角色。 2. 每个工作节点（Work Node）上运行一个被称为Supervisor的后台程序。Supervisor负责监听从Nimbus分配给它执行的任务，据此启动或停止执行任务的工作进程。每一个工作进程执行一个Topology的子集；一个运行中的Topology由分布在不同工作节点上的多个工作进程组成。 Storm 集群组件 Nimbus和Supervisor节点之间所有的协调工作是通过Zookeeper集群来实现的。此外，Nimbus和Supervisor进程都是快速失败（fail-fast)和无状态（stateless）的；Storm集群所有的状态要么在Zookeeper集群中，要么存储在本地磁盘上。这意味着你可以用kill

下载：apache-zookeeper-3.5.5.tar.gz 进入zookeeper安装目录查看lib文件夹和zookeeper-3.5.5.jar是否存在，如果没有需要手动添加，不然启动时会报错。 注：启动失败时，可以进入out.log日志进行查看错误原因 [hadoop@hadoop01 apache-zookeeper-3.5.5]$ ls -l total 176 drwxr-xr-x. 2 hadoop hadoop 232 Apr 9 19:13 bin -rw-r--r--. 1 hadoop hadoop 94388 May 3 19:40 build.xml drwxr-xr-x. 2 hadoop hadoop 120 Sep 20 00:45 conf -rw-r--r--. 1 hadoop hadoop 411 Feb 15 2019 excludeFindBugsFilter.xml -rw-r--r--. 1 hadoop hadoop 1709 Feb 15 2019 ivysettings.xml -rw-r--r--. 1 hadoop hadoop 7597 Apr 9 19:13 ivy.xml drwxr-xr-x. 2 root root 4096 Sep 20 00:02 lib -rw-r--r--. 1 hadoop

Zookeeper Note 什么是 Zookeeper? Zookeeper是一个开源的分布式应用程序协调系统, 是Google的Chubby的一个开源实现(两者有所不同), 他是集群的管理者, 监视着集群中各个节点的状态(源码中有使用Observer[观察者]模式), 并根据节点提交的反馈进行下一步合理操作。最后, zookeeper将简单易用的接口和性能高效, 功能稳定的系统提供给用户。 客户端的读取请求可以被集群中的任意一台机器处理, 如果读取请求在节点上注册了监听器, 此监听器也是有所连接的zookeeper机器来处理。对于写入请求, 这些请求会同时被发给其他zookeeper机器并且达成一致后, 请求才会返回成功。因此, 随着zookeeper集群机器增多, 读取请求的吞吐量会提高但是写请求的吞吐量会下降。 Zookeeper的有序性: 所有的更新都是全局有序的, 每个更新都有一个唯一的时间戳(zxid[Zookeeper Transaction Id]), 而读取请求只会相对于更新有序, 也就是读取请求的返回结果中会带有该Zookeeper最新的zxid。 Zookeeper 提供了什么? 文件系统 通知机制 Zookeeper 文件系统 Zookeeper提供一个多层级的节点命名空间(namespace节点名: znode)。这些节点都可以设置关联的数据,

zookeeper 简介 Zookeeper 分布式服务框架是 Apache Hadoop 的一个子项目，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。 zookeeper 单机使用 访问http://zookeeper.apache.org/releases.html 并下载最新版本的ZooKeeper，这里我使用的版本是3.4.8。 下载完成后解压缩。进入conf目录，创建zoo.cfg配置文件(可复制已有的zoo_sample.cfg修改)。 tickTime=2000 initLimit=10 syncLimit=5 dataDir=/tmp/zookeeper clientPort=2181 说明一下几个配置项的意义(initLimit和syncLimit暂时先不管，后面有说明)： tickTime：这个时间是作为 Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个 tickTime 时间就会发送一个心跳。 dataDir：顾名思义就是 Zookeeper 保存数据的目录，默认情况下，Zookeeper 将写数据的日志文件也保存在这个目录里。 clientPort：这个端口就是客户端连接 Zookeeper 服务器的端口，Zookeeper 会监听这个端口

目录 1. 依赖准备 1.1 jdk安装 1.2 zk安装 2. kafka部署 1. 依赖准备 1.1 jdk安装 安装jdk，版本推荐8以上 1.2 zk安装 下载zk对应版本 比如下载 http://apache.communilink.net/zookeeper/stable/apache-zookeeper-3.5.5-bin.tar.gz 解压 tar -xvf apache-zookeeper-3.5.5-bin.tar.gz mv apache-zookeeper-3.5.5-bin /usr/local/apache-zookeeper-3.5.5 创建数据目录及日志目录 mkdir { data,logs } 修改配置文件 # The number of milliseconds of each tick tickTime = 2000 # The number of ticks that the initial # synchronization phase can take initLimit = 10 # The number of ticks that can pass between # sending a request and getting an acknowledgement syncLimit = 5 # the directory

Zookeeper基于ZAB（Zookeeper Atomic Broadcast），实现了主备模式下的系统架构，保持集群中各个副本之间的数据一致性。 ZAB协议定义了选举（election）、发现（discovery）、同步（sync）、广播(Broadcast)四个阶段。 选举（election）是选出哪台为主机； 发现（discovery）、同步（sync）当主选出后，要做的恢复数据的阶段； 广播(Broadcast)当主机和从选出并同步好数据后，正常的主写同步从写数据的阶段。 下面简单地介绍下ZAB协议，目的是能够快速了解其精髓，快速掌握ZAB协议。然后通过论文了解具体协议的细节。主要介绍选举和广播两个阶段。 基本概念 我们了解下zk的一些基本概念。 zk集群有三种角色： leader 就是我们说的主； follower 就是我们说的从； observer 可以认为是主的clone copy，不参与投票，本文可忽略； zk集群的一个节点，有三种状态： looking 选举状态，当前群龙无首； leading leader才有的状态； following follower才有的状态； 每次写成功的消息，都有一个全局唯一的标识，叫zxid。是64bit的正整数，高32为叫epoch表示选举纪元，低32位是自增的id，每写一次加一。 可以想象为中国古代的年号，例如万历十五年