zookeeper集群

1、协调服务组件Zookeeper Zookeeper的作用如下： 1. 保证任何时候，集群中只有一个HMaster； 2. 存储所有的HRegion的寻址入口； 3. 实时监控HRegionServer的上线和下线信息，并实时通知给HMaster； 4. 存储HBase的schema和table元数据； 5. Zookeeper Quorum存储-ROOT-表地址、HMaster地址。 2、主节点HMaster HMaster的主要功能如下： 1. HMaster没有单节点问题，HBase中可以启动多个HMaster，通过Zookeeper的Master Election机制保证总有一个Master在运行，主要负责Table和Region的管理工作。 2. 管理用户对表的增删改查操作；DML 3. 管理HRegionServer的负载均衡，调整Region分布（在命令行里面有一个tools，tools这个分组命令其实全部都是Master做的事情）； 4. Region Split后，负责新Region的分布； 5. 在HRegionServer停机后， 负责失效HRegionServer上Region迁移工作。 3、Region节点HRegionServer HRegionServer的功能如下： 1. 维护HRegion，处理HRegion的IO请求

这大概描述了 Zookeeper主要可以干哪些事情：配置管理，名字服务，提供分布式同步以及集群管理 。那这些服务又到底是什么呢？我们为什么需要这样的服务？我们又为什么要使用Zookeeper来实现呢，使用Zookeeper有什么优势？接下来我会挨个介绍这些到底是什么，以及有哪些开源系统中使用了。 配置管理 在我们的应用中除了代码外，还有一些就是 各种配置。比如数据库连接等。一般我们都是使用配置文件的方式 ，在代码中引入这些配置文件。但是当我们只有一种配置，只有一台服务器，并且不经常修改的时候，使用配置文件是一个很好的做法，但是如果我们配置非常多，有很多服务器都需要这个配置，而且还可能是动态的话使用配置文件就不是个好主意了。这个时候往往 需要一种集中管理配置的方法，我们在这个集中的地方修改了配置，所有对这个配置感兴趣的都可以获得变更 。比如我们可以把配置放在数据库里，然后所有需要配置的服务都去这个数据库读取配置。但是，因为很多服务的正常运行都非常依赖这个配置，所以需要这个集中提供配置服务的服务具备很高的可靠性。一般我们可以用一个集群来提供这个配置服务，但是用集群提升可靠性，那如何保证配置在集群中的一致性呢？ 这个时候就需要使用一种实现了一致性协议的服务了。Zookeeper就是这种服务，它 使用Zab这种一致性协议来提供一致性 。现在有很多开源项目使用Zookeeper来维护配置

一 Zookeeper 1.1 ZookeeperApacheHadoop Hbase 1.2 1 Zookeeper leader follower 2 Leader 。 3 Follower Leader 。 4奇数台服务器Zookeeper 5 server client server 6 client 7 8 client 1.3 ZooKeeper Unix ZNode ZNode 1MB ԪZNode 1.4 统一命名、统一软 1.4.1 1.4.2 ͳһ 1 hadoop集群 2ZK 1 ZK Z node 2 Z Node 3 Z nodeZK 1.4.3 ͳһ Zk ZNode Znode可获取它的实时状态变化 Master 1.4.4 1.4.5 软负载均衡 1.5 1 https://zookeeper.apache.org/ 2 Zookeeper 2.1 1 1 jdk 2上传zookeeper linux 3 tar [itstar@bigdata111 software]$ chmod u+x zookeeper-3.4.10.tar.gz 4 [itstar@bigdata111 software]$ tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/module/ 5 [root@bigdata111

大数据Hadoop HDFS 一 HDFS 1.1 概念 HDFS ，全称： Hadoop Distributed File System ，用于存储文件通过目录树来定位文件； 其次，它是分布式的 ，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。 1 . 2 1HDFS NameNode DataNode Secondary Namenode 2NameNode 3DataNode datanode 4Secondary NameNode用来HDFS HDFS 1 . 3 HDFS 文件 HDFS block ( dfs.blocksize) hadoop2.x 128M 64M HDFS块时间块时间， 10ms，而100MB/s，ʹ1%100MB。的128MB 块10ms*100*100M/s = 100M HFDS 命令行操作 1 bin/hadoop fs 具体命令 2）参数 bin/hadoop fs [-appendToFile <localsrc> ... <dst>] 3实操 1-help： bin/hdfs dfs -help rm 2 hadoop fs -ls / 3-mkdir hdfs （4-moveFromLocal hdfs /hdfs 5追加一个文件到已经存在的文件末尾 /hdfs 6-cat hadoop fs -cat /hdfs 7

1.HDFS-HA概述 1）所谓HA（high available），即高可用（7*24小时不中断服务）。 2）实现高可用最关键的策略是 消除单点故障 。HA严格来说应该分成各个组件的HA机制： HDFS的HA 和Y ARN的HA 。 3）Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）。 4）NameNode主要在以下两个方面影响HDFS集群 NameNode机器发生意外，如宕机，集群将无法使用，直到管理员重启 NameNode机器需要升级，包括软件、硬件升级，此时集群也将无法使用 HDFS HA功能通过配置 Active/Standby两个nameNodes 实现在集群中 对NameNode的热备 来解决上述问题 。如果出现故障，如机器崩溃或机器需要升级维护，这时可通过此种方式将NameNode很快的切换到另外一台机器。 （通过双namenode消除单点故障） 2.HDFS-HA工作机制 2.1 HDFS-HA工作要点 1） 元数据管理 方式需要改变： 内存中各自保存一份元数据； Edits日志只有Active状态的namenode节点可以做写操作； 两个namenode都可以读取edits； 共享的edits放在一个共享存储中管理（qjournal和NFS两个主流实现）； 2）需要一个 状态管理功能模块 (zkfailover)

作者：汤小洋 来源： http://blog.51cto.com/12402007/2331203 一、ZooKeeper简介 1. ZooKeeper是什么 官网 https://zookeeper.apache.org/ 2. ZooKeeper组成 2.1 文件系统 数据模型结构是一种树形结构，由许多节点构成 每个节点叫做ZNode（ZooKeeper Node） 每个节点对应一个唯一路径，通过该路径来标识节点，如 /app1/p_2 每个节点只能存储大约1M的数据 持久化目录节点 persistent 客户端与服务器断开连接，该节点仍然存在 持久化顺序编号目录节点 persistent_sequential 客户端与服务器断开连接，该节点仍然存在，此时节点会被顺序编号，如：000001、000002..... 临时目录节点 ephemeral 客户端与服务器断开连接，该节点会被删除 临时顺序编号目录节点 ephemeral_sequential 客户端与服务器断开连接，该节点会被删除，此时节点会被顺序编号，如：000001、000002..... 2.2 通知机制 观察者模式 设计的分布式服务管理框架 ZooKeeper负责管理和维护项目的公共数据，并授受观察者的注册（订阅） 一旦这些数据发生变化，ZooKeeper就会通知已注册的观察者 此时观察者就可以做出相应的反应 3

1.官网下载安装包，本次版本zookeeper-3.4.9.tar.gz https://apache.org/ 2.上传zookeeper安装包 到/opt目录下并解压 rz zookeeper-3.4.10.tar.gz tar -zxvf zookeeper-3.4.10.tar.gz 3.新建专属zookeeper目录，mkdir /myzookeeper， 随后将上一步解压的zookeeper内容拷贝进/myzookeeper目录内 进入conf文件夹，拷贝zoo_sample.cfg改为zoo.cfg zoo.cfg解读 pwd 查看当前路径 ls -l 查看文件夹里面的文件 复制zook_sample.cfg 改名为zoo.cfg 编辑zoo.cfg 显示 set nu 取消显示 set nonu tickTime：通信心跳数,Zookeeper服务器心跳时间，单位毫秒 Zookeeper使用的基本时间， 服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个 tickTime 时间就会发送一个心跳,时间单位为毫秒。 它用于心跳机制，并且设置最小的session超时时间为两倍心跳时间.(session的最小超时时间是2*tickTime。) initLimit：这个配置项是用来配置Zookeeper接收Follower客户端

Kafka集群安装 主节点h201，从节点h202、h203 1.安装jdk1.8 [hadoop@h201 ~]$ /usr/jdk1.8.0_144/bin/java -version 2.安装zookeeper kafka集群需要 zookeeper支持 [hadoop@h201 ~]$ tar -zxvf zookeeper-3.4.5-cdh5.5.2.tar.gz [hadoop@h201 zookeeper-3.4.5-cdh5.5.2]$ mkdir data [hadoop@h201 zookeeper-3.4.5-cdh5.5.2]$ mkdir log [hadoop@h201 conf]$ vi zoo.cfg tickTime=2000 #心跳的时间间隔 initLimit=10 #初始化连接时最长能忍受多少个心跳时间间隔数 syncLimit=5 #Leader 与Follower 之间发送消息，请求和应答时间长度 dataDir=/home/hadoop/zookeeper-3.4.5-cdh5.5.2/data dataLogDir=/home/hadoop/zookeeper-3.4.5-cdh5.5.2/data clientPort=2181 server.1=192.168.8.201:2888:3888 server.2=192.168.8

一、otter简介 otter是阿里开源的一个分布式数据库同步系统，尤其是在跨机房数据库同步方面，有很强大的功能。它是基于数据库增量日志解析，实时将数据同步到本机房或跨机房的mysql/oracle数据库。 二、安装配置JDK 因为zookeeper和Otter-manager都依赖与java环境 注：将Centos的yum源更换为国内的阿里云源 1、首先安装wget yum install wget 2、备份原有源 mv /etc/yum.repos.d /etc/yum.repos.d.backup mkdir /etc/yum.repos.d 注：不同Linux版本，不同源 CentOS 5 wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-5.repo CentOS 6 wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-6.repo CentOS 7 wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo 3、清除缓存、生成缓存并更新 yum

Zookeeper 介绍 ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。（来自于百度百科） Win安装调试 下载地址： https://www.apache.org/dyn/closer.cgi/zookeeper/ 运行的地址是bin/zkServer.cmd 在你执行启动脚本之前，还有几个基本的配置项需要配置一下，Zookeeper 的配置文件在 conf 目录下，这个目录下有 zoo_sample.cfg 和 log4j.properties，你需要做的就是将 zoo_sample.cfg 改名为 zoo.cfg，因为 Zookeeper 在启动时会找这个文件作为默认配置文件。下面详细介绍一下，这个配置文件中各个配置项的意义。 # The number of milliseconds of each tick tickTime=2000 # The number of ticks that the initial # synchronization phase can take initLimit=10 # The number of ticks that can pass