zookeeper集群

前提 安装zookeeper的注意事项： 安装前需要安装好jdk 检测集群时间是否同步 检测防火墙是否关闭 检测主机 ip映射有没有配置 下载 下载安装包、解压 下载地址： CDH版本：http://archive.cloudera.com/cdh5/cdh/5/zookeeper-3.4.5-cdh5.14.0.tar.gz apache版本：https://archive.apache.org/dist/zookeeper/ 如果不想下载就私信我我单独发给你 解压： cd / export / software tar - zxvf zookeeper - 3.4 .5 - cdh5 . 14.0 . tar . gz - C / export / servers / 修改环境变量（注意：3台zookeeper都需要修改） vim / etc / profile export ZOOKEEPER_HOME = / export / servers / zookeeper - 3.4 .5 - cdh5 . 14.0 export PATH = $PATH : $ZOOKEEPER_HOME / bin source /etc/profile 修改zookeeper配置文件 cd /export/servers/zookeeper-3.4.5-cdh5.14.0/conf cp

1、Zookeeper基本知识 1.1、ZooKeeper集群搭建 Zookeeper集群搭建指的是ZooKeeper分布式模式安装。通常由2n+1台servers组成。这是因为为了保证Leader选举（基于Paxos算法的实现）能过得到多数的支持，所以ZooKeeper集群的数量一般为奇数。 Zookeeper运行需要java环境，所以 需要提前安装jdk。对于安装leader+follower模式的集群， 大致过程如下： 配置主机名称到IP地址映射配置 修改ZooKeeper配置文件 远程复制分发安装文件 设置myid 启动ZooKeeper集群 如果要想使用Observer模式，可在对应节点的配置文件添加如下配置： peerType=observer 其次，必须在配置文件指定哪些节点被指定为Observer，如： server.1:node-1:2181:3181:observer 1.2、ZooKeeper概述 Zookeeper 是一个 分布式协调服务的开源框架 。主要用来解决分布式集群中应用系统的一致性问题。 ZooKeeper本质上是一个分布式的小文件存储系统 。提供基于类似于文件系统的目录树方式的数据存储，并且可以对树中的节点进行有效管理。从而用来维护和监控你存储的数据的状态变化。通过监控这些数据状态的变化，从而可以达到基于数据的集群管理。 1.3

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> CAP 理论 什么叫 CAP 理论呢？CAP 理论是由 Eric Brewer 教授提出，是分布式系统中的一个重要的概念。具体如下： C（Consistency）：数据一致性。大家都知道，分布式系统中，数据会有副本。由于网络或者机器故障等因素，可能有些副本数据写入正确，有些却写入错误或者失败，这样就导致了数据的不一致了。而满足数据一致性规则，就是保证所有数据都要同步。 A（Availability）：可用性。我们需要获取什么数据时，都能够正常的获取到想要的数据（当然，允许可接受范围内的网络延迟），也就是说，要保证任何时候请求数据都能够正常响应。 P（Partition Tolerance）：分区容错性。当网络通信发生故障时，集群仍然可用，不会因为某个节点挂了或者存在问题，而影响整个系统的正常运作。 对于分布式系统来说，出现网络分区是不可避免的，因此分区容错性是必须要具备的，也就是说，CAP三者，P是必须的，是个客观存在的事实，不可避免，也无法绕过。 1. Zookeeper 的 CP 原则 对于 zookeeper 来说，它是 CP 的。也就是说，zookeeper 是保证数据的一致性的，但是这里还需要注意一点是，zookeeper 它不是强一致的，什么意思呢？ 打个比方，现在客户端 A 提交一个写操作

文章目录 系统架构 HBase的表数据模型 Row Key 列族Column Family 列 Column 时间戳 Cell VersionNum 物理存储 1、整体结构 2、STORE FILE & HFILE结构 3、Memstore与storefile 4、HLog(WAL log) 读写过程 1、读请求过程： 2、写请求过程： Region管理 Master工作机制 系统架构 Client 1 包含访问hbase的接口， client维护着一些cache来加快对hbase的访问 ，比如regione的位置信息。 Zookeeper 1 保证任何时候，集群中只有一个master 2 存贮所有Region的寻址入口 3 实时监控Region Server的状态，将Region server的上线和下线信息实时通知给Master 4 存储Hbase的schema,包括有哪些table，每个table有哪些column family Master职责 1 为Region server分配region 2 负责region server的负载均衡 3 发现失效的region server并重新分配其上的region 4 HDFS上的垃圾文件回收 5 处理schema更新请求 Region Server职责 1 Region server 维护Master分配给它的region

安装zookeeper的注意事项： 安装前需要安装好jdk 检测集群时间是否同步 检测防火墙是否关闭 检测主机 ip映射有没有配置 下载安装包、解压 下载地址： CDH版本：http://archive.cloudera.com/cdh5/cdh/5/zookeeper-3.4.5-cdh5.14.0.tar.gz apache版本：https://archive.apache.org/dist/zookeeper/ 1、解压： cd /export/software tar -zxvf zookeeper-3.4.5-cdh5.14.0.tar.gz -C /export/servers/ 2、修改环境变量（注意：3台zookeeper都需要修改） vim /etc/profile export ZOOKEEPER_HOME=/export/servers/zookeeper-3.4.5-cdh5.14.0 export PATH=$PATH:$ZOOKEEPER_HOME/bin source /etc/profile 3、修改zookeeper配置文件 cd /export/servers/zookeeper-3.4.5-cdh5.14.0/conf cp zoo_sample.cfg zoo.cfg vim zoo.cfg 修改内容： dataDir=/export

安装zookeeper的注意事项： 安装前需要安装好jdk 检测集群时间是否同步 检测防火墙是否关闭 检测主机 ip映射有没有配置 ##下载安装包、解压 下载地址： CDH版本：http://archive.cloudera.com/cdh5/cdh/5/zookeeper-3.4.5-cdh5.14.0.tar.gz apache版本：https://archive.apache.org/dist/zookeeper/ 1、解压： cd /export/software tar -zxvf zookeeper-3.4.5-cdh5.14.0.tar.gz -C /export/servers/ 2、修改环境变量（注意：3台zookeeper都需要修改） vim /etc/profile export ZOOKEEPER_HOME=/export/servers/zookeeper-3.4.5-cdh5.14.0 export PATH=$PATH:$ZOOKEEPER_HOME/bin source /etc/profile 3、修改zookeeper配置文件 cd /export/servers/zookeeper-3.4.5-cdh5.14.0/conf cp zoo_sample.cfg zoo.cfg vim zoo.cfg 修改内容： dataDir=/export

简单介绍： 因为Kafka集群是把状态信息保存在Zookeeper中的，并且Kafka的动态扩容是通过Zookeeper来实现的，所以需要优先搭建Zookeerper集群，建立分布式状态管理。开始准备环境，搭建集群： zookeeper是基于Java环境开发的所以需要先安装Java 然后这里使用的zookeeper安装包版本为zookeeper-3.4.14，Kafka的安装包版本为kafka_2.11-2.2.0。 AMQP协议：Advanced Message Queuing Protocol （高级消息队列协议）是一个标准开放的应用层的消息中间件协议。AMQP定义了通过网络发送的字节流的数据格式。因此兼容性非常好，任何实现AMQP协议的程序都可以和与AMQP协议兼容的其他程序交互，可以很容易做到跨语言，跨平台。 一、首先做好kafka 1、准备三台服务器,推荐每台2个G，记得关闭防火墙 server1：10.0.0.41 server2：10.0.0.42 server3：10.0.0.43 2、三台都得配置jdk环境，1.8以上，修改主机名并且配置主机名 10.0.0.41 hostname kafka01 10.0.0.42 hostname kafka02 10.0.0.43 hostname kafka03 cat /etc/hosts 10.0.0.41

参考: Zookeeper面试题 参考: zookeeper数据同步 参考: 如果有人问你ZooKeeper是什么，就把这篇文章发给他 参考: 理解zookeeper选举机制 参考: 【zookeeper】事件 watch 机制 原理 参考: ZooKeeper Watch机制 参考: 利用Zookeeper实现 - 分布式锁 文章目录 1.是什么 2.特性 1.读写请求处理 2.全局有序性 3.通知机制 3.节点类型 4.集群角色 1.Leader 2.Follower 3.Observer 5.工作原理 1.ZAB协议 1.恢复模式（选主）-leader选举 2.广播模式（同步） 2.Server工作状态 3.原子广播 5.watch机制 1.概述 2.特性 6.宕机处理 7.实际应用 1.命名服务 2.配置管理 3.集群管理 4.队列管理 5.数据复制 6.分布式锁 1.大致思想 2.实现排他锁 3.实现共享锁 4.羊群效应与共享锁改进 5.优点 6.缺点 1.是什么 ZooKeeper是一个分布式的，开放源码的 分布式应用程序协调服务 ，是 集群的管理者 ， 监视着集群中各个节点的状态根据节点提交的反馈进行下一步合理操作 。最终，将简单易用的接口和性能高效、功能稳定的系统提供给用户。 Zookeeper提供一个多层级的节点命名空间（节点称为znode）。与文件系统不同的是

一、背景介绍 本人目前是一名大数据工程师，项目数据50T，日均数据增长20G左右，个人是从Java后端开发，经过3个月的业余自学成功转型大数据工程师。 二、大数据介绍 大数据本质也是数据，但是又有了新的特征，包括数据来源广、数据格式多样化（结构化数据、非结构化数据、Excel文件、文本文件等）、数据量大（最少也是TB级别的、甚至可能是PB级别）、数据增长速度快等。 针对以上主要的4个特征我们需要考虑以下问题： 数据来源广，该如何采集汇总？，对应出现了Sqoop，Cammel，Datax等工具。 数据采集之后，该如何存储？，对应出现了GFS，HDFS，TFS等分布式文件存储系统。 由于数据增长速度快，数据存储就必须可以水平扩展。 数据存储之后，该如何通过运算快速转化成一致的格式，该如何快速运算出自己想要的结果？ 对应的MapReduce这样的分布式运算框架解决了这个问题；但是写MapReduce需要Java代码量很大，所以出现了Hive，Pig等将SQL转化成MapReduce的解析引擎； 普通的MapReduce处理数据只能一批一批地处理，时间延迟太长，为了实现每输入一条数据就能得到结果，于是出现了Storm/JStorm这样的低时延的流式计算框架； 但是如果同时需要批处理和流处理，按照如上就得搭两个集群，Hadoop集群（包括HDFS+MapReduce+Yarn

一.环境准备 当前环境：centos7.3三台 软件版本：zookeeper-3.5.2 部署目录：/usr/local/zookeeper 启动端口：2181 配置文件：/usr/local/zookeeper/conf/zoo.cfg yum依赖（3台同时操作） yum install java-1.8.0-openjdk 二.安装 1.下载安装包（3台同时操作） wget http://mirrors.hust.edu.cn/apache/zookeeper/zookeeper-3.5.2-alpha/zookeeper-3.5.2-alpha.tar.gz 2.解压并移动，再创建一个数据目录data（3台同时操作） tar zxvf zookeeper-3.5.2-alpha.tar.gz mv zookeeper-3.5.2-alpha /usr/local/zookeeper 3.创建数据目录和日志目录 cd /usr/local/zookeeper mkdir /data mkdir /var/log/zookeeper 3.创建配置文件更改配置（3台同时操作） vim conf/zoo.cfg clientPort = 2181 #监听端口其他服务器保持这个 dataDir = /usr/ local / zookeeper / data #数据目录，要自己创建