zookeeper集群

Zookeeper概念简介： Zookeeper是一个分布式协调服务；就是为用户的分布式应用程序提供协调服务 1、zookeeper是为别的分布式程序服务的(比如服务管理、心跳检查、配置信息管理) 2、Zookeeper本身就是一个分布式程序（只要有半数以上节点存活，zk就能正常服务） 3、Zookeeper所提供的服务涵盖：主从协调、服务器节点动态上下线、统一配置管理、分布式共享锁、统一名称服务…… 4、虽然说可以提供各种服务，但是zookeeper在底层其实只提供了两个功能： 管理(存储，读取)用户程序提交的数据； 并为用户程序提供数据节点监听服务； Zookeeper集群的角色： Leader 和 follower （Observer） 只要集群中有半数以上节点存活，集群就能提供服务 半数机制：集群中半数以上机器存活，集群可用。 zookeeper适合装在奇数台机器上！！！ 3. 安装 安装到3台虚拟机上 安装好JDK 解压 tar -zxvf zookeeper-3.4.5.tar.gz（解压） 重命名 mv zookeeper-3.4.5 zookeeper（重命名文件夹zookeeper-3.4.5为zookeeper） 修改环境变量 vi /etc/profile(修改文件) 3、添加内容： export ZOOKEEPER_HOME=/home/apps

继上篇《 CentOS分布式部署Hadoop 》介绍分布式部署Hadoop2.8.5，本篇在上篇基础上介绍CentOS7下HBase2.2.3的分布式部署。 一、准备工作 部署好Hadoop2.8.5，节点如下： 192.168.23.211 hadoop.master NameNode,DataNode,ResourceManager,NodeManager 192.168.23.212 hadoop.slaver1 SecondaryNameNode,DataNode,NodeManager 192.168.23.213 hadoop.slaver2 DataNode,NodeManager HBase部署节点计划如下： 192.168.23.211 hadoop.master Zookeeper，HMaster(主)，HRegionServer 192.168.23.212 hadoop.slaver1 Zookeeper，HRegionServer 192.168.23.213 hadoop.slaver2 Zookeeper，HMaster(备)，HRegionServer 二、分布式部署Zookeeper HBase可以使用内置的Zookeeper，也可以使用独立部署的Zookeeper，此处使用独立部署Zookeeper方案。下载稳定版apache-zookeeper

Kafka快速入门之案例教程 先准备工具 下载kafka 下载zookeeper 先准备工具 下载kafka kafka下载地址： http://archive.apache.org/dist/kafka/ 博主推荐下载 2.0以上的版本，解压后的文件 下载zookeeper zookeeper下载地址： http://zookeeper.apache.org/ 博主知道，大伙儿都晓得Kafka需要zookeeper作为注册中心。Kafka内置也有zookeeper，但是本人还是比较推荐使用外部的zookeeper。因人而异！ 好，到这里博主相信大家都已经下载好了，接下来就是把Kafka和zookeeper启动了。 先cp 一份zoo_sample.cfg -> zoo.cfg 可以自己取个名字。 不说废话，直接贴图： 接下来启动zookeeper，下面有命令可以直接cv ./zkServer.sh start ./zkServer.sh status zookeeper单台搭建算是完成了。 兄弟们都坚持到这里了。是不是有点累，对，咋们还得继续。加油 坚持坚持 接下来是Kafka的配置了，不用担心很容易的。直接贴图： Kafka需要想zookeeper进行注册 给定唯一标识id,如果是单体，或是集群都养成这种习惯都是很好的。 接下来就是启动Kafka生产者： ./bin/kafka

注意： 1、zookeeper节点是奇数（容错率、防脑裂） 2、依赖java 一、创建、修改配置文件 zoo.cfg： 二、配置文件基本参数 1、tickTime：基本事件单元，这个时间是作为Zookeeper服务器之间或客户端与服务器之间维持心跳的时间间隔 2、dataDir：存储内存中数据库快照的位置， dataLogDir: 数据记录位置 3、clientPort: 监听客户端连接的端口 4、initLimit：允许follower连接并同步到Leader的初始化连接时间，以tickTime为单位 5、syncLimit：表示Leader与Follower之间发送消息时，请求和应答时间长度 6、server.myId= x:y:Z(number表示服务器标号， x为集群中各个节点IP，yLeader选举的端口，z服务器之间连接的通信端口) 三、其他配置 1、myid: 文件位于dataDir里，值为配置文件后的myid值。 2、配置环境bin 3、启动 sh bin/zkServer.sh [start / start-foreground / stop / upgrade / restart / status] */zoo.cfg 来源： CSDN 作者： khcsnmbs 链接： https://blog.csdn.net/khcsnmbs/article/details

ZooKeeper概述 1. ZooKeeper入门 1.1 概述 1.2 特点 1.3 数据结构 2. 本地模式 3. 配置参数解读 4. 分布式安装部署 5. 客户端常见命令 1. ZooKeeper入门 1.1 概述 Zookeeper是一个开源的，为分布式应用提供协调服务的Apache项目. ZooKeeper工作机制 ZooKeeper从设计模式角度来理解，是一个基于 观察者模式 设计的， 分布式服务管理框架 .它负责 存储和管理大家都关心的数据 ，然后 接受观察者的注册 ，一旦这些数据发生变化，ZooKeeper就将负责 通知已注册的观察者 做出相应的反应. 1.2 特点 ZooKeeper由一个leader和多个follower组成. 集群中只要有半数以上的节点存活，ZooKeeper就能正常服务. 全局一直：每个server保存一份相同的数据副本，Client无论连接到哪个server，数据都是一致的. 更新请求顺序执行：来自同一个Client的更新请求，按发送的事件顺序执行. 数据更新原子性，一次数据更新要么成功，要么失败. 实时性，在一定时间范围内，Client能读到最新的数据. 1.3 数据结构 ZooKeeper数据模型的结构与Unix文件系统类似，整体上可以看成一棵树， 每一个节点都成为ZNode，每个ZNode默认能够储存1M的数据

zk是干什么的？？？？？ 分布式服务架构，解决统一命名，状态同步，集群管理，分布式应用配置项管理 为了减轻分布式应用程序所承担的协调任务,比如hadoop中多个NameNode节点，怎么管理与节点间信息同步，Hbase中master与slaver之间状态同步。 怎么干的？？？ 既然是为了减轻协调任务，产生了角色，有老大leader，跟随的follower，观察的observer leader，负责投票的发起和决议，更新系统参数状态。 follower，参与系统投票，接受返回客户端的请求 observer，接收写请求，转发给leader，不参与投票 为什么要选举？？？？？ 心跳机制：Leader与Follower利用PING来感知对方的是否存活，当Leader无法相应PING时，将重新发起Leader选举。即Leader over了。 怎么样才能成为Leader？？？？ 成为Leader的必要条件： Leader要具有最高的zxid；当集群的规模是n时，集群中大多数的机器（至少n/2+1）得到响应并follow选出的Leader。 服务器的选举状态，分为looking，leading，following和observer looking:寻找leader状态，处于该状态需要进入选举流程 leading:leader状态，表明当前服务角色为leader following:跟随者状态

做一个 kafka 的要点总结，官网或者博客都有大量资料 目录 基础术语 副本机制 Kafka数据备份 Leader选举 ISR集合方法 少数服从多数方法 如果所有的ISR副本都失败了怎么办 Kafka数据commit ISR配置 宕机如何恢复 少部分副本宕机 全部副本宕机 Zookeeper协调服务 Zookeeper的watch机制 Kafka分区策略 RangeAssignor分区策略 RoundRobinAssignor分区策略 StickyAssignor分区策略 Kafka性能调优 Kafka版本区别 Apache Kafka是一种发布订阅消息系统，一类消息被广播给所有订阅了该主题的用户，它是一种分布式的，分区化的，提供数据冗余以及持久化的日志服务。 Kafka支持海量数据的高速读写，一般在公司用做海量数据总线，连接后续的hadoop组件等，形成海量数据流。 基础术语 topic: 订阅主题，一般指一类消息。每个topic分成多个partition(分区), 每个分区都是一个有序的不可变的记录序列，不断追加到结构化日志中（持久化）。分区中每个记录都分配了一个偏移量ID，顺序递增，它唯一地标识分区中的每个记录。 partition: 分区，每个主题有1个至多个分区 消费者 : 负责订阅消息，对象为KafkaConsumer ，客户端接口。 消费者组 :

Kafka单机安装 Kafka单机安装在官网处下载解压即可，然后配置环境变量即可启动，单机版可以不安装独立的zookeeper，使用kafka自带的zookeeper服务 启动命令如下 先启动自带zookeeper nohup bin/zookeeper-server-start.sh config/zookeeper.properties & 然后启动kafka nohup bin/kafka-server-start.sh config/server.properties & JPS查看是否有zookeeper服务和Kafka服务 Kafka集群安装 集群服务器 192.168.200.7 kafka01 192.168.200.8 kafka02 192.168.200.9 kafka03 免密 三台主机配置免密 ssh-keygen -t rsa ssh-copy-id -i ~/.ssh/id_rsa.pub 地址 配置hosts-->分发到不同的主机上 scp /etc/hosts root@kafka03:/etc/hosts 安装JDK 省略，安装方法就是下载解压，然后配置环境变量，注意JAVA版本是否是8 安装zk 1、修改配置文件名称 mv zoo_sample.cfg zoo.cfg 2、修改存放目录 dataDir=/keduox/data

Hadoop 环境搭建 参考资料: http://hadoop.apache.org/docs/r2.4.1/hadoop-project-dist/hadoop-common/ClusterSetup.html http://hadoop.apache.org/docs/r2.4.1/hadoop-yarn/hadoop-yarn-common/yarn-default.xml http://hadoop.apache.org/docs/r2.4.1/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml 下载 2.4.1 bin 包, 解压好以后按照链接上配置各个配置文件, 启动时会遇到 "Unable to load realm info from SCDynamicStore " 的问题, 这个问题需要在 hadoop-env.sh 中加入如下配置(配置 HBase 的时候也会遇到这个问题, 使用同样的方法在 hbase-env.sh 中加入如下配置解决) hadoop-env.sh(hbase-env.sh) 配置, 增加 export JAVA_HOME="/System/Library/Java/JavaVirtualMachines/1.6.0.jdk/Contents/Home" export HBASE_OPTS="

环境 主机名　 IP地址 角色 安装目录 sht-sgmhadoopnn-01 172.16.101.55 NameNode、SecondaryNameNode、 JobTracker、HMaster jdk: /opt/jdk1.6.0_45 zookeeper：/opt/zookeeper-3.3.5 软连接 /opt/zookeeper hbase: /opt/hbase-0.92.1 软连接 /opt/hbase hadoop: /opt/hadoop-1.0.3 软连接 /opt/hadoop sht-sgmhadoopdn-01 172.16.101.58 DataNode、TaskTracker、backup-masters、 HRegionServer、zookeeper sht-sgmhadoopdn-02 172.16.101.59 DataNode、TaskTracker、 HRegionServer、zookeeper sht-sgmhadoopdn-03 172.16.101.60 DataNode、TaskTracker、 HRegionServer、zookeeper 一. 系统环境配置 1. hosts文件互相解析 各节点均需设置 172.16.101.55 sht-sgmhadoopnn-01 172.16.101.58 sht