zookeeper集群

简介 Zookeeper 是 一个分布式。开放源码的分布式应用程序协调服务，是Google Chubby的一个开源实现，大多数的分布式应用都需要Zookeeper的支持，这篇文章先简单的和大家分享如何搭建一个zookeeper集群。（笔者注：Chubby是一个lock service，通过这个lock service可以解决分布式中的一致性问题。为这个lock service的实现是一个分布式的文件系统。 环境： 由于我是用自己的笔记本做实验，所以就用了一台虚拟机；其实和真实的差不多；也就配置有些许不同。 步骤 第一步：在你的虚拟机上安装JDK/JRE ; 第二步：下载zookeeper: http://mirrors.hust.edu.cn/apache/zookeeper/ 这边下载版本的需要注意了。3.4.6 和3.4.8+ 是有区别的，后面具体说一下，建议下载3.4.8+。 第三步：创建相关目录，解压zk 目录和日志目录。 mkdir /tools/zookeeper/zookeeper-3.4.6/server1 mkdir /tools/zookeeper/zookeeper-3.4.6/server2 mkdir /tools/zookeeper/zookeeper-3.4.6/server3 mkdir /data/dataLogs/zookeeper/s1

第91课：SparkStreaming基于Kafka Direct案例实战和内幕源码解密 /* * *王家林老师授课 http://weibo.com/ilovepains */ 每天晚上20：00YY频道现场授课频道68917580 1、作业内容：SparkStreaming基于Kafka Direct方式实现，把Kafka Direct理解成为像hdfs的数据源，SparkStreaming直接读取数据进行流处理。 2、之前的spark集群环境： spark 1.6.0 kafka_2.10-0.9.0.1 3、java开发SparkStreamingDirected，读取topic SparkStreamingDirected中的数据。 4、kafka中创建topic SparkStreamingDirected161，生产者输入数据。 5、将SparkStreamingDirected 在ecliplse中export打成jar包，提交spark运行，准备从kafka中读取数据。 6、结果spark submit运行中报java.lang.ClassNotFoundException,踩坑记录 ： -com.dt.spark.SparkApps.SparkStreaming.SparkStreamingOnKafkaDirected

最新的zookeeper下载地址： http://mirrors.cnnic.cn/apache/zookeeper/ 其中的zookeeper-3.5.5/里的apache-zookeeper-3.5.5.tar.gz不推荐使用，解压（推荐WinRAR，360压缩解压此格式会有错误覆盖，伴随生成 PaxHeader 文件夹）后缺少lib等文件。 推荐使用zookeeper-3.4.14/ 里的zookeeper-3.4.14.tar.gz（Windows和Linux都使用这个免安装包）。 既然免安装，就略过安装。 解压后，在conf中新建zoo.cfg，或者把zoo_sample.cfg粘贴并重命名。 加入以下基础配置： # 集群Leader和Follower服务器之间、服务器和客户端之间通信的心跳单元毫秒数 tickTime=2000 # 集群Follower服务器同步Leader服务器时的最大尝试次数 initLimit=10 # 集群Leader服务器检测其他服务器是否存活的最大尝试次数 syncLimit=5 # 服务器对客户端开放的服务端口 clientPort=2181 # 临时文件（快照文件）的存放位置 dataDir=D:/zookeeper-3.4.14/data # 日志的存放位置 dataLogDir=D:/zookeeper-3.4.14/log

【 为什么部署个数是奇数个？ 】 　　zookeeper有这样一个特性：集群中只要有过半的机器是正常工作的，那么整个集群对外就是可用的。即 2n 个机器的集群，最多可以容忍 n-1 个机器不可用，这个容忍度与 2n-1 个机器的集群的容忍度是一样的。在相同容错能力的情况下，本着节约资源的原则，zookeeper集群的节点数维持奇数个更好一些。 【 Docker 搭建 Zookeeper 集群 】 　　 https://www.cnblogs.com/kingkoo/p/8732448.html 来源： https://www.cnblogs.com/zlxyt/p/11901502.html

一、 什么是ZooKeeper ZooKeeper主要 服务于分布式系统 ，可以用ZooKeeper来做：统一配置管理、统一命名服务、分布式锁、集群管理。 使用分布式系统就无法避免对节点管理的问题(需要实时感知节点的状态、对节点进行统一管理等等)，而由于这些问题处理起来可能相对麻烦和提高了系统的复杂性，ZooKeeper作为一个能够 通用 解决这些问题的中间件就应运而生了。 二、 ZooKeeper的数据结构 　　ZooKeeper和Redis一样，也是C/S结构(分成客户端和服务端)。 　　ZooKeeper的数据结构，跟Unix文件系统非常类似，可以看做是一颗树，每个节点叫做ZNode。每一个节点可以通过路径来标识，结构图如下： 　　如图所示，Znode分为两种类型： 短暂/临时(Ephemeral) ：当客户端和服务端断开连接后，所创建的Znode(节点)会 自动删除 持久(Persistent) ：当客户端和服务端断开连接后，所创建的Znode(节点) 不会删除 三、 ZooKeeper的监听器 　　前面了解了，我们可以通过ZooKeeper去通用的实现很多功能，那么实现原理是怎么样的呢？ZooKeeper配合了监听器，才能够做那么多事的。 　　常见的监听场景有以下两项： 监听Znode节点的 数据变化 监听子节点的 增减变化 　　通过 监听+Znode节点(持久/短暂

环境准备： JDK 　　jdk1.8.0_121 zookeeper 　　 zookeeper-3.4.9 hbase 　　 hbase-1.2.4-bin tomcat 　　 apache-tomcat-8.5.14.zip Pinpoint Collector 　 　 pinpoint-collector-1.6.2.war Pinpoint Web 　　pinpoint-web-1.6.2.war Pinpoint Agent 　　 pinpoint-agent-1.6.2.tar.gz JDK下载与安装 从oracle官网下载、安装jdk-1.8.0 $ cd /data/pin $ wget http://files.saas.hand-china.com/hitoa/1.0.0/jdk-8u121-linux-x64.tar.gz $ tar -xzvf jdk-8u121-linux-x64.tar.gz 配置 在/etc/profile文件配置环境变量 export JAVA_HOME=/data/u01/jdk1.8.0_121 export JRE_HOME=$JAVA_HOME/jre export PATH=$JAVA_HOME/bin:$PATH export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib

一、环境准备 软件 版本 Linux系统 CentOS7 JDK jdk-8u221-linux-x64.tar.gz Hadoop zookeeper-3.4.5-cdh5.14.2.tar.gz 二、机器配置 主机名 hadoop01 hadoop02 hadoop03 内存 8G 8G 8G CPU 4核 4核 4核 硬盘 500G 500G 500G 服务 QuorumPeerMain QuorumPeerMain QuorumPeerMain 三、前期准备工作 　　1、关闭防火墙 firewall-cmd --state # 查看防火墙状态 systemctl stop firewalld.service # 停止防火墙 systemctl disable firewalld.service # 禁止开机启动防火墙 　　2、配置host主机映射（使用root权限，将ip修改成对应的ip地址） sudo vi /etc/hosts ip1 hadoop01 ip2 hadoop02 ip3 hadoop03 　　3、创建普通用户（bigdata） useradd bigdata # 添加普通用户 passwd bigdata # 为普通用户设置密码 　　4、为bigdata用户配置ssh免密码登陆（具体操作步骤略，执行命令如下） ssh-keygen -t rsa #

Zookeeper是一个高可用的分布式数据管理与协调框架，该框架能很好地保证分布式环境中数据一致性。一般用来实现服务发现(类似DNS)，配置管理，分布式锁，leader选举等。 一、生产环境中Zookeeper安装部署规范 生产环境建议zookeeper至少为三台集群，统一安装配置，版本号为近期新版本，比如版本为3.4.8 部署路径：/opt/业务模块名/zookeeper 配置文件：/opt/业务模块名/zookeeper/conf/zoo.cfg 存储快照文件snapshot的目录：/opt/业务模块名/zookeeper/data 事务日志输出目录：/var/log/业务模块名/zookeeper 运行日志输出目录：/var/log/业务模块名/zookeeper Zookeeper所有端口需要提前开通防火墙入站规则 对外服务端口：默认2181，可自定义 通信端口：2888，可自定义 选举端口：3888，可自定义 autoperge默认关闭，建议自行编写脚本在业务低谷期清理快照和事务日志 查询状态：sh /opt/业务模块名/zookeeper/zkServer.sh status 启动服务：sh /opt/业务模块名/zookeeper/zkServer.sh start 停止服务：sh /opt/业务模块名/zookeeper/zkServer.sh stop

第一步：环境准备 环境 版本 说明 JDK 1.8 zookeeper运行所需 centos 7 操作系统 需要配置好JDK的环境变量 zookeeper-3.4.9.tar.gz 3.4.9 zookeeper部署包 环境准备完毕之后，安装三台centos7的虚拟机，并分配好静态IP。 假设三台虚拟机分配的IP分别为： 10.0.90.52 10.0.90.53 10.0.90.54 配置Jdk环境变量，确保“ java -version ”命令能够执行成功。 注意：为了确保zookeeper集群能够成功运行，确保万一，这里需要关闭一下centos的防火墙，关闭方法如下： 1. 安装iptables： yum install -y iptables-services 2.关闭防火墙： service iptables stop 3. 查看防火墙状态 service iptables status 这个状态说明已经关闭了，如下图所示： 第二步：Zookeeper配置 选取其中一台服务器，比如ip为10.0.90.52的服务器，将zookeeper-3.4.9.tar.gz 移动到 /usr/local 目录下。 解压压缩包： tar -zxvf zookeeper-3.4.9.tar.gz 解压成功之后，会有一个zookeeper-3.4.9文件夹，这个是zookeeper的部署包

文本摘自此文章 1、kafka需要zookeeper管理，所以需要先安装zookeeper。 下载zookeeper镜像 $ docker pull wurstmeister/zookeeper 2、启动镜像生成容器 $ docker run -d --name zookeeper -p 2181:2181 -v /etc/localtime:/etc/localtime wurstmeister/zookeeper 3、下载kafka镜像 $ docker pull wurstmeister/kafka 4、启动kafka镜像生成容器 $ docker run -d --name kafka -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=172.16.0.13:2181/kafka -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://172.16.0.13:9092 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -v /etc/localtime:/etc/localtime wurstmeister/kafka 参数说明： -e KAFKA_BROKER_ID=0 在kafka集群中，每个kafka都有一个BROKER