zookeeper集群

上篇文章 Zookeeper_阅读源码第一步_在 IDE 里启动 zkServer（单机版） 讲了在 idea 里以单机的方式启动zookeeper，这篇介绍一下以集群的方式启动。 集群方式启动，才会真正的用到 Zookeeper 的快速选举算法，单机版不涉及选举。这里我准备启动三个zkServer实例。 修改配置文件 首先要准备三个配置文件，具体配置及配置项解释如下： # 发送心跳的间隔时间，单位：毫秒 tickTime=2000 # 这个配置项是用来配置 Zookeeper 接受客户端（这里所说的客户端不是用户连接 Zookeeper 服务器的客户端， # 而是 Zookeeper 服务器集群中连接到 Leader 的Follower 服务器）初始化连接时最长能忍受多少个心跳时间间隔数。 # 当已经超过 10 个心跳的时间（也就是 tickTime）长度后 Zookeeper 服务器还没有收到客户端的返回信息，那么表明这个客户端连接失败。 # 总的时间长度就是 10*2000=20 秒 initLimit=10 # 这个配置项标识 Leader 与 Follower 之间发送消息，请求和应答时间长度，最长不能超过多少个 tickTime 的时间长度， # 总的时间长度就是 5*2000=10 秒 syncLimit=5 # zookeeper用于存储快照文件（zookeeper

kafka 简介 关键词 部署 初始化系统环境 yum -y install java-1.8.0-openjdk supervisor 安装zookeeper 集群 wget http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gz mkdir -p /data/apps/zookeeper-data/zk1/data mkdir -p /data/apps/zookeeper-data/zk1/logs cat > /data/apps/zookeeper-3.4.14/conf/zoo.conf <<EOF tickTime=2000 initLimit=10 syncLimit=5 dataDir=/data/apps/zookeeper-data/zk1/data dataLogDir=/data/apps/zookeeper-data/zk1/logs clientPort=2181 server.1=10.93.216.94:2287:3387 server.2=10.93.216.67:2288:3388 EOF echo "1" >/data/apps/zookeeper-data/zk1/data/myid ./bin/zkServer.sh start

D ocker 安装部署kafka 1、下载镜像 这里使用了wurstmeister/kafka docker pull wurstmeister/kafka 在命令中运行docker images验证镜像已经安装完毕 2.启动 启动kafka docker run -d --name kafka --publish 9092 : 9092 --link docker_ zookeeper --env KAFKA_ZOOKEEPER_CONNECT= 192.168.9.101 : 218 2 --env KAFKA_ADVERTISED_HOST_NAME= 192.168. 9.101 --env KAFKA_ADVERTISED_PORT= 9092 --volume /etc/ localtime: /etc/ localtime wurstmeister/ kafka: latest 报异常： 1）.Kafka超时错误：Timed out waiting for connection while in state 因为/etc/resolv.conf中添加了其它的DNS地址，所以导致在Kafka启动时无法解析到集群中的其它节点,我把以下节点注释以后，启动docker start 容器id 2）. 启动报:Native memory allocation (mmap)

1. Zookeeper 基础 1.1. 部署 先把 ZK 安装起来，后面的很多操作，都是的前提都是由 ZK 的操作环境，先来把 ZK 安装好， 1.1.1. Zookeeper windows 环境 安装 环境要求:必须要 有 jdk环境,本次 讲课使用 jdk1.8 1.安装jdk 2.安装Zookeeper. 在官网 http://zookeeper.apache.org/ 下载 zookeeper.我下载的是zookeeper-3.4.12版本。 解压 zookeeper-3.4.6至D:\machine\zookeeper-3.4.12. 在 D:\machine 新建data及log目录。 3.ZooKeeper的安装模式分为三种，分别为：单机模式（stand-alone）、集群模式和集群伪分布模式。ZooKeeper 单机模式的安装相对比较简单，如果第一次接触ZooKeeper的话，建议安装ZooKeeper单机模式或者集群伪分布模式。 安装单击模式。 至 D:\machine\zookeeper-3.4.12\conf 复制 zoo_sample.cfg 并粘贴到当前目录下，命名zoo.cfg. 1.1.2. Zookeeper 集群配置 1. 安装 jdk 运行 jdk 环境 上传 jdk1.8 安装包 2. 安装 jdk1.8 环境变量 vi /etc

1.1. 分布式系统基础知识 一个 tomcat 打天下的时代，不能说完全淘汰了，在一个管理系统，小型项目中还经常使用，这并不过分，出于成本的考虑，这反而值得提倡。 1.1.1. 分布式系统是什么 分布式系统：一个硬件或软件组件分布在不同的网络计算机上，彼此之间仅仅通过消息传递进行通信和协调的系统 这是分布式系统，在不同的硬件，不同的软件，不同的网络，不同的计算机上，仅仅通过消息来进行通讯与协调 这是他的特点，更细致的看这些特点又可以有：分布性、对等性、并发性、缺乏全局时钟、 故障随时会发生。 1.1.1.1. 分布性 既然是分布式系统，最显著的特点肯定就是分布性，从简单来看，如果我们做的是个电商项目，整个项目会分成不同的功能，专业点就不同的微服务，比如用户微服务，产品微服务，订单微服务，这些服务部署在不同的 tomcat 中，不同的服务器中，甚至不同的集群中，整个架构都是分布在不同的地方的，在空间上是随意的，而且随时会增加，删除服务器节点，这是第一个特性 1.1.1.2. 对等性 对等性是分布式设计的一个目标，还是以电商网站为例，来说明下什么是对等性，要完成一个分布式的系统架构，肯定不是简单的把一个大的单一系统拆分成一个个微服务，然后部署在不同的服务器集群就够了，其中拆分完成的每一个微服务都有可能发现问题，而导致整个电商网站出现功能的丢失。 比如订单服务，为了防止订单服务出现问题

Watcher 在ZooKeeper中，接口类Watcher用于表示一个标准的事件处理器，其定义了事件通知相关的逻辑，包含KeeperState和EventType两个枚举类，分别代表了通知状态和事件类型，同时定义了事件的回调方法：process（WatchedEvent event）。 7.1什么是Watcher接口 同一个事件类型在不同的通知状态中代表的含义有所不同，表7-3列举了常见的通知状态和事件类型。 表7-3 Watcher通知状态与事件类型一览 KeeperState EventType 触发条件 说明 None （-1） 客户端与服务端成功建立连接 SyncConnected （0） NodeCreated （1） Watcher监听的对应数据节点被创建 NodeDeleted （2） Watcher监听的对应数据节点被删除 此时客户端和服务器处于连接状态 NodeDataChanged （3） Watcher监听的对应数据节点的数据内容发生变更 NodeChildChanged （4） Wather监听的对应数据节点的子节点列表发生变更 Disconnected （0） None （-1） 客户端与ZooKeeper服务器断开连接 此时客户端和服务器处于断开连接状态 Expired （-112） Node （-1） 会话超时 此时客户端会话失效

在 ZooKeeper中，接口类Watcher用于表示一个标准的事件处理器，其定义了事件通知相关的逻辑，包含KeeperState和EventType两个枚举类，分别代表了通知状态和事件类型，同时定义了事件的回调方法：process（WatchedEvent event）。 一,什么 是 Watcher 接口 同一个事件类型在不同的通知状态中代表的含义有所不同，表 7-3列举了常见的通知状态和事件类型。 表 7-3 Watcher通知状态与事件类型一览 KeeperState EventType 触发条件 说明 None （-1） 客户端与服务端成功建立连接 SyncConnected （0） NodeCreated （1） Watcher监听的对应数据节点被创建 NodeDeleted （2） Watcher监听的对应数据节点被删除 此时客户端和服务器处于连接状态 NodeDataChanged （3） Watcher监听的对应数据节点的数据内容发生变更 NodeChildChanged （4） Wather监听的对应数据节点的子节点列表发生变更 Disconnected （0） None （-1） 客户端与ZooKeeper服务器断开连接 此时客户端和服务器处于断开连接状态 Expired （-112） Node （-1） 会话超时 此时客户端会话失效

centos: VMware虚拟机设置centos固定ip地址:https://segmentfault.com/a/1190000017535131　 Zookeeper Zookeeper的下载教程：https://blog.csdn.net/shen_yun2017/article/details/86526442 CentOS7安装与配置Zookeeper过程:https://www.linuxidc.com/Linux/2018-03/151327.htm Zookeeper到底是干嘛的:https://www.cnblogs.com/ultranms/p/9585191.html Zookeeper集群搭建：https://www.cnblogs.com/liushuchen/p/10897950.html ZooKeeper实际应用案例-开发实战 ：http://blog.csdn.net/liyiming2017/article/details/85063868 MySQL： MySQL5.7.18的安装及主从复制：https://www.cnblogs.com/guarderming/p/10411018.html、 MySQL5.7主从复制：https://www.cnblogs.com/yinzhengjie/articles/10371899.html

1.1 zookeeper（分布式协作服务） 1) ZooKeeper是什么？ ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，它是集群的管理者，监视着集群中各个节点的状态根据节点提交的反馈进行下一步合理操作。最终，将简单易用的接口和性能高效、功能稳定的系统提供给用户。 2) ZooKeeper提供了什么？ 1) 文件系统 2) 通知机制 3) Zookeeper文件系统 每个子目录项如 NameService 都被称作为znode，和文件系统一样，我们能够自由的增加、删除znode，在一个znode下增加、删除子znode，唯一的不同在于znode是可以存储数据的。 有四种类型的znode： 1) persistent-持久化目录节点：客户端与zookeeper断开连接后，该节点依旧存在。 2) persistent_ sequential-持久化顺序编号目录节点： 客户端与zookeeper断开连接后，该节点依旧存在，只是Zookeeper给该节点名称进行顺序编号。 3) ephemeral-临时目录节点 ：客户端与zookeeper断开连接后，该节点被删除。 4) ephemeral_ sequential -临时顺序编号目录节点：客户端与zookeeper断开连接后，该节点被删除

官网： http://kylin.apache.org/ 社区： https://github.com/KylinOLAP/Kylin/issues http://apache-kylin.74782.x6.nabble.com/ 源码： https://github.com/apache/kylin 博客： Apache Kylin的快速数据立方体算法 Apache Kylin (v1.5.0) 发布，全新设计的新一代 Apache基金会宣布Apache Kylin成为顶级项目 逐层（By Level）算法 VS 逐块(By Split) 算法 Kylin正式发布：面向大数据的终极OLAP引擎方案 Apache Kylin在百度地图的实践 京东王晓雨：Apache Kylin在云海的实践 一、工具准备 zookeeper3.4.6 （hadoop、hbase 管理工具） Hadoop.2.7.1 Hbase1.1.4 Kylin1.5.0-HBase1.1.3 Jdk1.7.80 Hive 2.0.0 二、虚拟主机 192.168.200.165 master1 192.168.200.166 master2 192.168.200.167 slave1 192.168.200.168 slave2 三、安装mysql 查看是否安装了 mysql （ master1 ）