zookeeper集群

Zookeeper是什么 Zookeeper 分布式服务框架是Apache Hadoop 的一个子项目，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等 简单的说，zookeeper=文件系统+通知机制。 转自：https://blog.csdn.net/king866/article/details/53992653 Zookeeer工作原理 Zookeeper中的元素介绍 1、znode节点 有四种类型的znode： 1、PERSISTENT-持久化目录节点 客户端与zookeeper断开连接后，该节点依旧存在 2、 PERSISTENT_SEQUENTIAL-持久化顺序编号目录节点 客户端与zookeeper断开连接后，该节点依旧存在，只是Zookeeper给该节点名称进行顺序编号 3、EPHEMERAL-临时目录节点 客户端与zookeeper断开连接后，该节点被删除 4、EPHEMERAL_SEQUENTIAL-临时顺序编号目录节点 客户端与zookeeper断开连接后，该节点被删除，只是Zookeeper给该节点名称进行顺序编号 现在把这些配置全部放到zookeeper上去，保存在 Zookeeper 的某个目录节点中，然后所有相关应用程序对这个目录节点进行监听，一旦配置信息发生变化

代码下载： https://download.csdn.net/download/typ1805/10485048 微服务架构成了当下的技术热点，实现微服务是要付出很大成本的，但也许是因为微服务的优点太过于吸引人，以至于大部分开发者都将它当成未来的发展趋势。 dubbo的用户手册中介绍了服务化架构的进化过程，如下图： 要实现一个微服务的架构，我们需要关注的技术点包括：服务注册、发现、负载均衡和健康检查，前端路由(网关)，容错，服务框架的选择，动态配置管理等模块。这些模块可以组成一个简化的微服务架构图如下： 第一步：zookeeper集群的部署 使用zookeeper作为dubbo的注册中心，部署起来并不麻烦。为了保持注册中心的高可用性，在生产环境下我们需要配置多个zookeeper协同运行。在集群模式下，zookeeper会基于Paxos算法从集群中选择一台作为leader，其他机器作为follower，注册中心的数据都以leader为准。一台zk机器成为leader的条件是超过这台机器是可用的，且被超过半数的机器选举为leader。基于这种实现方式，我们选择zk集群的数量时最好为奇数个，最少为3个，这样只要有超过半数的zk机器存活那注册中心就是可用的。 注：如果我们选择2台机器作为zk的集群，那只要有一台zk挂掉，另一台机器就无法得到超过半数的选票，那么这个zk集群就直接失效了

来源：https://www.ibm.com/developerworks/cn/analytics/library/ba-cn-bigdata-hbase/index.html 提到大数据的存储，大多数人首先联想到的是 Hadoop 和 Hadoop 中的 HDFS 模块。大家熟知的 Spark、以及 Hadoop 的 MapReduce，可以理解为一种计算框架。而 HDFS，我们可以认为是为计算框架服务的存储层。因此不管是 Spark 还是 MapReduce，都需要使用 HDFS 作为默认的持久化存储层。那么 HBase 又是什么，可以用在哪里，解决什么样的问题？简单地，我们可以认为 HBase 是一种类似于数据库的存储层，也就是说 HBase 适用于结构化的存储。并且 HBase 是一种列式的分布式数据库，是由当年的 Google 公布的 BigTable 的论文而生。不过这里也要注意 HBase 底层依旧依赖 HDFS 来作为其物理存储，这点类似于 Hive。 可能有的读者会好奇 HBase 于 Hive 的区别，我们简单的梳理一下 Hive 和 HBase 的应用场景： Hive 适合用来对一段时间内的数据进行分析查询，例如，用来计算趋势或者网站的日志。Hive 不应该用来进行实时的查询（Hive 的设计目的，也不是支持实时的查询）。因为它需要很长时间才可以返回结果

搭建zookeeper集群是发现了一个奇怪的现象： 问题：在同一台机器上，启动三个zookeeper，三个分别使用不同的配置文件，内容如下： tickTime= 2000 initLimit= 10 syncLimit= 5 dataDir=/usr/local/wang/zookeeper- 3.4 .8 - 3 /data dataLogDir=/usr/local/wang/zookeeper- 3.4 .8 - 3 /log clientPort= 2183 server .1 =xx .xx .xx .xx : 2181 : 3381 server .2 =xx .xx .xx .xx : 2182 : 3382 server .3 =xx .xx .xx .xx : 2183 : 3383 对应的dataDir目录下的myid文件也都配置的没有问题，但是在启动时，显示： root @iZuf6axmuekh1n14dwcufmZ :/usr/local/wang/zookeeper- 3.4 . 8 - 2 /bin # zkServer.sh start ZooKeeper JMX enabled by default Using config: /usr/local/wang/zookeeper- 3.4 . 8 - 2 /bin/../conf/zoo.cfg

这一篇将Zookeeper的实际操作总结出来。 下载Zookeeper： Zookeeper 1.Windows安装Zookeeper 1.1 下载安装 解压到合适目录，修改conf中配置文件。 将Conf中的zoo_sample.cfg复制一份更名为zoo.cfg(也可以直接修改) 1.2 修改zoo.cfg参数 基础配置： 参数 详解 clientPort 配置当前服务器对外的服务端口，客户端会通过该端口和zookeeper服务器创建链接一般为2181，每台zookeeper服务器都可以配置任意可用端口，同时集群中的所有服务器不需要保持clientport端口的一直 dataDir zookeeper服务器存储快照文件的目录 tickTime 用于配置zookeeper中最小时间单元的长度，很多运行时的时间间隔都是使用tickTime的倍数来表示的 例如initLimit=10就是tickTime的十倍等于2W毫秒 高级配置： 参数 详解 dataLogDir 用于配置zookeeper服务器存储事务日志文件的目录，默认情况会将事务日志文件和快照数据存储在同一个目录中，尽量将两个目录分开如果条件允许，可以将事务日志的存储配置在一个单独的磁盘上，事务日志的记录对磁盘的性能要求非常高

一、zookeeper介绍 zookeeper是一个中间件，为分布式系统提供协调服务，可以为大数据服务，也可以为java服务。 分布式系统，很多计算机组成一个整体，作为一个整体一致对外并处理同一请求，内部每台计算机都可以相互通信，客户端到服务器端的依次请求到响应结束会经历多个计算机。 特性：一致性。数据一致性，数据按照顺序分批入库， 原子性：事务要么成功要么失败 单一试图：客户端连接集群人一个节点，数据都是一致的。 可靠性：每次对zk操作状态都会保存在服务端 实时性：客户端可以独到zk服务端最新数据 二、环境安装 本博主安装环境：linux ，centos6.7， jdk1.8，zookeeper3.4.9 java环境的jdk的安装 安装之前可以先卸载掉 查看系统的jdk rpm 版本：rpm -qa | grep jdk 卸载原有的： yum remove java-1.6.0-openjdk yum remove java-1.7.0-openjdk 下载安装新的1.8的JDK： 官网上下载jdk-8u171-linux-i586.rpm,并拷贝的linux的home文件夹下 cd /home cp jdk-8u171-linux-i586.rpm /usr/loacal/jdk1.8 rpm -ivh jdk-8u171-linux-i586.rpm 命令： rpm

1.保证hadoop集群没有问题，可以看下我另一个文章 https://www.cnblogs.com/zhangjiahao/p/10992171.html 2.下载上传zookeeper安装包 官网地址:http://mirror.bit.edu.cn/apache/zookeeper/ 3.解压 tar -zxvf zookeeper-3.4.4.tar.gz 4.进入到conf目录并且拷贝zoo_samle.cfg为zoo.cfg cd zookeeper.2.4.5/conf cp zoo_sample.cfg zoo.cfg 5.编辑zoo.cfg文件(地址和ip按照自己的实际情况来) 6.创建myid文件并写入1 创建文件:touch myid 7.将配置好的文件传到slave1和slave2,修改myid中的数字为2，3 8.配置环境变量分发到另外两个机器上 9.启动 到bin目录下 ./zkServer.sh start 查询状态 ./zkServer.sh status 来源： https://www.cnblogs.com/zhangjiahao/p/11768898.html

[kafka] 220.100.23.[157:159] ansible_ssh_user=linux ansible_ssh_pass="XXXXXX" copy_kafka.sh 文件 #!/bin/bash echo "copy kafka soft" #将软件复制到其他服务器 ansible kafka -m copy -a "src=/usr/local/soft/kafka_2.12-2.2.0.tgz dest=/usr/local/soft" #解压文件 ansible kafka -m shell -a "tar -xzvf /usr/local/soft/kafka_2.12-2.2.0.tgz -C /usr/local/soft " echo "copy kafka end" zookeeper-prod.properties 部分内容 #dataDir=/tmp/zookeeper dataDir=/usr/local/soft/zookeeper/data # the port at which the clients will connect clientPort=2181 # disable the per-ip limit on the number of connections since this is a non-production

1、主机初始化 hostnamectl set-hostname hbase-master hostnamectl set-hostname hbase-node1 hostnamectl set-hostname hbase-node2 cat <<EOF >> /etc/hosts 192.168.2.124 hbase-master 192.168.2.125 hbase-node1 192.168.2.126 hbase-node2 EOF #设置yum源 cd /etc/yum.repos.d/ rename repo repo.bak * curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo yum clean all && yum makecache #修改配置文件 cat <<EOF | tee /etc/profile.d/my.sh PS1='\[\e[1;32m\][\u@\h \w]\$ \[\e[0m\]' alias vi="vim" HISTSIZE=10000 HISTTIMEFORMAT="%F %T " EOF source /etc/profile.d/my.sh #安装JDK yum install -y java-1.8

HA 概述 所谓HA（High Available），即高可用（7*24小时不中断服务） 实现高可用最关键的策略是消除单点故障，HA 严格来说应该分成各个组件的 HA 机制：HDFS 的 HA 和 YARN 的 HA Hadoop2.0 之前，在 HDFS 集群中 NameNode 存在单点故障（SPOF） NameNode 主要在以下两个方面影响 HDFS 集群 NameNode 机器发生意外，如宕机，集群将无法使用，直到管理员重启 NameNode 机器需要升级，包括软件、硬件升级，此时集群也将无法使用 HDFS HA 功能通过配置 Active/Standby 两个 NameNodes 实现在集群中对 NameNode 的热备来解决上述问题，如果出现故障，如机器崩溃或机器需要升级维护，这时可通过此种方式将 NameNode 很快的切换到另外一台机器 2 HDFS-HA 工作机制 通过双 NameNode 消除单点故障 2.1 HDFS-HA 工作要点 元数据的管理方式需要改变： 内存中各自保存一份元数据 Edits 日志只有 Active 状态的 NN 可以做写操作 两个 NN 都可以对 Edits 做读操作 共享的 Edits 放在一个共享存储中管理（qjournal） 需要一个状态管理功能模块： 实现了一个 zkfailover，常驻在每一个 NN 所在的节点