zookeeper集群

CAP 定制： Eureka的优势 1、在Eureka平台中，如果某台服务器宕机，Eureka不会有类似于ZooKeeper的选举leader的过程；客户端请求会自动切换到新的Eureka节点；当宕机的服务器重新恢复后，Eureka会再次将其纳入到服务器集群管理之中；而对于它来说，所有要做的无非是同步一些新的服务注册信息而已。所以，再也不用担心有“掉队”的服务器恢复以后，会从Eureka服务器集群中剔除出去的风险了。Eureka甚至被设计用来应付范围更广的网络分割故障，并实现“0”宕机维护需求。（多个zookeeper之间网络出现问题,造成出现多个leader，发生脑裂）当网络分割故障发生时，每个Eureka节点，会持续的对外提供服务（注：ZooKeeper不会）：接收新的服务注册同时将它们提供给下游的服务发现请求。这样一来，就可以实现在同一个子网中（same side of partition），新发布的服务仍然可以被发现与访问。 2、正常配置下，Eureka内置了心跳服务，用于淘汰一些“濒死”的服务器；如果在Eureka中注册的服务，它的“心跳”变得迟缓时，Eureka会将其整个剔除出管理范围（这点有点像ZooKeeper的做法）。这是个很好的功能，但是当网络分割故障发生时，这也是非常危险的；因为，那些因为网络问题（注：心跳慢被剔除了）而被剔除出去的服务器本身是很”健康“的

问题 部署的zookeeper集群失败, [root@bogon zkdata]# zkServer.sh status ZooKeeper JMX enabled by default Using config: /opt/zookeeper-3.4.14/bin/../conf/zoo.cfg Mode: standalone 问题排查 网上有人说删除zookeeper/conf 文件下的其余cfg文件,这个方法不适合,zookeeper默认使用zoo.cfg,除非启动时候指认其余路径下文件,否则一般不会出现使用混淆配置文件的问题. zookeeper配置集群关键点就在其配置文件内容里. #PS:如果不需要集群配置可以不配置以下3个节点,如果是单机集群注意修改端口号(2888,3888)要不一致 Server.1=Master:2888:3888 Server.2=Slave1:2888:3888 Server.3=Slave2:2889:3889 看到一篇博文作者是把server配置成了slave导致集群模式启动失败. 而我这次犯得错误是server首字母顺手大写了…导致集群配置直接无效.所以启动是standalone模式. 将Server…都改为server… #PS:如果不需要集群配置可以不配置以下3个节点,如果是单机集群注意修改端口号(2888,3888)要不一致

环境准备 # tar xvf zookeeper-3.4.6.tar.gz -C /opt/app 修改ZOOKEEPER配置 # cp zoo_sample.cfg zoo.cfg [root@quan zookeeper-3.4.6]# mkdir -p /data/zookeeper/data [root@quan zookeeper-3.4.6]# ln -s /data/zookeeper/data/ /opt/app/zookeeper-3.4.6/ [root@quan conf]# vim zoo.cfg # 修改dataDir dataDir=/opt/app/zookeeper-3.4.6/data/ # 添加dataLogDir 日志路径 dataLogDir=/opt/app/zookeeper-3.4.6/logs # 配置三个节点 同时注意/etc/hosts配置 server.1=server01:2888:3888 server.2=server02:2888:3888 server.3=server03:2888:3888 指定节点id 在data下创建myid文件 [root@quan zookeeper-3.4.6]# cd data/ [root@quan data]# ls [root@quan data]# vim myid [root

## SpringBoot配合Dubbo，使用@Service和@Reference，group实现接口多实现 --- 公司项目升级，需要实现springBoot + Dubbo，并支持一个接口多个实现的情况。遇到了几个坑，在这里记录下。 ### 1. 安装Zookeeper 在 [官网](https://archive.apache.org/dist/zookeeper/zookeeper-3.5.6/) 上下载最新版本3.5.6(注意下载 bin 包) > 1. 将下载好的压缩包，解压到对应目录 > 2. cd apache-zookeeper-3.5.6-bin/conf/ // 切换到配置目录 > 3. mv zoo_sample.cfg zoo.cfg //更改默认配置文件名称 > 4. vi zoo.cfg // 编辑配置文件，自定义dataDir，我的配置贴在下面 这里会遇到第一个坑：zk从3.5.5开始，带有bin名称的包才是我们想要的下载可以直接使用的里面有编译后的二进制的包，而tar.gz的包里面是只是源码，无法直接使用。不小心下了 apache-zookeeper-3.5.6.tar.gz 这个包，启动时会报错"错误: 找不到或无法加载主类 org.apache.zookeeper.server.quorum.QuorumPeerMain"。 ######

前提环境： 　　单节点伪集群： Hadoop + zookeeper + Hbase 　　https://www.cnblogs.com/Sleepy-ff/p/11737339.html 资源下载： 　　http://mirror.bit.edu.cn/apache/spark/ （1.）　　下载解压 （2.）　　配置环境变量 　　vim 　　/etc/profile　　　　 　　 　　source 　　/etc/profile （3.）　　修改配置文件 cp spark-env.sh.template spark-env.shvim spark-env.sh// 以下是spark-env.sh 中新增内容export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoo （4.）　　配置完成即可启动spark spark-shell --master yarn --deploy-mode client 注：若启动报错，可参考文章： https://blog.csdn.net/chengyuqiang/article/details/77864246 　　 来源： https://www.cnblogs.com/Sleepy-ff/p/11765977.html

kafka知识总结 //切换到安装路径命令 cd /home/kafka/kafka_2.11-0.10.2.1/bin //启动kafka服务，三台主机分别输入此指令： ./kafka-server-start.sh $KAFKA_HOME/config/server.properties & //以后台的方式启动 nohup ./kafka-server-start.sh $KAFKA_HOME/config/server.properties & //查看topic名 ./kafka-topics.sh --list --zookeeper 10.101.22.41:2181 ./kafka-topics.sh --list --zookeeper 10.101.22.41:2181,10.101.22.42:2181,10.101.22.43:2181 //查询topic内容 ./kafka-console-consumer.sh --bootstrap-server 10.101.22.41:9092,10.101.22.42:9093,10.101.22.43:9094 --topic oth_cpd_active_realtime_data --from-beginning //查看某个Topic的详情 ./kafka-topics.sh --topic oth

阅读本文需要 安装JDK 一 Zookeeper简介 zookeeper是用java语言编写的一款为分布式应用所设计的协调服务 zookeeper是apacahe hadoop的子项目 使用zookeeper可以减轻分布式应用程序所承担的协调任务 二 Zookeeper应用场景 1. 作为dubbo服务的注册中心 2. 作为集群的管理工具 三 环境 阿里云服务器: CentOS 7.4 64位(基于RedHat) 本机: macOS High Sierra 四 压缩包 http://mirrors.hust.edu.cn/apache/zookeeper/ 五 文件传输 输入SFTP命令连接 -> 输入实例登录密码 　　sftp root@公网IP 上传 　　put 本地文件 服务器路径 下载 　　get 服务器文件 本地路径 六 远程访问 输入SSH命令连接 -> 输入实例登录密码 　　ssh root@公网IP 七 关闭防火墙 关闭防火墙 　　systemctl stop firewalld.service 关闭防火墙开机自启动功能 　　systemctl disable firewalld.service 查看防火墙状态 　　firewall-cmd --state 八 安装 Linux 安装Zookeeper<单机版>(使用Mac远程访问) Linux

版本： zookeeper-3.5.4-beta.tar.gz jdk-8u171-linux-x64.tar.gz 集群搭建(3节点) 多节点重复相同操作： 1、将jdk和zookeeper的安装包上传到Linux 2、解压 解压之后可以删除压缩包 3、将jdk的安装包移动到/usr/local/java下 4、配置jdk环境变量和zookeeper环境变量（在文件的末尾添加） export JAVA_HOME=/usr/local/java/jdk1.8.0_171 export ZK_HOME=/usr/local/zookeeper export PATH=$PATH:$JAVA_HOME/bin:$ZK_HOME/bin 修改之后让文件修改生效 注意：此文件为全局变量文件，如出现报错，可检查输入环境变量是否在"="左右两侧存在空格 5、验证环境变量配置是否正确 正常显示信息证明jdk安装成功 6、修改zookeeper的配置文件 进入配置文件所在位置 修改zoo_sample.cfg名称为zoo.cfg 修改配置文件 dataDir=/usr/local/zookeeper/data clientPort=2181 server.0=192.168.145.128:2888:3888 server.1=192.168.145.129:2888:3888 server.2

1.znode znode的官方说明： http://zookeeper.apache.org/doc/r3.4.12/zookeeperProgrammers.html#sc_zkDataModel_znodes ZooKeeper以一种类似于文件系统的树形数据结构实现名称空间。名称空间中的每个节点都是一个znode。znode和文件系统的路径不一样，在文件系统中，路径只是一个名称，不包含数据。而znode不仅是一个路径，还携带数据。 需要注意，虽然是树形数据结构，但ZooKeeper是内存数据库，节点的信息全都存放在内存中(在写操作达到一定次数后，会对内存数据库拍快照，将其序列化到磁盘上)，所以在文件系统中是看不到这个树形结构的，不过可以借助ZooKeeper的第三方web工具来查看。 此外，znode还维护了包括版本号和时间戳的状态信息。通过版本号和时间戳信息，可以让ZooKeeper验证缓存、协调每次的更改操作。每当znode数据发生更改时，版本号都会递增。客户端检索znode时，同时也会收到关于该节点的状态信息。当客户端执行更改、删除操作时，它必须提供它正在更改的znode数据的版本，如果它提供的版本与数据的实际版本不匹配，则更新将失败。 znode有几个需要关注的点： Watches ： 客户端可在znode上设置watchs。每当该znode发生改变时

本文收录在 Linux运维企业架构实战系列 前言：本篇博客是博主踩过无数坑，反复查阅资料，一步步搭建，操作完成后整理的个人心得，分享给大家~~~ 1、认识Hadoop和Hbase 1.1 hadoop 　　Hadoop java Apache Hadoop Hadoop 1.2 Hadoop Hadoop Hadoop Common Hadoop Java Hadoop Java Hadoop YARN Hadoop HDFS Hadoop MapReduce YARN Hadoop 2012 “Hadoop” Hadoop Apache Pig Apache Hive Apache HBase Apache 1.3 Hadoop 1 / Hadoop hadoop 绫讳互 jar map reduce 2 Hadoop jar / JobTracker JobTracker / 3 TaskTrackers MapReduce reduce 1.4 Hadoop CPU FTHA Hadoop Hadoop Java 1.5 HBase 　　Hbase hbase hadoop Hbase Hadoop HDFS Hadoop MapReduce Hbase zookeeper 1.6 HBase Client HBase cache HBase Zookeeper master