zookeeper集群

=====================================斩秋| http://blog.csdn.net/quhongwei_zhanqiu ======================================= Zookeeper集群启动的入口类是QuorumPeerMain来加载配置启动QuorumPeer线程。首先我们来看下QuorumPeer， 谷歌翻译quorum是法定人数，定额的意思， peer是对等的意思，那么QuorumPeer中quorum代表的意思就是每个zookeeper集群启动的时候集群中zookeeper服务数量就已经确定了，在每个zookeeper的配置文件中配置集群中的所有机器 server.1=127.0.0.1:2886:3886 server.2=127.0.0.1:2887:3887 server.3=127.0.0.1:2888:3888 事实上着也确定zookeeper在运行中是不能动态扩容的，必须停下服务修改配置才可以；QuorumPeer中peer代表就是集中每个zookeeper角色是对等的没有主从之分，每个zookeeper服务都可以成为leader， follower，observer。 1. QuorumPeerMain加载 1） QuorumPeerConfig读取配置文件，如下面的zoo.cfg文件

搭建SolrCloud集群 把solrhome中的配置文件上传到zookeeper集群。使用zookeeper的客户端上传。 客户端命令位置：/root/solr-4.10.3/example/scripts/cloud-scripts 执行命令 ./zkcli.sh -zkhost 192.168.172.128:2181,192.168.172.128:2182,192.168.172.128:2183 -cmd upconfig -confdir /usr/local/solrcloud/solrhome1/collection1/conf -confname myconf 报错: Error: Could not find or load main class org.apache.solr.cloud.ZkCLI 解决办法： 在/root/solr-4.10.3/example目录下执行 java -jar start.jar 命令。 然后在/root/solr-4.10.3/example/scripts/cloud-scripts目录下面,继续执行 ./zkcli.sh -zkhost 192.168.172.128:2181,192.168.172.128:2182,192.168.172.128:2183 -cmd upconfig -confdir /usr

zookeeper管理solrcloud集群时，在把solrcloud配置文件上传到zookeeper中出错 : 执行./zkcli.sh -zkhost 192.168.25.154:2181,192.168.25.154:2182,192.168.25.154:2183-cmd upconfig -confdir /usr/local/solrcloud/solrhome1/collection1/conf-confname myconf 命令时报错， Error: Could not find or load main class org.apache.solr.cloud.ZkCLI 查了好的文档都不行，最后在http://stackoverflow.com/questions/15830090/reloading-zookeeper-solr-conf-schema-xml下查看到 在/home/ftpuser/solr-4.10.3/example/ 执行java -DzkHost=192.168.10.128:2181,192.168.10.128:2182,192.168.10.128:2183/foo/bar -jar后，然后在执行上述命令，竟然成功了。 来源： CSDN 作者： jaryle 链接： https://blog.csdn.net/jaryle

zookeeper集群启动成功但是查看状态显示失败，以master主机为例： 经过分析，有以下几个历程： 1. 一开始在网上查有人说可能是防火墙没有关闭，然后我就去查看我的防火墙状态，发现还真的是没有关闭 然后我就去关闭防火墙，附图： 关闭防火墙的命令：systemctl stop firewalld 查看防火墙的命令：systemctl status firewalld 然后我就去启动zookeeper并查看状态，发现还是没有用 2. 经历第一个历程后，我在网上又查了查，我就去看了下zookeeper退出的那个包，查看原因发现是zookeeper的那个jar包没有了 在其他节点查看是有这个jar包的 直接把其他节点的那个zookeeper的jar包复制远程分发过来可以解决这个问题了，启动查看zookeeper集群状态： 来源： CSDN 作者： WSQ(me) 链接： https://blog.csdn.net/weixin_44105991/article/details/97788845

一、概述 ELK是由Elastic公司开发的Elasticsearch、Logstash、Kibana三款开源软件的缩写（但不限于这三款软件）。 为什么使用ELK? 　　在目前流行的微服务架构中，一个大型应用可能会被划分成几十甚至上百个微服务，这些微服务产生的日志也会分布在不同的服务器不同的目录下，按常规方式进行日志检查你会频繁登录每台服务器查找日志，所以你可能需要一个集中化的日志管理平台。 　　如果要对这些日志进行数据分析，常规方式可采用hadoop或spark等大数据技术手段来进行数据分析，但终究这些方式需要编写代码和相关专业知识，时间、人力成本略高，所以你可能需要一个开箱即用的搜索、聚合、可视化的数据分析平台。 　　综上所述，ELK首先是一个集中化日志管理平台，但同时也是一个快速的可视化数据分析平台。 架构选择 　　ELK架构很灵活，不同的架构适合不同的场景。 　　在文章末尾提供了一个链接，可作为不同架构方式的参考。 二、服务架构 上图中分为4层，含义如下： 1、filebeat日志采集端，采集日志并将日志发送到kafka； 2、kafka+zookeeper集群，用于中转、缓冲海量日志； 3、logstash从kafka中拉取日志，并过滤、转发到elasticsearch中； 4、elasticsearch集群，用于存储日志；kibana将海量日志可视化展示、统计； 三

获取zookeeper二进制软件包，地址[ https://www.apache.org/dyn/closer.cgi/zookeeper/ ]( https://www.apache.org/dyn/closer.cgi/zookeeper/ 当前稳定版为3.4.14 解压文件到自定义目录，这里我解压到/opt/zookeeper下 # tar -xf zookeeper-3.4.14.tar.gz -C /opt/ # cd /opt/ # mv zookeeper-3.4.14/ zookeeper 进入到zookeeper配置文件目录中（/opt/zookeeper/conf），创建三个配置文件，zoo1.cfg, zoo2.cfg, zoo3.cfg，配置文件可以由默认的zoo_sample.cfg修改而成，文件内容如下 zoo1.cfg: # grep -E -v '^#.*|^$' zoo1.cfg tickTime=2000 #CS之间的心跳时间，默认为2秒 initLimit=10 #集群中follower服务器和leader服务器初始连接时能容忍的最多心跳数 syncLimit=5 #集群中follower服务器和leader服务器之间请求和应答最多能容忍的心跳数 dataDir=/opt/zookeeper/Server1/data

1、下载软件(node1+node2+node3) # wget https://www.apache.org/dist/zookeeper/stable/zookeeper-3.4.12.tar.gz # wget http://mirrors.hust.edu.cn/apache/lucene/solr/7.5.0/solr-7.5.0.tgz # wget http://mirrors.tuna.tsinghua.edu.cn/apache/maven/maven-3/3.5.4/binaries/apache-maven-3.5.4-bin.tar.gz # mv apache-maven-3.5.4 /usr/local/ # tar xf jdk-8u181-linux-x64.tar -C /usr/local/ # tar xf solr-7.5.0.tgz -C /usr/local/ # tar xf zookeeper-3.4.12.tar.gz -C /usr/local/ # ln -s /usr/local/jdk1.8.0_181 /usr/local/jdk1.8 # ln -s /usr/local/zookeeper-3.4.12 /usr/local/zookeeper # ln -s /usr/local/solr-7.5.0 /usr

①下载包 cd /root/software wget http://s***.hc-yun.com:10081/down/zookeeper-3.4.12.tar.gz ②解压到指定文件夹 tar zxvf zookeeper-3.4.12.tar.gz -C /home/hadoop/ ③修改zookeeper配置文件 cat <<EOF > /home/hadoop/zookeeper-3.4.12/conf/zoo.cfg tickTime=2000 initLimit=10 syncLimit=5 dataDir=/home/hadoop/zookeeper-3.4.12/data clientPort=2181 server.1=master:2888:3888 server.2=slave01:2888:3888 server.3=slave02:2888:3888 EOF ④创建zookeeper的目录 mkdir -p /home/hadoop/zookeeper-3.4.12/{data,logs,tmp} ⑤拷贝zookeeper到两台slave服务器上 scp -r /home/hadoop/ zookeeper-3.4.12 root@slave01:/home/hadoop scp -r /home/hadoop/ zookeeper-3.4.12

了解 Kafka 的内部工作原理有助于理解 Kafka 的行为，也有助于诊断问题。 现在要讨论的是 3 个有意思的话题： Kafka 如何进行复制（复制）； Kafka 如何处理来自生产者和消费者的请求（请求处理）； Kafka 的存储细节，比如文件格式和索引（存储）。 对 Kafka 进行调优时，深入理解这些问题很有必要。 了解内部机制，可以更有目的性地进行深入的调优，而不只是停留在表面。 集群成员关系 Kafka 使用 Zookeeper 来维护集群成员的信息。 每个 broker 都有一个唯一的标识符，这个标识符可以在配置文件里指定，也可以自动生成。 在 broker 启动的时候，它通过创建临时节点把自己的 ID 注册到 Zookeeper。 Kafka 组件订阅 Zookeeper 的 /brokers/ids 路径（broker 在 Zookeeper 上的注册路径），当有 broker 加入集群或退出集群时，这些组件就可以获得通知。 如果你要启动另一个具有相同 ID 的 broker，会得到一个错误——新 broker 会试着进行注册，但不会成功，因为 Zookeeper 里已经有一个具有相同 ID 的broker。 在 broker 停机、出现网络分区或长时间垃圾回收停顿时，broker 会从 Zookeeper 上断开连接，此时 broker

用2台服务器，低资源，部署3个zookeeper分布式节点： 1.准备环境 系统已经配置好了JAVA环境； 下载某个版本的zookeeper压缩包， 下载链接： http://apache.claz.org/zookeeper/zookeeper-3.5.3-beta/zookeeper-3.5.3-beta.tar.gz 2、规划 服务器A，部署1个实例 服务器B，部署2个实例 3、我们配置3个服务，分布式集群至少需要三个实例服务，配置信息如下： 针对每一个服务的日志，新建一个数据目录 服务器A： /opt/local/zookeeper/zk，新建data、logs，在data里新建myid，里面写入3； 服务器B： /opt/local/zookeeper/zk1，新建data、logs，在data里新建myid，里面写入2； /opt/local/zookeeper/zk2，新建data、logs，在data里新建myid，里面写入1； 4、配置文件目录/opt/local/zookeeper-3.4.10/conf， 新建3个配置文件，为 服务器A： zoo.cfg 服务器B： zoo1.cfg、zoo2.cfg 端口分别为 2181 2182 2183 tickTime=2000 initLimit=10 syncLimit=5 dataDir=/opt/local