zookeeper集群

Dubbo 01 架构模型 传统架构 All in One 测试麻烦，微小修改 全都得重新测 单体架构也称之为单体系统或者是单体应用。就是一种把系统中所有的功能、模块耦合在一个应用中的架构方式。其优点为：项目易于管理、部署简单。缺点：测试成本高、可伸缩性差、可靠性差、迭代困难、跨语言程度差、团队协作难 聚合项目划分 单项目容易 因为某个功能导致整体oom 拆分完 咋实现 SOA 架构: Service-Oriented Architecture 面向服务的架构（SOA）是一个组件模型，它将应用程序拆分成不同功能单元（称为服务）通过这些服务之间定义良好的接口和契约联系起来。接口是采用中立的方式进行定义的，它应该独立于实现服务的硬件平台、操作系统和编程语言。这使得构建在各种各样的系统中的服务可以以一种统一和通用的方式进行交互。 在没有实施SOA的年代，从我们研发的角度来看，只能在代码级别复用，即Ctrl +V。SOA出现，我们开始走向了模块、业务线的复用。 SOA年代的典型实现： SOAP协议，CXF框架，XML传输 xsd，数据校验 SOA架构伴随着软件研发行业20年的发展，在最初的时候，大型it公司内部系统规模越来越大，IT系统越来越复杂，All in One单体架构的思想导致公司内项目业务和数据相互隔离，形成了孤岛。 最初，我们使用数据库作为项目之间数据交互和中转的平台

Kafka 是LinkedIn 开发的一个高性能、分布式的消息系统，广泛用于日志收集、流式数据处理、在线和离线消息分发等场景。虽然不是作为传统的MQ来设计，在大部分情况，Kafaka 也可以代替原先ActiveMQ 等传统的消息系统。 Kafka 将消息流按Topic 组织，保存消息的服务器称为Broker，消费者可以订阅一个或者多个Topic。为了均衡负载，一个Topic 的消息又可以划分到多个分区(Partition)，分区越多，Kafka并行能力和吞吐量越高。 Kafka 集群需要zookeeper 支持来实现集群，最新的kafka 发行包中已经包含了zookeeper，部署的时候可以在一台服务器上同时启动一个zookeeper Server 和 一个Kafka Server，也可以使用已有的其他zookeeper集群。 和传统的MQ不同，消费者需要自己保留一个offset，从kafka 获取消息时，只拉去当前offset 以后的消息。Kafka 的scala/java 版的client 已经实现了这部分的逻辑，将offset 保存到zookeeper 上。每个消费者可以选择一个id，同样id 的消费者对于同一条消息只会收到一次。一个Topic 的消费者如果都使用相同的id，就是传统的 Queue；如果每个消费者都使用不同的id, 就是传统的pub-sub.

可以设置观察的操作：exists,getChildren,getData 可以触发观察的操作：create,delete,setData zookeeper观察机制; 服务端只存储事件的信息,客户端存储事件的信息和Watcher的执行逻辑.ZooKeeper客户端是线程安全的每一个应用只需要实例化一个ZooKeeper客户端即可，同一个ZooKeeper客户端实例可以在不同的线程中使用。ZooKeeper客户端会将这个Watcher对应Path路径存储在ZKWatchManager中,同时通知ZooKeeper服务器记录该Client对应的Session中的Path下注册的事件类型。当ZooKeeper服务器发生了指定的事件后,ZooKeeper服务器将通知ZooKeeper客户端哪个节点下发生事件类型，ZooKeeper客户端再从ZKWatchManager中找到相应Path，取出相应watcher引用执行其回调函数process。 ZooKeeper Watcher 机制 为了确保集群能够正常运行，ZooKeeper 可以被用来监视集群状态，这样就可以提供集群高可用性。使用 ZooKeeper 的瞬时（ephemeral）节点概念可以设计一个集群机器状态检测机制： 1. 每一个运行了 ZooKeeper 客户端的生产环境机器都是一个终端进程，我们可以在它们连接到

一、高可用简介 Hadoop 高可用 (High Availability) 分为 HDFS 高可用和 YARN 高可用，两者的实现基本类似，但 HDFS NameNode 对数据存储及其一致性的要求比 YARN ResourceManger 高得多，所以它的实现也更加复杂，故下面先进行讲解： 1.1 高可用整体架构 HDFS 高可用架构如下： 图片引用自：https://www.edureka.co/blog/how-to-set-up-hadoop-cluster-with-hdfs-high-availability/ HDFS 高可用架构主要由以下组件所构成： Active NameNode 和 Standby NameNode ：两台 NameNode 形成互备，一台处于 Active 状态，为主 NameNode，另外一台处于 Standby 状态，为备 NameNode，只有主 NameNode 才能对外提供读写服务。 主备切换控制器 ZKFailoverController ：ZKFailoverController 作为独立的进程运行，对 NameNode 的主备切换进行总体控制。ZKFailoverController 能及时检测到 NameNode 的健康状况，在主 NameNode 故障时借助 Zookeeper 实现自动的主备选举和切换，当然

zookeeper相关配置 zookeeper配置 vim /etc/profile 添加以下几行 ZOOKEEPER_HOME=/usr/local/software/zookeeper PATH=$ZOOKEEPER_HOME/bin:$PATH export ZOOKEEPER_HOME 重新加载/etc/profile配置文件 source /etc/profile 进入conf下修改 zoo_sample.cfg 文件名 或复制 文件名为 zoo.cfg cd zookeeper/conf/ && cp zoo_sample.cfg zoo.cfg 修改 zoo.cfg 1.修改zookeeper文件存放位置 dataDir=/usr/local/software/zookeeper/data 2.最后面添加以下几行 server.0=192.168.31.42:2888:3888 server.1=192.168.31.43:2888:3888 server.2=192.168.31.44:2888:3888 3.进入 zookeeper 目录 (/usr/local/software/zookeeper) 创建 data 目录 mkdir data 4.在 data 目录下创建 myid 文件 ((内容为服务器标识:0 对应server.0 server.1

zookeeper相关配置 zookeeper配置 vim /etc/profile 添加以下几行 ZOOKEEPER_HOME=/usr/local/software/zookeeper PATH=$ZOOKEEPER_HOME/bin:$PATH export ZOOKEEPER_HOME 重新加载/etc/profile配置文件 source /etc/profile 进入conf下修改 zoo_sample.cfg 文件名 或复制 文件名为 zoo.cfg cd zookeeper/conf/ && cp zoo_sample.cfg zoo.cfg 修改 zoo.cfg 1.修改zookeeper文件存放位置 dataDir=/usr/local/software/zookeeper/data 2.最后面添加以下几行 server.0=192.168.31.42:2888:3888 server.1=192.168.31.43:2888:3888 server.2=192.168.31.44:2888:3888 3.进入 zookeeper 目录 (/usr/local/software/zookeeper) 创建 data 目录 mkdir data 4.在 data 目录下创建 myid 文件 ((内容为服务器标识:0 对应server.0 server.1

什么是Zookeeper Zookeeper是一个分布式开源框架，提供了协调分布式应用的基本服务，它向外部应用暴露一组通用服务——分布式同步（Distributed Synchronization）、命名服务（Naming Service）、集群维护（Group Maintenance）等，简化分布式应用协调及其管理的难度，提供高性能的分布式服务。ZooKeeper本身可以以单机模式安装运行，不过它的长处在于通过分布式ZooKeeper集群（一个Leader，多个Follower），基于一定的策略来保证ZooKeeper集群的稳定性和可用性，从而实现分布式应用的可靠性。 1、zookeeper是为别的分布式程序服务的 2、Zookeeper本身就是一个分布式程序（只要有半数以上节点存活，zk就能正常服务） 3、Zookeeper所提供的服务涵盖：主从协调、服务器节点动态上下线、统一配置管理、分布式共享锁、统> 一名称服务等 4、虽然说可以提供各种服务，但是zookeeper在底层其实只提供了两个功能： 管理(存储，读取)用户程序提交的数据（类似namenode中存放的metadata）； 并为用户程序提供数据节点监听服务； 启动单机 1.Zoolnspector文件 在里面创建一个data空文件夹 把conf里面的zoo....改成zoo.cfg 右键zoo.cfg以记事本打开

【ZOOKEEPER系列】Paxos、Raft、ZAB 2018-07-11 12:09:49 wangzy-nice 阅读数 2428 更多 分类专栏： zookeeper 版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。 本文链接： https://blog.csdn.net/qq_34370153/article/details/80998622 ZOOKEEPER系列 Paxos、Raft、ZAB Paxos算法 莱斯利·兰伯特（Leslie Lamport）这位大牛在1990年提出的一种基于消息传递且具有高度容错特性的一致性算法。如果你不知道这个人，那么如果你发表过Paper，就一定用过Latex,也是这位大牛的创作， 具体背景直接维基百科就可以，不深入讲解，直接讲Paxos算法。 分布式系统对fault tolorence 的一般解决方案是state machine replication。准确的描述Paxos应该是state machine replication的共识（consensus）算法。 Leslie Lamport写过一篇Paxos made simple的paper，没有一个公式，没有一个证明，这篇文章显然要比Leslie Lamport之前的关于Paxos的论文更加容易理解，但是

Zookeeper的集群配置 解压zookeeper包 创建指定文件夹执行 myid /home/hadoop/zookeeper-3.4.7/zookeepermyid 创建一个myid文件 写入1 修改配置文件 名 cp zoo_sample.cfg zoo.cfg zoo.cfg配置如下 #The number of milliseconds of each tick tickTime=2000 # The number of ticks that the initial # synchronization phase can take initLimit=10 # The number of ticks that can pass between # sending a request and getting an acknowledgement syncLimit=5 # the directory where the snapshot is stored. # do not use /tmp for storage, /tmp here is just # example sakes. # 写入myid的位置 dataDir=/home/hadoop/zookeeper-3.4.7/zookeepermyid # the port at which the

三节点zookeeper部署后无法正常启动，报如下错误： 通过查看配置文件发现几个端口未打开，无法进行集群，具体如下： 2888端口号是zookeeper服务之间通信的端口。 3888端口是zookeeper与其他应用程序通信的端口。 2181端口是zookeeper客户端请求接口。 需要防火墙放开这三个接口，才可以部署集群的方式。 防火墙开放端口，可以参考我的一篇博客：http://blog.csdn.net/u013274055/article/details/77542143 来源： CSDN 作者： 少侠灬 链接： https://blog.csdn.net/u013274055/article/details/77542422