zookeeper集群

1、集群规划 在 hadoop105、hadoop106和hadoop107 三个节点上部署 Zookeeper 。 操作步骤如下： 2、解压安装 （1）上传zookeeper压缩包（ zookeeper-3.4.5.tar.gz ）到/ usr/local/hadoop 文件目录下 （2）解压zookeeper压缩包到/ usr/local/hadoop/module 文件目录下 [ root @hadoop105 hadoop ] # tar - zxvf zookeeper - 3.4 .5 . tar . gz - C / usr / local / hadoop / module / （3）同步/ usr/local/hadoop/module/zookeeper-3.4.5 目录内容到 hadoop106、hadoop107 [ root @hadoop105 module ] # scp - r zookeeper - 3.4 .5 / hadoop106 : / usr / local / hadoop / module / [ root @hadoop105 module ] # scp - r zookeeper - 3.4 .5 / hadoop107 : / usr / local / hadoop / module / 3、配置服务器编号 （1）在/

安装zookeeper的注意事项： 安装前需要安装好jdk 检测集群时间是否同步 检测防火墙是否关闭 检测主机 ip映射有没有配置 zookeeper-3.4.5-cdh5.14.0下载 链接：https://pan.baidu.com/s/1X2LhGQTtJaHq8o1rTVcYOg 提取码：blto 1.上传安装包,解压 [root@node01 /] # cd /export/soft/ [root@node01 soft] # rz [root@node01 soft] # tar -zxvf zookeeper-3.4.5-cdh5.14.0.tar.gz -C /export/servers/ 2.修改环境变量（注意：3台zookeeper都需要修改） [root@node01 /] # vim /etc/profile.d/zookeeper.sh export ZOOKEEPER_HOME= / export / servers / zookeeper - 3 . 4 . 5 - cdh5 . 14 . 0 export PATH= $PATH : $ZOOKEEPER_HOME / bin [root@node01 /] # source /etc/profile 3.修改zookeeper配置文件 [root@node01 /] # cd /export

读累了就看看实操 https://www.cnblogs.com/huasky/p/10214642.html 一、SOA 概念：SOA：Service-Oriented Architecture，面向服务的架构，将应用程序的不同功能(服务)通过定义的接口来实现数据通信；服务治理；服务调度中心和治理中心； 架构演变：单一应用架构ORM | 垂直应用架构MVC | 分布式服务架构RPC | 流动计算架构SOA ORM ：流量小，单一应用，部署一起；关注于简化增删改查的对象关系映射， MVC ：流量增加，应用拆分；关注于提高前端开发速度； RPC ：远程过程调用；通过网络进行远程计算机服务的请求；核心业务抽取；关注于业务的复用和整合； 由统一到分布式： 使用场景由混乱到统一： SOA又叫服务治理，SOA就是帮助我们把服务之间调用的乱七八糟的关系给治理起来，然后提供一个统一的标准； 统一标准：各系统的协议、地址、交互方式。 新的交互方式：各个系统分别根据统一标准向数据总线进行注册，各子系统调用其他子系统时，我们并不关心如果找到其他子系统，我们只招数据总线，数据总线再根据统一标准找其他子系统，所以数据总线在这里充当一个只路人的作用。 数据总线是起到调度服务的作用，数据总线不是集成服务，数据总线更新一个调度框架，每个服务需要根据约定向数据总线注册服务；服务不是经过总线的

dubbo是一个服务治理中间件，一个分布式高性能的RPC远程调用框架，Dubbo一般和Zookeeper组合使用，Dubbo由容器（Spring容器）、服务生产者、注册中心（Zookeeper）服务消费者和监控中心组成，运行流程为容器启动时，服务生产者会把自己的服务接口地址注册到注册中心，服务消费者订阅它需要的服务，他去查询注册中心，获取服务地址，拿到地址去调用服务，监控中心监控生产者和消费者的健康状态，消费者的具体消费过程为：client一个线程调用远程接口，生成一个唯一id，将打包的方法和调用信息（如调用的接口名称，方法名称，参数列表）和处理结果的回调对象callback，全部封装在一起，组成一个对象Object，向专门存放调用信息的全局ConcurrentHashMap里面存放ID和对象，在将id和对象封装成一个对象ConnRequest对象，使用IoSession.write异步发送出去，当当前线程尝试获取远程调用的结果时，要先检查是否获取到结果，没有则让当前线程等待，服务器收到异步请求处理后，将结果发送给客户端，结果包含前面的id，客户端socket连接上专门监听消息的线程收到消息，分析结果，去到id在从前面的concurrentHahMap里面知道回调对象，唤醒前面等待的线程 Zookeeper是为分布式提供一致性的软件

版本号： Redhat6.5 zookeeper-3.4.6 JDK1.8 zookeeper下载 官网下载地址： https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz 百度云盘下载地址：链接：http://pan.baidu.com/s/1jIHYV7S 密码：pddz 1安装zookeeper 1.1创建对应的目录和文件 在maste机器的/usr/local目录下新建一个名为zookeeper的文件夹，并将下载的压缩包zookeeper-3.4.6.tar.gz上传上去 如图： 在master机器上执行命令创建两个目录： mkdir /usr/local/zookeeper/data mkdir /usr/local/zookeeper/dataLog 创建完成后，如图： 在master机器的/usr/local/zookeeper/zookeeper-3.4.6/conf目录内都创建一个名为zoo.cfg的文件： cd /usr/local/zookeeper/zookeeper-3.4.6/conf cp zoo_sample.cfg zoo.cfg 如图： 1.2修改配置文件zoo.cfg 把集群内master、slave1

Zookeeper-3.4.14集群搭建 //先关闭防火墙（如果没有关闭防火墙，再多台机器之间不能连接） systemctl stop firewalld.service systemctl status firewalld systemctl start firewalld 解压 tar -zxvf zookeeper-3.4.14.tar.gz 1 修改配置文件 cd /usr/local/software/zookeeper-3.4.14/conf/ cp zoo_sample.cfg zoo.cfg vi zoo.cfg 修改zoo.cfg文件中 dataDir dataDir=/opt/data/zookeeper 启动zookeeper 启动zookeeper服务端 [root@node01 zookeeper-3.4.14]# bin/zkServer.sh start // 启动服务端 ZooKeeper JMX enabled by default Using config: /usr/local/software/zookeeper-3.4.14/bin/…/conf/zoo.cfg Starting zookeeper … STARTED [root@node01 zookeeper-3.4.14]# jps # 查看进程 7376 Jps 7358

使用安装包版本： hadoop-2.6.0.tar.gz 下载地址 https://www.apache.org/dyn/closer.cgi/hadoop/common jdk-8u221-linux-x64.tar.gz 下载地址 https://www.java.com/en/download/manual.jsp zookeeper-3.4.5.tar.gz 下载地址 https://www.apache.org/dyn/closer.cgi/zookeeper/ 主机IP映射 [root@master conf] # vi /etc/hosts 127 . 0 . 0 . 1 localhost localhost . localdomain localhost4 localhost4 . localdomain4 ::1 localhost localhost . localdomain localhost6 localhost6 . localdomain6 192 . 168 . 176 . 41 master 192 . 168 . 176 . 42 slave1 192 . 168 . 176 . 43 slave2 环境变量~/.bash_profile [root@master hadoop] # vi ~/.bash_profile JAVA_HOME=

Flink的高可用集群环境 Flink简介 Flink核心是一个流式的数据流执行引擎，其针对数据流的分布式计算提供了数据分布，数据通信以及容错机制等功能。 因现在主要Flink这一块做先关方面的学习，因此准备要开通Apache Flink专栏这一块定期发布一些文章。今天在自己的博客因为专栏无法申请通过，所以先在此记录第一篇关于Flink部署的文章。 在这里顺便打个小广告，Flink社区第一季线下meetup，已在上海，北京举办。接下来分别会在成都和深圳举办接下来的几期，也希望小伙伴们踊跃的加入到Flink社区来，下载钉钉，扫描下方二维码即可加入大群。 首先今天先介绍一下Flink的安装，安装部署最新1.6版本支持有8种安装方式，详细可以参考安装部署方式【Clusters & Deployment】 。下面主要介绍Standalone Cluster模式和on yarn模式 。 软件包下载地址 一.Flink独立集群模式安装(Cluster Standalone) 1.1.解压安装 [root@h001 soft]# tar -zxvf flink-1.2.0-bin-hadoop26-scala_2.11.tgz -C /usr/bigdata/ 1 1.2.Flink配置(Configuring Flink) 对其进行相关的配置。主要涉及到的配置文件是conf/flink

一、kafka的副本机制 由于Producer和Consumer都只会与Leader角色的分区副本相连，所以kafka需要以集群的组织形式提供主题下的消息高可用。kafka支持主备复制，所以消息具备高可用和持久性。 一个分区可以有多个副本，这些副本保存在不同的broker上。每个分区的副本中都会有一个作为Leader。当一个broker失败时，Leader在这台broker上的分区都会变得不可用，kafka会自动移除Leader，再其他副本中选一个作为新的Leader。 在通常情况下，增加分区可以提供kafka集群的吞吐量。然而，也应该意识到集群的总分区数或是单台 服务器 上的分区数过多，会增加不可用及延迟的风险。 关于副本的更多信息，请参考链接： https://blog.csdn.net/weixin_38750084/article/details/82942564 二、概述 目前的kakfa集群有3个节点，server.properties 关于topic的配置为： offsets.topic.replication.factor=1 transaction.state.log.replication.factor=1 transaction.state.log.min.isr=1 目前的设置为1个副本，这样不健全。如果有一台服务器挂掉了，那么就会造成数据丢失！ 因此

1.1Zookeeper 1.1.1Zookeeper介绍 ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。 ZooKeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。 ZooKeeper包含一个简单的原语集,提供Java和C的接口。 ZooKeeper代码版本中，提供了分布式独享锁、选举、队列的接口，代码在zookeeper-3.4.3\src\recipes。其中分布锁和队列有Java和C两个版本，选举只有Java版本。 总结:Zookeeper负责服务的协调调度.当客户端发起请求时,返回正确的服务器地址. 1.1.2Zookeeper下载 网址: http://zookeeper.apache.org/releases.html. 如图-2所示 图-2 下载路径,点击download. 如图-3所示 图-3 下载Zookeeper地址. http://mirrors.hust.edu.cn/apache/zookeeper/ 如图-4所示 图-4 1.2Zookeeper安装 1.2.1安装JDK 将JDK1