集群服务器

Zookeeper简介 　　zookeeper是致力于提供一个高性能、高可用，且具备严格的循序访问控制能力的分布式协调服务。由雅虎公司创建，是谷歌的Chubby一个开源实现，也是Hadoop和Hbase的重要组件。 特点： 　　简单数据结构： 共享的树形结构，类似文件系统，数据存储在内存中 　　顺序访问： 对于每个读请求，zk会分配一个全局唯一的递增编号，利用这个特性可以实现高级协调服务 　　可构建集群： 避免单点故障，3-5台机子便可组成集群，过半机制 保证只要超过半数机子正常工作就能对外提供服务 　　高性能： 基于内存操作，服务于非事务请求，适用于读操作为主的业务场景。3台zk集群能达到13w QPS 适用场景： 　　发布订阅 集群管理 负载均衡 配置管理 命名服务 分布式队列 分布式锁 （后面会详细学习） 下载地址 ： http://mirror.bit.edu.cn/apache/zookeeper/ 　　我在这里使用的是 zookeeper-3.5.7 版本 　　　　　　 　　　　　　这里我直接下载使用编译好的二进制文件压缩包。 安装： 　　　　 将下载好的压缩包上传到服务器，使用命令： tar -zxvf apache-zookeeper-3.5.7-bin.tar.gz 解压 　　 修改zk的配置文件 　　我这里使用的是伪集群模式　 　　　　

目录 lvs高可用集群 技术简介： 集群采用三层结构： lvs集群类型中的术语： lvs集群的类型： lvs-nat： lvs-dr： lvs-tun： lvs-fullnat： ipvs scheduler： 静态方法：仅根据算法本身进行调度 动态方法：主要根据每RS当前的负载状态及调度算法进行调度； lvs-nat配置： 拓扑结构： lvs-nat数据流向图: 设计要点： RS1： RS2： VS: lvs-dr配置： 拓扑结构： LVS-DR模拟数据流向图 设计要点： dr模型中，各主机上均需要配置VIP，解决地址冲突的方式有三步： RS的预配置脚本： VS的配置脚本： 路由器上配置： 后记 lvs-dr模型中：vip与dip/rip不在同一网段的实验环境设计及配置实现 参考文档 lvs高可用集群 技术简介： LVS集群采用IP负载均衡技术和基于内容请求分发技术。 调度器具有很好的吞吐率，将请求均衡地转移到不同的服务器上执行， 且调度器自动屏蔽掉服务器的故障，从而将一组服务器构成一个高性能的、高可用的虚拟服务器。 整个服务器集群的结构对客户是透明的，而且无需修改客户端和服务器端的程序。 为此，在设计时需要考虑系统的透明性、可伸缩性、高可用性和易管理性 集群采用三层结构： 一般来说，LVS集群采用三层结构，其主要组成部分为： 负载调度器（load balancer）

1. 下载安装包 登录官网获取HBase安装包下载地址 https://hbase.apache.org/downloads.html 2. 执行命令下载并安装 cd /usr/local/src/ wget http://mirrors.tuna.tsinghua.edu.cn/apache/hbase/2.1.8/hbase-2.1.8-bin.tar.gz tar -zxvf hbase-2.1.8-bin.tar.gz mv hbase-2.1.8 /usr/local/hbase/ 3. 修改服务器系统环境变量 所有服务器都需要按要求修改配置 vi /etc/profile 在尾部添加下面配置 export HBASE_HOME=/usr/local/hbase/ export PATH=$PATH:$HBASE_HOME/bin 保存退出后，运行命令，让配置马上生效 source /etc/profile 4. 配置HBase的Java安装路径 vi /usr/local/hbase/conf/hbase-env.sh 在尾部添加下面配置 export JAVA_HOME=/usr/local/java/jdk export HBASE_MANAGES_ZK=false 5. 配置hbase-site.xml 官方文档配置说明： https://hbase.apache

下载Hadoop安装包 登录 https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/ 镜像站，找到我们要安装的版本，点击进去复制下载链接 安装Hadoop时要注意版本与后续安装的HBase、Spark等相关组件的兼容，不要安装了不匹配的版本，而导致某些组件需要重装 输入命令进行安装操作 cd /usr/local/src/ wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz tar -zxvf hadoop-2.7.7.tar.gz mv hadoop-2.7.7 /usr/local/hadoop/ 修改服务器系统环境变量 所有服务器都需要按要求修改配置 vi /etc/profile 在尾部添加下面配置 export HADOOP_HOME=/usr/local/hadoop/ export PATH=$PATH:$HADOOP_HOME/bin 保存退出后，运行命令，让配置马上生效 source /etc/profile 创建Hadoop需要的文件夹 # 所有服务器都需要执行创建hadoop的tmp文件夹 mkdir -p /data/hadoop/ #

分布式与集群 集群: 集群构架是将相同的处理逻辑进行复制(复制一份源代码),创建出一组具备相同功能的服务集合,集群中每个服务都能够独立的完成用户的请求,它们之间基本上不需要互相通讯,也就用不上RPC了; 分布式: 分布式指的是将一个系统拆分为多个独立的子系统,部署在不同的机器上; 在处理任务时会将一个任务拆分成若干子任务,分发给不同的子系统处理,每个子系统仅能处理一部分任务,通常一个完整的任务包含多个处理步骤,例如用户要购买某个商品,需要先创建订单,然后修改库存,假设修改库存的服务由另一个服务器提供这时候RPC就闪亮登场了; 可以发现分布式与集群在底层构架上完全不同,所以要将一个原本集群的系统重构为分布式的话,则需要大量的修改,所以若系统后期存在高并发的需求,则可以在项目初期就采用分布式构架来搭建。 来源： https://www.cnblogs.com/ckvjvf/p/12440935.html

weblogic 双机集群搭建，基本步骤引用百度文库的一篇文章： 　　 wenlogic双机集群基本步骤 　　 　　　 下面详解一下该文章搭建后会遇到的问题： 1. 主机名验证失败 　　　　javax.net.ssl.SSLKeyException: [Security:090482]BAD_CERTIFICATE alert was received from 192.168.140.3 - 192.168.140.3. Check the peer to determine why it rejected the 　　certificate chain (trusted CA configuration, hostname verification). SSL debug tracing may be required to determine the exact reason the certificate was rejected. 解决办法： 　　1.将主机节点和受管节点的SLL--> 高级--> 主机名验证 -- 选择无 然后重启服务 2.将新建的计算机与对于物理计算机和名称（hostname）保持一致就可以了 2.节点管理器用户名和密码认证失败 　　这种情况发生在，主机点在主机1上，受管节点在主机2上，控制台新建的计算机指向主机2状态为不可访问 <Feb 19,

关于kafka的介绍就暂时不写了，我们根据官网来看看如何安装及搭建kafka消息中间件，首先我们去官网把kafka的安装包下载下来，地址是 https://www.apache.org/dyn/closer.cgi?path=/kafka/2.4.0/kafka_2.12-2.4.0.tgz ，因为我们大多都是用的Windows，因此需要将下载下来的安装包上传到Linux环境上面，上传上去后，我们通过以下命令操作 # tar -xzf kafka_2.12-2.4.0.tgz # cd kafka_2.12-2.4.0 进入到kafka文件夹中后，可以看到有bin、libs、config等文件夹，在bin目录里可以看到下面的目录结构 可以看到有关于connect、kafka及zookeeper的配置信息，因此我们可以使用kafka提供的zookeeper来测试使用，如果在正式环境中我们还是需要自己去创建zookeeper集群的，这样才能保证可靠性，接下来我们就需要启动zookeeper了，因为kafka是依赖于zookeeper来做一些操作的，这个将会在后面文章中介绍到，这里就不在叙述，先启动zookeeper吧，如下 ./bin/zookeeper-server-start.sh config/zookeeper.properties 完成了zookeeper的启动

我们之前都是一个调度器来调度多台web后端服务器 但是调度器也有不能工作的时候，完一坏了所有的web服务器都不能访问，这就要求调度器也要备份 因此就引出了高可用的集群KeepAlived 也就是有多个调度器（有主有备），利用keepalived保证web服务通过正常的调度器工作 所有调度器同时宕机的可能性是很小的 1.keepalived的基本概念 Keepalived是Linux下的一个轻量级别的高可用解决方案 高可用（High Avalilability，HA），其实两种不同的含义：广义上来讲，是指整个系统的高可用性，狭义上来讲就是主机的冗余和接管 Keepalived起初是为LVS设计的，专门用来监控集群系统中的各个服务的节点的状态 它根据TCP/IP参考模型的第三，第四，第五层交换机制检测每个服务器的节点状态 如果某个服务器出现异常，或者工作出现故障，keepalived将检测到，并将出现故障的服务器节点从集群系统中剔除 这些工作都只自动完成的，不需要人为干预，需要人工完成的只是修复出现故障的服务节点 也就是可以使用keepalived可以实现调度器的转换 后来keepalived又加入了VRRP的功能 VRRP（Virtual Router Redundancy Protocol）虚拟路由冗余协议出现的目的是 解决静态路由出现单点故障的问题

什么是Dubbo Dubbo是一款高性能、轻量级的开源Java RPC框架，它提供了三大核心能力：面向接口的远程方法调用，智能容错和负载均衡，以及服务自动注册和发现。 什么是RPC RPC全称(Remote Procedure Call)远程过程调用 过程指的是某个代码片段的执行,远程调用则意味着我们可以在其他进程,甚至其他机器上去调用这段代码,当然也能获取到其执行后的返回值,按照这个定义,我们请求某个http地址得到相应数据其实也算一次RPC,但是这样的方式太过麻烦,(数据要先打包成http请求格式,在调用相关的请求库,拿到的结果也是文本格式的需要在进行转换),执行效率,和开发效率相比RPC则低一些; 我们需要一种更简单的方式来完成分布式开发中的RPC环节,这也是Dubbo的核心所在,有多简单呢? 调用远程服务器上的某个服务时就像是调用本地的某个方法一样简单,就像下面这样 为什么需要rpc RPC是用来实现分布式构架的基石,分布式构架将同一个系统中的不同模块拆分到不同的子系统中,而子系统又分布在不同的服务器上,这时就需要RPC在来完成子系统之间的相互访问; 可以这么说分布式少不了RPC,RPC也要在分布式系统中才能发挥其核心价值; rpc的实现原理 毫无以为底层肯定是要通过socket来进行网络通讯的,但是如何能够直接调用另一个机器上的方法呢? 服务消费方（client

关于如何使用Jenkins+Gitlab实现可CI/CD，在此就不多做介绍了，本篇博文主要介绍Jenkins+Gitlab针对kubernetes集群实现CI/CD。由于Kubernetes近年来的火爆程度，掌握这项技能已经变得尤为重要！ 一、环境准备 系统 主机名 IP地址 所运行的服务 Centos 7 master 192.168.1.1 K8s集群的master节点 Centos 7 node01 192.168.1.2 K8s集群的node节点 Centos 7 docker 192.168.1.4 Docker K8s集群主要用于运行一个Nginx运行容器，模拟线上环境； master节点主要用于运行registry私有仓库； docker服务器运行Jenkins与Gitlab服务； 上述三台服务器全部加入registry私有仓库； 部署环境所需任何软件包，都可从以下链接中获取！ 链接： https://pan.baidu.com/s/1pb4ZShK5MBxIj6xN-hMmoA 提取码：k66s 二、部署registry私有仓库 其实registry私有仓库在任何一台机器上部署都可以，这里就直接在master节点上部署了！ [root@master ~]# docker run -d --restart=always -p 5000:5000 registry:2