集群服务器

确保你的redis单机版已经搭建成功, 可以运行 现在尝试搭建集群 redis集群中至少应该有三个节点. 要保证集群的高可用, 需要每个节点有一个备份机. redis集群至少需要6台服务器. 条件不够,我们搭建伪分布式. 可以使用一台虚拟机运行6个redis实例。需要修改redis的端口号7001-7006 建议保存快照, 如果操作失误, 可以恢复重新操作!! ● 在 /usr/local 下创建redis-cluster文件夹 ● 把usr/local目录下redis/bin中的文件复制一份到redis-cluster中并命名为redis01 (这个redis是单机版的redis的目录) ● 修改redis01中的redis.conf, 找到port **** 修改为 port 7001,找到cluster-enabled no 改为yes, 我的是修改过后的 ● 修改完成后, 把redis01在同一目录下拷贝五份, 分别修改redis02-redis06里面的redis.conf, 把port改为7002-7006 ● 然后启动redis01-redis06, 一个一个启动太麻烦, 可以用批处理 在redis-cluster文件夹下创建一个.sh的文件用来批量启动redis ● redis_start-all.sh内容如下,注意cd与…之间的空格 ●

redis下载地址 redis.conf文件参数 redis模式讲解 ( 讲的很棒 ) 哨兵投票机制 一 Redis安装 1.上传文件 把文件 redis-5.0.0.tar.gz 上传到服务器的 /app 目录下。 2.创建用户 [root@wsongl-01 /]# groupadd redis [root@wsongl-01 /]# useradd redis -g redis 3.解压安装 [root@wsongl-01 app]# tar -xvf redis-5.0.0.tar.gz [root@wsongl-01 app]# cd redis-5.0.0[root@wsongl-01 redis-5.0.0]# make ### ！！！如果出现如下错误，则使用 make MALLOC=libc 编译！！！ [root@wsongl-01 redis-5.0.0]# make MALLOC=libc # make编译出错，则用这命令编译[root@wsongl-01 redis-5.0.0]# make install PREFIX=/app/redis # 指定安装路径[root@wsongl-01 redis-5.0.0]# mkdir -p /app/redis/conf[root@wsongl-01 redis-5.0.0]# cp redis.conf

Sentinel 哨兵 修改src下的sentinel.conf文件 ， 配置端口 ： port:随便 daemonize yes 配置主服务器的ip 和端口 我们把监听的端口修改成7000，并且加上权值为1，这里的权值，是用来计算我们需要将哪一台服务器升级升主服务器 sentinel monitor <master-name> <ip> <redis-port> <quorum> sentinel monitor master-name 127.0.0.1 7000 1 主 权值 src目录下执行./redis-sentinel ../sentinel.conf 启动sentinel 查看 ps –ef | grep redis 启动之后 ./redis-cli –c –p 7000 info 找到 设置 set name 111 退出 exit/ctrl+c; 进7001 ./redis-cli –c –p 7001 Info 退出exit; 查看redis进程 关闭主进程7000 执行kill -9 28649 我们手动关闭Master 之后，sentinel 在监听master 确实是断线了之后，将会开始计算权值，然后重新分配主服务器 等1分钟 ... … 好了，执行./redis-cli –c –p 7001 Info 这时你会发现 7001

一、服务介绍 keepalive起初是专为LVS设计的，专门用来监控LVS集群系统红各个服务节点的状态，后来又加入了VRRP的功能，因此不了配合LVS服务外，也可以作为其他服务（nginx，haproxy）的高可用软件，VRRP是virtual router redundancy protocol（虚拟路由器冗余协议）的缩写，VRRP出现的目的就是为了解决静态路由出现的单点故障问题，他能够保证网络的不间断、稳定的运行。所以，keepalive一方面具有LVS（cluster nodes healthchecks）功能，另一方面也具有LVS directors failover功能。 主要功能：实现LB Master主机和backup主机之间故障转义和自动切换。 二、keepalived故障切换转义原理介绍 2.1 切换原理 keepalived directors高可用对之间的故障切换转移，是通过VRRP协议（virtual router redundancy Protocol虚拟路由器冗余协议）来实现的。 在keepalived Directors正常工作时，主director节点会不断的向备节点广播心跳消息，用以告诉备节点自己还活着，当主节点发生故障时，备节点就无法继续检测到主节点的心跳，进而调用自身的接管程序，接管主节点的IP资源及服务。而当主节点恢复故障时

一、 HA集群中的相关术语 1.节点（node） 运行 HA进程的一个独立主机，称为节点，节点是HA的核心组成部分，每个节点上运行着操作系统和高可用软件服务，在高可用集群中，节点有主次之分，分别称之为主节点/备份节点，每个节点拥有唯一的主机名，并且拥有属于自己的一组资源，例如，磁盘，文件系统，网络地址和应用服务等，主节点上一般运行着一个或多个应用服务，而备节点一般处于监控状态 2.资源（resource） 资源是一个节点可以控制的实体，并且当节点发生故障时，这些资源能够被其他节点接管， HA集群软件中，可以当做资源的实体有： （ 1）磁盘分区、文件系统 （ 2）IP地址VIP （ 3）应用程序服务 （ 4）NFS文件系统 3.事件（event） 也就是集群中可能发生的事情，例如节点系统故障，网络连通故障，网卡故障，应用程序故障等，这些事情都会发生节点资源发生转移， HA的测试也是基于这些事情来进行的 4.动作（action） 事件发生时 HA的响应方式，动作是由shell脚本控制的，例如当某个节点发生故障后，备份节点将通过事先设定好的执行脚本进行服务的关闭或启动，进而接管故障节点的资源 二、 keepalived简介 keepalived 是linux下一个轻量级的高可用解决方案，它与HACMP实现功能类似，都可以实现服务或者网络的高可用，但是又有差别：hacmp是一个专业的

service的三种工作模式： (userstats(效率低)、iptables、ipvs) service可以自动实现负载均衡 。 service自动实现了负载均衡，service通过selector标签选择器匹配了后面多个pod！后端多个pod提供底层服务。 Service版本介绍 userspace: 1.1之前版本 iptabls: 1.10之前版本 ipvs: 1.11之后版本 service依赖core-dns 四种 service类型: ExternalName (把外部集群服务引入到集群内部使用)、 ClusterIP ( 默认这个。仅仅用于集群内部通信 ）、 NodePort (和集群外部通信)、 LoadBalance (把k8s部署在云环境上面，云环境支持LBAS(负载均衡即服务一键调用)，创建软负载均衡器使用。自动外部触发创建一个负载均衡，例如阿里LB-service)。 资源记录 SVC_NAME.NS_NAME.DOMAIN.LTD. #提供service服务域名格式 svc.clusqter.local #集群的默认名字域名 redis.default.svc.clustel.local. #每一个服务生产的域名格式，默认格式 Service用标签selector和后端pod建立关系,所以pod要先跑起来。 0、 kube

zk集群搭建 简介：介绍如何在linux环境中搭建zookeeper集群 端口的作用 2181 对client端提供服务 2888 集群内及其通讯使用的端口 3888 集群选举leader 修改zk配置 编辑zk的conf目录下的 zoo.cfg dataDir=/usr/local/zookeeper-3.4.12/data server.1=xdclass1:2888:3888 server.2=xdclass2:2888:3888 server.3=xdclass3:2888:3888 在zk的根目录下，新建一个data目录，并在data目录下新增一个myid的文件 将修改好配置的zk，分别放到三台服务器的/usr/local/,并将目录权限改为zookeeper用户 三台服务器，分别新增一个叫做zookeeper的用户 useradd zookeeper 三台服务器，均修改/usr/local/zookeeper-3.4.12/data/目录里的myid文件,文件内容是一个数字，对应 server.1=xdclass1 里的1 三台服务器的zk的权限，都赋给zookeeper用户 chown -R zookeeper:zookeeper zookeeper-3.4.12/ 关闭防火墙 systemctl stop firewalld.service 进入zk的bin目录

RabbitMQ简介 RabbitMQ是实现了高级消息队列协议（AMQP）的开源消息代理软件（亦称面向消息的中间件）。 RabbitMQ是一套开源（MPL）的消息队列服务软件，是由LShift提供的一个Advanced Message Queuing Protocol（AMQP）的开源实现，由以高性能、健壮以及可伸缩性出名的Erlang写成。 选择RabbitMQ 市面上有很多MQ可以选择，如：ActiveMQ、ZeroMQ、Apache Qpid及RocketMQ，为什么要选择RabbitMQ呢？ 1. 除了Qpid，RabbitMQ是唯一一个实现了AMQP标准的消息服务器； 2. 可靠性，RabbitMQ的持久化支持，保证了消息的稳定性； 3. 高并发，RabbitMQ使用了Erlang开发语言，Erlang是为电话交换机开发的语言，天生自带高并发光环和高可用特性； 4. 集群部署简单，正是应为Erlang使得RabbitMQ集群部署变的超级简单； 5. 社区活跃度高，从网上资料来看，RabbitMQ也是首选 工作机制 1. 消息模型 生产者、消费者和代理 生产者（producer）：消息的创建者，负责创建和推送数据到消息服务器； 消费者（consumer）：消息的接收方，用于处理数据和确认消息； 代理（proxy）：就是RabbitMQ本身，用于扮演“快递”的角色

1.Zookeeper概念简介： Zookeeper是一个分布式协调服务；就是为用户的分布式应用程序提供协调服务 A、zookeeper是为别的分布式程序服务的 B、Zookeeper本身就是一个分布式程序（只要有半数以上节点存活，zk就能正常服务） C、Zookeeper所提供的服务涵盖：主从协调、服务器节点动态上下线、统一配置管理、分布式共享锁、统一名称服务…… D、虽然说可以提供各种服务，但是zookeeper在底层其实只提供了两个功能： 管理(存储，读取)用户程序提交的数据； 并为用户程序提供数据节点监听服务； Zookeeper常用应用场景： 《见图》 Zookeeper集群的角色： Leader 和 follower（Observer） 只要集群中有半数以上节点存活，集群就能提供服务 2.zookeeper集群机制 半数机制：集群中半数以上机器存活，集群可用。 zookeeper适合装在奇数台机器上！！！ 3.安装 3.1. 安装 3.1.1.机器部署 安装到3台虚拟机上 安装好JDK 3.1.2.上传 上传用工具。 3.1.3.解压 su – hadoop（切换到hadoop用户） tar -zxvf zookeeper-3.4.5.tar.gz（解压） 3.1.4.重命名 mv zookeeper-3.4.5 zookeeper（重命名文件夹zookeeper-3

https://blog.csdn.net/weixin_45494421/article/details/98760782 概要：常见的分布式文件系统有GFS、HDFS等，也有新兴的基于区块链IPFS/Filecoin等。有的广泛应用，有的开始挑战，有的是闭源，有的开源。在不同的领域和不同的计算机发展阶段，它们都对数据存储起到了各自的作用。那么这些分布式文件系统都有什么优缺点？我们应该怎样选择适合自己的解决方案？ 一、HDFS：被雅虎开源的分布式文件系统 Hadoop分布式文件系统（HDFS），是一个分布式、可扩展的Hadoop框架，具有高容错、低成本部署优势。HDFS提供对应用程序数据的高吞吐量访问，适用于具有大型数据集的应用程序。HDFS最初是作为Apache Nutch网络搜索引擎项目的基础设施而构建的，现在是Apache Hadoop子项目。 HDFS如何工作？HDFS支持计算节点之间的数据快速传输，文件系统多次复制或复制每个数据，并将副本分发到各个节点，将至少一个副本放在与其他服务器机架不同的服务器上。因此，崩溃的节点上的数据可以在群集中的其他位置找到。这可确保在恢复数据时继续处理。这使得HDFS高容错性。简单来说，HDFS将文件拆分为块，并将它们分布在集群中的节点上。 架构分析：HDFS采用的是主/从架构（master/slave ）