集群服务器

版本：5.7.28 1.准备MHA集群环境 准备6台虚拟机，并按照本节规划配置好IP参数 在这些虚拟机之间实现SSH免密登录 在相应节点上安装好MHA相关的软件包 使用6台RHEL 7虚拟机，如图-1所示。准备集群环境，安装依赖包，授权用户，配置ssh密钥对认证登陆，所有节点之间互相以root秘钥对认证登录，管理主机以root密钥对认证登录所有数据节点主机，配置mha集群。 1.1 修改主机名，配置IP msyql{50..57} 192.168.4.{50..57} 1.2 安装包（51-55） ]# tar -xvf mha56.tar.gz ]# cd mha ]# yum -y install perl-*.rpm 1.3 在管理主机上安装mha_node 和 mha-manager包（56操作） ]# yum -y install perl-DBD-mysql perl-DBI ]# rpm -ivh mha4mysql-node-0.56-0.el6.noarch.rpm 1.4 配置ssh密钥对认证登陆 所有节点之间可以互相以ssh密钥对方式认证登陆（以51为例） ]# ssh-keygen ]# for i in {50..57} > do > ssh-copy-id 192.168.4.$i > done ]# cat /etc/hosts 127.0.0.1

原理 一致性hash算法：对2的32次方取模，将哈希值空间组织成虚拟的圆环 比如通过各个节点的主机编号进行hash，这样就能确定每台服务器在hash环上的位置 数据存储 将数据key使用相同的函数进行hash计算出hash值，如果一个新的数据通过hash运算在某个段上，通过顺时针行进，遇到的第一个节点，就是该数据要保存的节点。 某节点宕机 如图，nodeC宕机，原来要保存在C上的数据将顺时针保存在节点D中。 损失的数据就是该宕机节点逆时针所到达的上一个节点，即节点B和节点C中的数据将会损失。 新增节点 如图，新增节点X，此时节点ABD不受影响，对象C要保存的节点变为顺时针离得最近的节点X。影响的数据就是新增的X节点到逆时针到上一节点的数据，即X到B的数据。这些被影响的数据需要重新定位到X。 Hash环数据倾斜问题 数据倾斜就是，在服务器节点较少的时候，节点分布不均匀，大部分数据都存储在某一个节点中，导致该节点宕机，如上图中节点A 解决数据倾斜方法 引入虚拟节点 对每一个节点计算多个hash值，对每个算出的hash值位置放置虚拟节点，如在服务器IP后加标识编号。如上图将AB节点分别计算三个hash值，数据节点算法不，虚拟节点添加指针映射指向真实节点。这样节点少时，可以解决数据倾斜问题。 通常将虚拟节点设置为32个或者更大，这样数据分布就能非常均匀。 来源： CSDN 作者：

刚刚过去的春节，新型冠状病毒疫情突如其来地横扫大江南北。为了响应国家号召，许多软件公司和互联网公司也将在较长一段时间内建议员工采取远程办公的方式，同时也存在骨干工程师无法及时返岗的问题，使得生产力大受影响。 对于软件企业来说，研发与测试是两大核心命脉。研发团队保障着产品新功能新特性的及时发布，而测试团队则如同马的缰绳，确保产品不会由于迭代速度过快、设计考虑角度不周，而导致软件缺陷的产生。 巨杉数据库在9年的自研和技术创新历程中，在研发体系构建、自动化测试、团队线上线下结合等方面积累了很多经验。从2011年团队成立之初开始，巨杉数据库的整个技术研发体系就以面向流程协作的方式进行构建。其核心思想是，任何员工可以在任何地点，只要遵循正确的流程，就可以与整个团队有机地衔接在一起。 在这个非常时刻，为了帮助在远程办公期间内保质保量完成新版本的迭代与测试工作，我们也将我们自己的一些经验分享给大家，主要介绍巨杉如何在无人值守的环境下，完成产品的自动化测试与研发协作。 基础体系 网络基础设施 我们的整个开发环境分为内外网两大网络，其中外部网络可以连接到广域网Internet，而内部网络则没有广域网连接。外网包括办公室中每个员工的台式机，以及可供员工进行远程连接的VPN服务器与防火墙。工程师们无论使用办公室的电脑，还是通过配发的笔记本电脑从远程通过VPN接入，均连入公司的外网网段。

1. 集群之间的通信 各个数据库相互通信，保存各个库中槽的编号数据 一次命中，直接返回 一次未命中，告知具体位置 2. 集群配置 修改redis.conf # 开启集群 cluster - enabled yes # 设置集群配置文件，每个服务器要不一样 cluster - config - file node - 6379. conf # 设置下线时间 cluster - node - timeoout 10000 依次启动集群服务 redis - server redis - 6379. conf 将redis服务连接起来 需要执行src目录下的redis-trib.rb，且需要ruby环境 下列命名表示1个master有1个slave，且一共有6个服务器 . /redis - trib . rb create -- replicas 1 \ 127.0 .0 .1 : 6379 127.0 .0 .1 : 6380 127.0 .0 .1 : 6381 \ 127.0 .0 .1 : 6382 127.0 .0 .1 : 6383 127.0 .0 .1 : 6384 3. 集群开启 进入客户端，需要加 -c 参数 redis - cli - c 来源： CSDN 作者： KeithRong 链接： https://blog.csdn.net/weixin_42103026

一、分别在两台nodes服务器上安装kube-scheduler服务 bin]# vi /opt/kubernetes/server/bin/kube-scheduler.sh #!/bin/sh ./kube-scheduler \ --leader-elect \ --log-dir /data/logs/kubernetes/kube-scheduler \ --master http://127.0.0.1:8080 \ --v 2 bin]# chmod +x /opt/kubernetes/server/bin/kube-scheduler.sh bin]# mkdir -p /data/logs/kubernetes/kube-scheduler # 注意改机器号，一处修改 bin]# vi /etc/supervisord.d/kube-scheduler.ini [program:kube-scheduler-7-21] command=/opt/kubernetes/server/bin/kube-scheduler.sh ; the program (relative uses PATH, can take args) numprocs=1 ; number of processes copies to start (def 1) directory=/opt

redis有三种集群方式：主从复制，哨兵模式和集群。 1.主从复制 主从复制原理： 从服务器连接主服务器，发送SYNC命令； 主服务器接收到SYNC命名后，开始执行BGSAVE命令生成RDB文件并使用缓冲区记录此后执行的所有写命令； 主服务器BGSAVE执行完后，向所有从服务器发送快照文件，并在发送期间继续记录被执行的写命令； 从服务器收到快照文件后丢弃所有旧数据，载入收到的快照； 主服务器快照发送完毕后开始向从服务器发送缓冲区中的写命令； 从服务器完成对快照的载入，开始接收命令请求，并执行来自主服务器缓冲区的写命令；（ 从服务器初始化完成 ） 主服务器每执行一个写命令就会向从服务器发送相同的写命令，从服务器接收并执行收到的写命令（ 从服务器初始化完成后的操作 ） 主从复制优缺点： 优点： 支持主从复制，主机会自动将数据同步到从机，可以进行读写分离 为了分载Master的读操作压力，Slave服务器可以为客户端提供只读操作的服务，写服务仍然必须由Master来完成 Slave同样可以接受其它Slaves的连接和同步请求，这样可以有效的分载Master的同步压力。 Master Server是以非阻塞的方式为Slaves提供服务。所以在Master-Slave同步期间，客户端仍然可以提交查询或修改请求。 Slave Server同样是以非阻塞的方式完成数据同步。在同步期间

一、分别需要在运维主机与两台运算节点服务器安装DOCKER curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun mkdir -p /data/docker /etc/docker vi /etc/docker/daemon.json { "graph": "/data/docker", "storage-driver": "overlay2", "insecure-registries": ["registry.access.redhat.com","quay.io","test-harbor.cedarhd.com"], "registry-mirrors": ["https://q2gr04ke.mirror.aliyuncs.com"], "bip": "172.7.21.1/24", "exec-opts": ["native.cgroupdriver=systemd"], "live-restore": true } # 如果是10.3.153.221，这里得172.7.21.1/24是指在nodes1机器上 # 如果是10.3.153.222，这里得172.7.22.1/24是指在nodes1机器上 # 如果是10.3.153.200，这里得172.7.20.1

首先，准备4台虚拟机. 一个用于客户端，一个用于LVS 调度器， 2个用于后端服务器 LVS-NAT配置 1、zk02 开启内核的核心转发功能，将ip_forward的设置为1 [root@zk02 ~]# echo 1 > /proc/sys/net/ipv4/ip_forward [root@zk02 ~]# cat /proc/sys/net/ipv4/ip_forward 1 2、安装ipvsadm ，该工具是LVS 的配置管理工具 [root@zk02 ~]# yum install ipvsadm 3、开启调度器的核心转发功能之后，即可在调度器主机定义集群规则了，根据上面的主机信息配置如下： a、定义一个tcp服务的LVS集群，集群服务的IP为192.168.27.152 ，端口为80，使用轮询算法将请求发往后端主机. [root@zk02 ~]# ipvsadm -A -t 192.168.27.152:80 -s rr b、在刚才定义的LVS集群中，添加两个后端主机，两台服务的主机IP为10.1.0.130 和10.1.0.131 ，在定义后端主机的同时，定义了LVS集群的工作模式为LVS-NAT模式. [root@zk02 ~]# ipvsadm -a -t 192.168.27.152:80 -r 10.1.0.130 -m [root@zk02 ~]#

一花一世界 一叶一菩提。 这应该是第二次学习hadoop ， 第一次是两年前，刚开始找工作，当时个人眼界 认为ssh 与移动app 开发比较流行，至于hadoop 是一个比较高端的东西，还有一个原因就是当时急需摆脱对父母的依赖，需要一份工作，用活自己；这两年过去了，再次从新审视大数据，感觉一切又回到起点，只不过个人心态，经历，行业环境都发生改变。 我用hadoop 2.7.3 算是比较新版本。 http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz (我用浏览器，百度云下载都失败, 最后用迅雷下载成功); hadoop 基本知识： (1)HADOOP是apache旗下的一套开源软件平台 (2)HADOOP提供的功能：利用服务器集群，根据用户的自定义业务逻辑，对海量数据进行分布式处理 ; (3)HADOOP的核心组件有 A.HDFS（分布式文件系统） B.YARN（运算资源调度系统） C.MAPREDUCE（分布式运算编程框架） hadoop 历史: (1) 当时 Nutch 爬虫框架， 面对海量的网页，面临两大瓶颈： 一个海量数据存储索引问题， 另外就是网页价值计算； (2)2003年、2004年谷歌发表的两篇论文为该问题提供了可行的解决方案: 一个是谷歌分布式存储GFS

一、搭建集群各节点 准备五个节点，分别为： 192.168.154.150 192.168.154.151 192.168.154.152 192.168.154.153 192.168.154.155 这里为方便操作，只准备了前三个节点. rabbitmq集群镜像模式构建 1) 停止各节点服务 rabbitmqctl stop 2) 文件同步 选择76、77、78任意一个节点为Master（这里选择76为Master），也就是说我们需要把76的Cookie文件同步到77、78节点上，进入76的/var/lib/rabbitmq目录下，把/var/lib/rabbitmq/.erlang.cookie文件的权限修改为777.然后把.erlang.cookie文件远程复制到其它各个节点.最后把所有cookie文件的权限还原为400即可. scp .erlang.cookie 192.168.154.151:/var/lib/rabbitmq/ 说明：scp 是 linux 系统下基于 ssh 登陆进行安全的远程文件拷贝命令 3) 集群节点启动 rabbitmq-server -detached lsof -i:5672 4) slave节点加入集群中 77节点 rabbitmqctl stop_app rabbitmqctl join_cluster [--ram] dongge02