集群服务器

一.哨兵机制 任务： 　　有了主从复制的实现以后，如果想对主服务器进行监控，那么在redis2.6以后提供了一个"哨兵"的机制。顾名思义， 哨兵的含义就是监控redis系统的运行状态 。可以启动多个哨兵，去监控redis数据库的运行状态。其主要功能有两点: 　　a、监控所有节点数据库是否在正常运行。 　　b、master数据库出现故障时，可以自动通过投票机制，从slave节点中选举新的master，实现将从数据库转换为主数据库的自动切换。 　　一个一主多从的Redis系统中，可以使用多个哨兵进行监控任务以保证系统足够稳健。此时，不仅哨兵会同时监控主数据库和从数据库，哨兵之间也会相互监控。在这里，建议大家哨兵至少部署3个，并且使用奇数个哨兵。 　　Redis的哨兵(sentinel) 系统用于管理多个 Redis 服务器,该系统执行以下三个任务: a、 监控 (Monitoring): 哨兵(sentinel) 会不断地检查你的Master和Slave是否运作正常。 b、 提醒 (Notification):当被监控的某个 Redis出现问题时, 哨兵(sentinel) 可以通过 API 向管理员或者其他应用程序发送通知。 c、 自动故障迁移 (Automatic failover):当一个Master不能正常工作时，哨兵(sentinel) 会开始一次自动故障迁移操作

一、主备模式 也称为 Warren (兔子窝) 模式。实现 rabbitMQ 的高可用集群，一般在并发和数据量不高的情况下，这种模式非常的好用且简单。 也就是一个主/备方案，主节点提供读写，备用节点不提供读写。如果主节点挂了，就切换到备用节点，原来的备用节点升级为主节点提供读写服务，当原来的主节点恢复运行后，原来的主节点就变成备用节点，和 activeMQ 利用 zookeeper 做主/备一样，也可以一主多备。 HaProxy 配置: 注意了，上面的 rabbitMQ 集群节点配置 # inter 每隔 5 秒对 mq 集群做健康检查， 2 次正确证明服务可用，2 次失败证明服务器不可用，并且配置主备机制 二、远程模式 远程模式可以实现双活的一种模式，简称 shovel 模式，所谓的 shovel 就是把消息进行不同数据中心的复制工作，可以跨地域的让两个 MQ 集群互联，远距离通信和复制。 Shovel 就是我们可以把消息进行数据中心的复制工作，我们可以跨地域的让两个 MQ 集群互联。 如图所示，有两个异地的 MQ 集群（可以是更多的集群），当用户在地区 1 这里下单了，系统发消息到 1 区的 MQ 服务器，发现 MQ 服务已超过设定的阈值，负载过高，这条消息就会被转到 地区 2 的 MQ 服务器上，由 2 区的去执行后面的业务逻辑，相当于分摊我们的服务压力。 在使用了

搭建Redis集群 上文中说了三种Redis搭建的模式，分别是主从模式、哨兵模式、Cluster模式，关于前两种网上有着非常多的教程，这里就不再重新演示了，这里着重演示一下如何去搭建一个Redis Cluster集群。 环境准备 CentOS 7，Redis5.0.4 场景描述 本次会启动三台CentOS 7服务器，每台服务器上搭载三个Redis实例，一主二从，一共三个Master实例，六个Slave实例。 清单如下： Master 1：IP：192.168.43.101 Port：7001 Master 2：IP：192.168.43.102 Port：7002 Master 3：IP：192.168.43.103 Port：7003 Slave 1：IP：192.168.43.101 Port：6001 Slave 2：IP：192.168.43.102 Port：6002 Slave 3：IP：192.168.43.103 Port：6003 Slave 4：IP：192.168.43.101 Port：6004 Slave 5：IP：192.168.43.102 Port：6005 Slave 6：IP：192.168.43.103 Port：6006 修改配置文件 熟悉Redis的应该明白，所谓Redis实例，实际上就是一个又一个的配置文件

一、目标和方式 1.目标： 　　 1）大型互联网应用的架构设计和业务处理 　　2）掌握PXC集群MySQL方案的原理 　　3）掌握PXC集群的强一致性 　　4）掌握PXC集群的高可用方案 2.分析方式 ：由浅入深，循序渐进；案例有小到大，逐步扩展 二、硬件环境需求 1.win /Linux/ MacOS 2.Docker虚拟机 3.内存8GB以上 三、单节点数据库的弊端 1.大型互联网程序用户群里庞大，所以架构必须要特殊设计 2.单节点的数据库无法满足性能上的要求，就像校园网查成绩的时候，如果1万人同时查，你可能拿到就是一个白屏，无论你是收费的还是免费的数据库，单节点都满足不了这种并发需求 3.单节点的数据库没有冗余设计，无法满足高可用，一旦这个机器出现问题，没有其他节点的数据库顶替，那网站将无法正常访问 单节点数据库测试，5000个连接，5000个并发查询，平均就1个连接1个查询，安装好数据库，配置好环境变量，[mysqld]下面配置最大连接量为6000（max_connections=6000），执行下面的命令： mysqlslap -hlocalhost -uroot -pabc123456 -P3306 --concurrency=5000 --iterations=1 --auto-generate-sql --auto-generate-sql-load-type

1 概述 本文章介绍大数据平台Hadoop的分布式环境搭建、以下为Hadoop节点的部署图，将NameNode部署在master1，SecondaryNameNode部署在master2，slave1、slave2、slave3中分别部署一个DataNode节点 NN=NameNode（名称节点） SND=SecondaryNameNode（NameNode的辅助节点） DN=DataNode（数据节点） 2 前期准备 （1）准备五台服务器 如：master1、master2、slave1、slave2、slave3 （2）关闭所有服务器的防火墙 $ systemctl stop firewalld$ systemctldisablefirewalld （3）分别修改各服务器的/etc/hosts文件，内容如下： 192.168.56.132 master1 192.168.56.133 master2 192.168.56.134 slave1 192.168.56.135 slave2 192.168.56.136 slave3 注：对应修改个服务器的/etc/hostname文件，分别为 master1、master2、slave1、slave2、slave3 （4）分别在各台服务器创建一个普通用户与组 $ groupadd hadoop#增加新用户组$ useradd

参考地址： https://www.cnblogs.com/ultranms/p/9585191.html 在Zookeeper的官网上有这么一句话：ZooKeeper is a centralized service for maintaining configuration information, naming, providing distributed synchronization, and providing group services. 这大概描述了Zookeeper主要可以干哪些事情：配置管理，名字服务，提供分布式同步以及集群管理。那这些服务又到底是什么呢？我们为什么需要这样的服务？我们又为什么要使用Zookeeper来实现呢，使用Zookeeper有什么优势？接下来我会挨个介绍这些到底是什么，以及有哪些开源系统中使用了。 配置管理 在我们的应用中除了代码外，还有一些就是各种配置。比如数据库连接等。一般我们都是使用配置文件的方式，在代码中引入这些配置文件。但是当我们只有一种配置，只有一台服务器，并且不经常修改的时候，使用配置文件是一个很好的做法，但是如果我们配置非常多，有很多服务器都需要这个配置，而且还可能是动态的话使用配置文件就不是个好主意了。这个时候往往需要寻找一种集中管理配置的方法，我们在这个集中的地方修改了配置，所有对这个配置感兴趣的都可以获得变更

1 概述 本文章介绍大数据平台Hadoop的分布式环境搭建、以下为Hadoop节点的部署图，将NameNode部署在master1，SecondaryNameNode部署在master2，slave1、slave2、slave3中分别部署一个DataNode节点 NN=NameNode（名称节点） SND=SecondaryNameNode（NameNode的辅助节点） DN=DataNode（数据节点） 2 前期准备 （1）准备五台服务器 如：master1、master2、slave1、slave2、slave3 （2）关闭所有服务器的防火墙 $ systemctl stop firewalld$ systemctldisablefirewalld （3）分别修改各服务器的/etc/hosts文件，内容如下： 192.168.56.132 master1 192.168.56.133 master2 192.168.56.134 slave1 192.168.56.135 slave2 192.168.56.136 slave3 注：对应修改个服务器的/etc/hostname文件，分别为 master1、master2、slave1、slave2、slave3 （4）分别在各台服务器创建一个普通用户与组 $ groupadd hadoop#增加新用户组$ useradd

1．官网首页： https://zookeeper.apache.org/ 2．下载截图，如图5-5，5-6，5-7所示 1．集群规划 在hadoop102、hadoop103和hadoop104三个节点上部署Zookeeper。 2．解压安装 （1）解压Zookeeper安装包到/opt/module/目录下 [atguigu@hadoop102 software]$ tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/module/ （2）同步/opt/module/zookeeper-3.4.10目录内容到hadoop103、hadoop104 [atguigu@hadoop102 module]$ xsync zookeeper-3.4.10/ 3．配置服务器编号 （1）在/opt/module/zookeeper-3.4.10/这个目录下创建zkData [atguigu@hadoop102 zookeeper-3.4.10]$ mkdir -p zkData （2）在/opt/module/zookeeper-3.4.10/zkData目录下创建一个myid的文件 [atguigu@hadoop102 zkData]$ touch myid 添加myid文件，注意一定要在linux里面创建，在notepad++里面很可能乱码 （3

ELK + filebeat集群部署 ELK简介 Elasticsearch Elasticsearch是一个实时的分布式搜索分析引擎， 它能让你以一个之前从未有过的速度和规模，去探索你的数据。它被用作全文检索、结构化搜索、分析以及这三个功能的组合 2.Logstash Logstash是一款强大的数据处理工具，它可以实现数据传输，格式处理，格式化输出，还有强大的插件功能，常用于日志处理。 3.Kibana kibana是一个开源和免费的工具，它可以为Logstash和ElasticSearch提供的日志分析友好的Web界面，可以帮助您汇总、分析和搜索重要数据日志。 官网地址： https://www.elastic.co/cn/downloads/ 注意：配置文件ip要根据实际情况修改 环境准备,三台Linux服务器，系统统一 elk-node1 192.168.3.181 数据、主节点（安装elasticsearch、logstash、kabana、filebeat） elk-node2 192.168.3.182 数据节点（安装elasticsearch、filebeat) elk-node3 192.168.3.183 数据节点（安装elasticsearch、filebeat） 修改hosts文件每台hosts均相同 vim /etc/hosts 192.168.243

1. nfs存储的单点问题 如果nfs服务器宕机了，则所有的nfs客户机都会受到影响。一旦宕机，会丢失部分用户的数据。为了解决单点问题，需要实现共享存储的实时备份，即：将nfs服务端共享目录下的数据实时备份到备份服务器（或其它存储设备），以保证数据的完整性。 2. NFS共享数据的实时同步推送备份 公司有两台web服务器一直在对外提供服务，但随着业务的发展用户越来越多，网站的功能也越来越强大，各种图片，视频等占用硬盘空间越来越大。 于是，领导将web服务器的数据直接存储到NFS服务器上作为存储使用；并且为了防止NFS服务器发生单点故障，领导希望将web服务器存储的内容实时同步到Rsync备份服务器上。现在由你来计划完成领导的需求。 具体要求如下： NFS服务器的要求如下： 服务器的共享目录名为/data目录； 权限要求只能内网网段访问且可读可写，时时同步； 为了方便管理人员管理，需要指定NFS虚拟账户为zuma，uid=888，gid=888 所有访问者的身份都压缩为最低身份 将/data目录里的内容同步时时推送到备份服务器的/data目录里（inotify+rsync） web服务器将NFS共享目录统一挂载到/var/html/www目录下 思路： 1. NFS存储服务器和Rsync备份服务器，Rsync服务器部署运行rsync --daemon服务