节点服务器

一、主从复制详述 原理其实很坚决，master启动会生成一个 run id ，首次同步时会发生给slave，slave同步命令会带上run id以及offset，显然，slave启动（初次，重启）内存中没有run id，所以 master收到后会全量同步，发生 网络抖动 时，slave发生的同步命令会带上run id以及offset，master就知道去缓存中对应的偏移量开始到结尾那一段的命令发送给slave进行增量 同步。在正常运行过程中，master每收到一个数据变更命令都会发送到所有slave上。 1 全量同步 　　Redis全量复制一般发生在Slave初始化阶段，这时Slave需要将Master上的所有数据都复制一份。具体步骤如下： 　　1）从服务器连接主服务器，发送SYNC命令； 　　2）主服务器接收到SYNC命名后，开始执行BGSAVE命令生成RDB文件并使用缓冲区记录此后执行的所有写命令； 　　3）主服务器BGSAVE执行完后，向 所有从服务器(之所以是向所有从服务器发送应该是因为初始化是几乎同时收到SYNC命令， 归根到底是向所有发送了SYNC命令的slave发送RDB文件 ) 发送快照文件，并在发送期间 继续用 缓存区 记录被执行的写命令 ； 　　4）从服务器收到快照文件后丢弃所有旧数据，载入收到的快照； 　　5

Ŀ¼ Ŀ¼ redis-trib.rb Ŀ¼ redis 入门(一) redis入门(二) redis入门(三) 在前两章介绍了 Redis 的一些常用的API与功能，在本章会对一些其他功能包括事务、脚本、Redis集群搭建工具以及集群动态扩容与故障转移方式进行讲解。 在关系型 数据库 ，我们可以通过事务（transaction）的方式执行数据库级别的原子性操作。在Redis中也提供简单的事务功能。 Redis通过MULTI、EXEC、WATCH等命令来实现功能。它提供了一种将多个命令请求打包，然后一次性、按顺序地执行多个命令的机制。 将一组需要一起执行的命令放到MULTI和EXEC两个命令之间。MULTI命令代表事务开始，EXEC命令代表事务结束，它们之间的命令是原子顺序执行的，在MULTI执行之后，的写命令会直接返回QUEUE,当输入EXEC后会将所有命令一起执行。 127.0.0.1:6379> multi OK 127.0.0.1:6379> set a 1 QUEUED 127.0.0.1:6379> set b 2 QUEUED 127.0.0.1:6379> exec 1) OK 2) OK 若不使用事务时，客户端发送的命令会立即被服务端执行。使用事务时，当客户端发送的命令是 EXEC 、 DISCARD 、 WATCH 、 MULTI 命令之一时

搭建 RabbitMQ Server 高可用集群 阅读目录： 准备工作 搭建 RabbitMQ Server 单机版 RabbitMQ Server 高可用集群相关概念 搭建 RabbitMQ Server 高可用集群 搭建 HAProxy 负载均衡 因为公司测试服务器暂不能用，只能在自己电脑上重新搭建一下 RabbitMQ Server 高可用集群，正好把这个过程记录下来，以便日后查看。 公司测试服务器上的 RabbitMQ 集群，我搭建的是三台服务器，因为自己电脑空间有限，这边只能搭建两台服务器用作高可用集群，用的是 Vagrant 虚拟机管理工具。 环境介绍： RabbitMQ 节点 IP 地址 工作模式 node1 192.168.1.50 DISK CentOS 7.0 - 64λ node2 192.168.1.51 DISK CentOS 7.0 - 64λ 整体架构： 1. 准备工作 首先，在 node1 服务器上，修改 vi /etc/hostname ： node1 在 node2 服务器上，修改 vi /etc/hostname ： node2 然后在 node1 服务器上，修改 vi /etc/hosts ： node1 192 .168 .1 .50 node2 192 .168 .1 .51 127 .0 .0 .1 node1 ::1 node1 在

有关于LVS负载均衡群集的相关概念可以参考博文： LVS负载均衡群集详解 一、案例概述 LVS负载均衡模式―NAT模式： NAT用法本来是因为网络IP地址不足而把内部保留IP地址通过映射转换成公网地址的一种上网方式(源地址NAT)。如果把NAT的过程稍微变化，就可以 成为负载均衡的一种方式。原理其实就是把从客户端发来的IP包的IP头目的地址在DIR上换成其中一台Web节点服务器的IP地址并发至此Web节点服务器，而Web节点服务器则在处理完成后把数据经过DIR主机发回给客户端，DIR在这个时候再把数据包的源IP地址改为DIR接口上的IP地址即可。期间，无论是进来的流量，还是出去的流量,都必须经过DIR。 LVS负载均衡模式―NAT模式： 优点：实现方便简单，也容易理解； 缺点：LVS负载均衡调度器会称为一个优化的瓶颈，所有的报文都要经过LVS负载均衡调度器，因此，负载后端Web节点服务器的台数在10-20台左右，服务器性能而定，如果LVS负载均衡调度器坏掉，后果很严重，不支持异地容灾； 二、案例环境 由于实验环境，没有必要弄那么大型的拓补图，2个Web节点服务跟10个Web节点服务器意思是一样的，而且配置方法是一样的，所以实验环境就部署两台Web节点服务器。实验拓补图如下： LVS负载均衡模式―NAT模式特点：

阅读目录： 准备工作 搭建 RabbitMQ Server 单机版 RabbitMQ Server 高可用集群相关概念 搭建 RabbitMQ Server 高可用集群 搭建 HAProxy 负载均衡 因为公司测试服务器暂不能用，只能在自己电脑上重新搭建一下 RabbitMQ Server 高可用集群，正好把这个过程记录下来，以便日后查看。 公司测试服务器上的 RabbitMQ 集群，我搭建的是三台服务器，因为自己电脑空间有限，这边只能搭建两台服务器用作高可用集群，用的是 Vagrant 虚拟机管理工具。 环境介绍： RabbitMQ 节点 IP 地址 工作模式 node1 192.168.1.50 DISK CentOS 7.0 - 64位 node2 192.168.1.51 DISK CentOS 7.0 - 64位 整体架构： 1. 准备工作 首先，在 node1 服务器上，修改 vi /etc/hostname ： node1 在 node2 服务器上，修改 vi /etc/hostname ： node2 然后在 node1 服务器上，修改 vi /etc/hosts ： node1 192.168.1.50 node2 192.168.1.51 127.0.0.1 node1 ::1 node1 在 node2 服务器上，修改 vi /etc/hosts ： 192

概述 一个高可用性的CAS部署是针对各种故障模式提供弹性的一种部署，这样即使失败了，CAS仍然提供SSO服务。我们提供了一个建议的体系结构，它提供了规划和执行CAS部署的起点，以满足机构性能和可用性需求。它还提供了一个框架，用于理解HA考虑因素对CAS软件组件的需求。 CAS的高可用性(HA)配置是通过确保有足够的冗余来实现的，以便在组件故障的情况下服务是健壮的，并且可以在没有服务停机的情况下进行日常维护。这可以通过多节点实现，也可以通过具有高级虚拟机功能的单节点CAS实现。本文档将重点介绍实现HA所需的CAS服务器组件。对HA配置的更多定量分析依赖于支持基础设施和服务，并且超出了本文的范围。 CAS服务器软件有着非常可靠的记录。然而，CAS服务器只是软件和硬件的一小部分，身份验证必须顺利地进行。集群通常被部署人员使用，不仅用于负载处理，而且也用于故障转移。即使不发生故障，有时也需要重新启动服务器。例如，如果安装了操作系统级别的严重安全修复，服务器应该立即重新启动。在一个CAS服务器集群中，即使在最忙的时候，也可以轻松地进行重新启动。 传统上，运行单个服务器会延迟这样的重启，直到不那么繁忙的时候，同时运行一个已知的漏洞。然而，近年来随着虚拟机技术的日益接受和其固有的冗余和容错，单节点CAS已经能够实现类似的质量。 Recommended Architecture (推荐的结构)

为什么要有Hadoop？ 结构的数据，并且这些海量的数据存储和检索就成为了一大问题。 Hadoop就是为了解决这些问题而出现的。 Hadoop的诞生 Doug Cutting等人就去研究这三篇论文，发现价值巨大，于是Doug Cutting等人在Nutch上实现了GFS和Map-Reduce，使得Nutch的性能飙升。 这三篇论文对应Hadoop的组件： 什么是Hadoop？ 技术生态圈 之一。 Hadoop发行版本 1、Apache版本最原始的版本 2、Clodera版本，在大型互联网企业中用的比较多，软件免费，通过服务收费。 3、Hortonworks文档比较好 特点 高可靠： 维护多个副本，假设计算元素和存储出现故障时，可以对失败节点重新分布处理 高扩展： 在集群间分配任务数据，可方便的扩展数以千计的节点 高效性： 并行工作 高容错： 自动保存多个副本，并且能够对失败任务重新分配 Hadoop组成 HDFS：一个高可靠高吞吐量的分布式文件系统 ：存储文件的元数据，如：文件名、文件目录结构等信息 DataNode(dn) ： 在文件系统存储文件块数据，以及数据的校验和，也就是真正存储文件内容的，只是文件大的时候会切割成一小块一小块的。 SecondayNameNode(2nn) ： 用于监控HDFS状态的辅助后台程序，每隔一段时间就获取HDFS的快照，就是备份和监控状态

作者：汤小洋 来源： http://blog.51cto.com/12402007/2331203 一、ZooKeeper简介 1. ZooKeeper是什么 官网 https://zookeeper.apache.org/ 2. ZooKeeper组成 2.1 文件系统 数据模型结构是一种树形结构，由许多节点构成 每个节点叫做ZNode（ZooKeeper Node） 每个节点对应一个唯一路径，通过该路径来标识节点，如 /app1/p_2 每个节点只能存储大约1M的数据 持久化目录节点 persistent 客户端与服务器断开连接，该节点仍然存在 持久化顺序编号目录节点 persistent_sequential 客户端与服务器断开连接，该节点仍然存在，此时节点会被顺序编号，如：000001、000002..... 临时目录节点 ephemeral 客户端与服务器断开连接，该节点会被删除 临时顺序编号目录节点 ephemeral_sequential 客户端与服务器断开连接，该节点会被删除，此时节点会被顺序编号，如：000001、000002..... 2.2 通知机制 观察者模式 设计的分布式服务管理框架 ZooKeeper负责管理和维护项目的公共数据，并授受观察者的注册（订阅） 一旦这些数据发生变化，ZooKeeper就会通知已注册的观察者 此时观察者就可以做出相应的反应 3

Heartbeat3.0.4 HA即(high available)高可用，又被叫做双机热备，用于关键性业务。简单理解就是，有2台机器 A 和 B，正常是 A 提供服务，B 待命闲置，当 A 宕机或服务宕掉，会切换至B机器继续提供服务。常见的实现高可用的开源软件有 heartbeat 和 keepalived。 这样，一台 web 服务器一天24小时提供web服务，难免会存在 web 服务挂掉或服务器宕机宕机的情况，那么用户就访问不了服务了，这当然不是我们期望的。如果这样，有2台服务器，A对外提供 web 服务，B作为备用，如果A挂掉，那么B立刻替代A的位置去提供 web 服务，这样对用户来说是透明的。但是有个问题，服务器A的 ip 是 10.0.0.100，服务器B的 ip 是 10.0.0.101，显然向用户提供A或B的ip地址是不可行的，因为用户总不能去切换ip来访问的吧。这时heartbeat或keepalived可以提供一个虚拟IP：10.0.0.102，用户只需要访问 10.0.0.102，当A提供服务时，VIP 会设置在A服务器上，当B提供服务时，VIP会设置在B服务器上，这样就可以让用户通过访问 10.0.0.102 来获取web服务，即使A或B服务器切换也不影响用户的正常访问。 环境设置 服务器A ： 主机名：master 操作系统：CentOS6.8 64位

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/qq_35488412/article/details/91042033 Hadoop集群运维 场景1：namenode节点故障，active namenode节点状态切换？如何恢复？ 1.1 Hadoop HA 的namenode状态切换 模拟线上环境测试，namenode进程down掉一个后，active和standby状态名称节点切换正常。 测试步骤：在测试集群把standby namenode进程kill掉，active节点服务正常，不影响hadoop集群服务，数据存储正常。集群恢复正常后再把active namenode进程kill掉，standby状态节点会被切换为active状态namenode，集群服务正常，数据正常。 1.2 namenode故障如何恢复 如果是存放namenode元数据的硬盘损坏： 联系sa更换新的磁盘，从另一台namenode机器上将${hadoop.tmp.dir}/dfs/name文件压缩成tar包，scp到新磁盘上并解压，该文件夹内存放的是集群操作日志EditLog和集群block元数据Fsimage，然后启动namenode进程完成故障恢复。 普通故障故障或cpu等其他硬件故障问题导致namenode进程故障： 联系sa更换损坏硬件