lvs

1. 概述 本文以淘宝作为例子，介绍从一百个并发到千万级并发情况下服务端的架构的演进过程，同时列举出每个演进阶段会遇到的相关技术，让大家对架构的演进有一个整体的认知，文章最后汇总了一些架构设计的原则。 2. 基本概念 在介绍架构之前，为了避免部分读者对架构设计中的一些概念不了解，下面对几个最基础的概念进行介绍： 分布式 系统中的多个模块在不同服务器上部署，即可称为分布式系统，如 Tomcat和数据库分别部署在不同的服务器上，或两个相同功能的Tomcat分别部署在不同服务器上 高可用 系统中部分节点失效时，其他节点能够接替它继续提供服务，则可认为系统具有高可用性 集群 一个特定领域的软件部署在多台服务器上并作为一个整体提供一类服务，这个整体称为集群。如 Zookeeper中的Master和Slave分别部署在多台服务器上，共同组成一个整体提供集中配置服务。在常见的集群中，客户端往往能够连接任意一个节点获得服务，并且当集群中一个节点掉线时，其他节点往往能够自动的接替它继续提供服务，这时候说明集群具有高可用性 负载均衡 请求发送到系统时，通过某些方式把请求均匀分发到多个节点上，使系统中每个节点能够均匀的处理请求负载，则可认为系统是负载均衡的 正向代理和反向代理 系统内部要访问外部网络时，统一通过一个代理服务器把请求转发出去，在外部网络看来就是代理服务器发起的访问

Keepalived+LVS服务器 3.1 问题 使用Keepalived为LVS调度器提供高可用功能，防止调度器单点故障，为用户提供Web服务： 路由器对外公网IP地址为202.114.106.20 路由器内网IP地址为192.168.0.254 路由是需要设置SNAT及DNAT功能 LVS1调度器真实IP地址为192.168.0.10 LVS2调度器真实IP地址为192.168.0.20 服务器VIP地址设置为192.168.0.253 真实Web服务器地址分别为192.168.0.1、192.168.0.2 使用加权轮询调度算法，真实服务器权重与其IP地址末尾数一致 3.2 方案 使用5台虚拟机，1台作为Linux路由器、2台作为LVS调度器、2台作为Real Server、物理机作为客户端，拓扑结构如图-2所示。 图-3 3.3 步骤 实现此案例需要按照如下步骤进行。 步骤一：配置网络环境 1）设置Web服务器网络参数 [root@web1 ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth0 DEVICE=eth0 ONBOOT=yes BOOTPROTO=static IPADDR=192.168.0.1 NETMASK=255.255.255.0 GATEWAY=192.168.0.254 DNS1=202.106.0

负载均衡集群：LVS 　　haproxy 高可用集：keepalived 　　RHCS(主要用于金融机构) 一、LVS配置负载均衡集群 两种模式： 1、LVS/NAT模式负载均衡集群 2、LVS/DR模式负载均衡集群 三种工作模式 1、NAT网络地址转换模式，运用的时NAT地址转换 2、TUN模式：隧道模式，工作中不常用 3、DR模式:路由模式，不用做地址转换 1、配置LVS/NAT模式负载均衡集群 LVS服务器对客户端访问应用服务器时，对客户端到应用服务器的链接进行负载均衡，确保 应用服务器按照LVS算法进行负载分配，例如：用轮询的方式，这样应用服务器平均分配来自 客户端的访问压力 搭建步骤 LVS集群服务器配置 1、开启内核路由转发功能，使其能够收发来自不同网段的IP包 [root@LVS ~]# vim /etc/sysctl.conf net.ipv4.ip_forward=1------------------------------------新加内容。开启内核的路由IP包转发功能 [root@LVS ~]# sysctl -p----------------------------------查看是否配置成功 net.ipv4.ip_forward = 1 配置LVS服务（NAT模式） 安装软件包 [root@LVS ~]# yum -y install

一、lvs-nat模式 1.1、环境介绍 　　本实验用三台虚拟机完成，一台虚拟机模拟lvs调度器，两块网卡，一块模拟公网一块模拟私网，公网地址192.168.0.201/24，私网地址192.168.4.130/24，另外两台虚拟机分别模拟一台后端web服务器。IP地址分别为192.168.4.128/24,192.168.4.129/24,两台web服务器通过私网地址和调度服务器连接，此例一权重轮训方式为例。通过访问192.168.0.201达到轮训两台web服务器。如果两台web服务器的资源是一样的就可以达到web服务器的负载均衡。 1.2、环境准备 　　两台web服务器起web服务，配置默认首页，首页内容分别为两者的IP地址。这里不详细介绍。 　　配置三台服务器的IP地址。 　　配置命令： 　　lvs服务器： 　 1 nmcli connection modi ens34 ipv4.method manual ipv4.addresses 192.168.4.130/24 ipv4.gateway 192.168.4.2 ipv4.dns 114.114.114.114 connection.autoconnect yes 2 nmcli connection up ens34 3 nmcli connection modi ens33 ipv4.method manual

LVS+Keepalived 一，* *简介** 1，* *负载均衡的类型** l 负载均衡可以采用硬件设备（例如常常听见的 F5），也可以采用软件负载 l 商用硬件负载设备成本通常较高（一台几十万甚至上百万），所以一般 情况下会采用软件负载 l 软件负载解决的两个核心问题是：选谁、转发，其中最著名的是 lvs 2，* *LVS介绍** 2.1 LVS是什么？ l 英文全称是 Linux Virtual Server，即 Linux 虚拟服务器 l 由 章 文 嵩 博 士 发 起 的 自 由 软 件 项 目 ， 它 的 官 方 站 点 是 www.linuxvirtualserver.org l Linux2.4 内核以后，LVS 已经是 Linux 标准内核的一部分 l 可以将请求分发给后端真实服务器处理 l 有许多比较著名网站和组织都在使用 LVS 架设的集群系统，例如：Linux 的门 户网站（ www.linux.com ）、向 RealPlayer 提供音频视频服务而闻 名的 Real 公 司（ www.real.com ）、全球最大的开源网站 （sourceforge.net）等 l 提供了多种调度算法 1) 轮询调度（Round-Robin Scheduling）RR算法 2) 加权轮询调度（Weighted Round-Robin Scheduling）WRR算法

18.11 LVS DR模式搭建 原理： client 发送一个pv请求给VIP；VIP 收到这请求后会跟LVS设置的LB算法选择一个LB 比较合理的realserver，然后把此请求的package 的MAC地址修改为realserver的MAC地址，realserver 处理这个包后，会跟dst 为client ip 直接发送给 client ip；不经过lvs LVS DR模式的注意情况： 1、 LVS 的VIP 和 realserver 必须在同一个网段，不然广播后所有的包都会丢掉： 提前确认LVS/硬件LB 是什么模式，是否需要在同一个网段 2、所有的realserver 都必须绑定VIP的IP地址，否则realserver 收到package后发现dst 不是自己的IP，所有包都会丢掉。 3、realserver·处理完包后直接把package 通过dst IP 发送给 client ，不通过LVS/迎接IP 了这样的LVS /VIP 效率会更高一点。【通过把realserver的ip暴漏给外界，不是很安全】 DR模式搭建 – 准备工作 三台机器 dir 192.168.66.130 rs1 192.168.66.131 rs2 192.168.66.132 dir和rs上都要绑定的vip 192.168.66.200 1、dir上编写脚本 vim /usr/local

一、LVS DR模式搭建 修改两台rs1和rs2机器的网关为之前的网关：192.168.238.2 #vi /etc/sysconfig/network-scripts/ifcfg-ens33 #systemctl restart network dir机器上也需要编写一个脚本，加入如下内容： [root@linux-01 ~]# vim /usr/local/sbin/lvs_dr.sh #! /bin/bash echo 1 > /proc/sys/net/ipv4/ip_forward ipv=/usr/sbin/ipvsadm vip=192.168.238.200 rs1=192.168.238.130 rs2=192.168.238.131 #注意这里的网卡名字 ifdown ens33 ifup ens33 ifconfig ens33:2 $vip broadcast $vip netmask 255.255.255.255 up route add -host $vip dev ens33:2 $ipv -C $ipv -A -t $vip:80 -s rr $ipv -a -t $vip:80 -r $rs1:80 -g -w 1 $ipv -a -t $vip:80 -r $rs2:80 -g -w 1 //脚本解释: echo 1 > /proc/sys

实验环境rhel6.5: 注意配置yum源 server6 172.25.35.7 Load Balance server8 172.25.35.8 Realserver1 server9 172.25.35.9 Realserver2 [root@server6 ~]# yum install -y ipcsadm [root@server6 ~]# ipvsadm -L IP Virtual Server version 1.2.1 (size=4096) Prot LocalAddress:Port Scheduler Flags -> RemoteAddress:Port Forward Weight ActiveConn InActConn [root@server6 ~]# ipvsadm -A -t 172.25.35.100:80 -s rr 加策略 [root@server6 ~]# ipvsadm -L IP Virtual Server version 1.2.1 (size=4096) Prot LocalAddress:Port Scheduler Flags -> RemoteAddress:Port Forward Weight ActiveConn InActConn TCP 172.25.35.100:http rr [root@server6 ~

LVS DR模式搭建 18.11 LVS DR模式搭建 1.准备工作 DR模式同样需要三台虚拟机，三台机器只需要有“公网”IP，但在这种模式下又多了一个VIP。 调度器dir：172.16.111.100 真实服务器rs1：172.16.111.110 真实服务器rs2：172.16.111.120 VIP:172.16.111.200 2.DR模式搭建 在dir机器上写入脚本 [root@garytao-01 ~]# vim /usr/local/sbin/lvs_dr.sh 增加如下脚本内容： #! /bin/bash echo 1 > /proc/sys/net/ipv4/ip_forward ipv=/usr/sbin/ipvsadm vip=172.16.111.200 rs1=172.16.111.110 rs2=172.16.111.120 #注意这里的网卡名字 ifdown ens33 #为了不让网卡设置多次 ifup ens33 ifconfig ens33:2 $vip broadcast $vip netmask 255.255.255.255 up route add -host $vip dev ens33:2 $ipv -C $ipv -A -t $vip:80 -s rr $ipv -a -t $vip:80 -r $rs1:80 -g -w 1

LVS：Linux Virtual Server，实现LB（负载均衡） Cluster功能的一种流行软件。 与它有相同功能的软硬件： 硬件：F5 Big-IP , Citrix Netscaler , A10 A10 软件：lvs，nginx，haproxy，ats(apache traffic server)，perlbal，pound LVS包含角色 VS:Virtual Server，RS:Real Server。VS根据请求报文的目标IP和目标协议及端口将其调度转发至某RealServer，根据调度算法来挑选RS； LVS集群的类型： lvs-nat：修改请求报文的目标IP；多目标IP的DNAT； 多目标IP的DNAT，通过将请求报文中的目标地址和目标端口修改为某挑出的RS的RIP和PORT实现转发； （1）RIP和DIP必须在同一个IP网络，且应该使用私网地址；RS的网关要指向DIP； （2）请求报文和响应报文都必须经由Director转发；Director易于成为系统瓶颈； （3）支持端口映射，可修改请求报文的目标PORT； （4）vs必须是Linux系统，rs可以是任意系统； lvs-dr：操纵封装新的MAC地址，Direct Routing，直接路由； 通过为请求报文重新封装一个MAC首部进行转发，源MAC是DIP所在的接口的MAC