lvs

第1章 LVS + keepalived 负载均衡安装配置笔记 经安装测试能够实现我的这些需要： 双机或多机实现虚拟 IP ，能够实现 IP 故障切换 能够连接多台后端真实服务器，实现后端服务器的负载均衡 能够实现双机热备份（同一时间单机工作，故障后切换到另一台） 能够双机虚拟 IP 且负载均衡（双机即做调度器又做真实服务器） 1.1 LVS (Linux Virtual Server) 虚拟IP，负载均衡调度器，但需要手工动态增加命令，所以需要keepalived来实现自动配合。虚拟IP同时只能存在于某一台机器上，此时称为master机，其它为backup机。 安装：ubuntu上直接用apt-get install ipvsadm，装完后为自启动服务。剩下的事就交给keepalived管理了，不需要手工配置LVS。 1.2 Keepalived 根据配置文件进行监控，向LVS提供信息，自动检测各调度器可用性，从而实现虚拟IP（即master机)由哪台机器服务。就是指定哪些机器一块虚拟出哪个IP。还有在虚拟的IP上提供哪个端口映射到哪些后端真实服务器从而实现后端服务的负载均衡(可自动检测出哪些不可用) 安装：ubuntu上直接用apt-get install keepalived，装完后为自启动服务。然后在/etc/keepalived/中增加配置keepalived.conf

  LVS 是 Linux Virtual Server 的简称，也就是 Linux 虚拟服务器。现在 LVS 已经是 Linux 标准内核的一部分，从 Linux2.4 内核以后，已经完全内置了 LVS 的各个功能模块，无需给内核打任何补丁，可以直接使用 LVS 提供的各种功能。 LVS 自从1998年开始，发展到现在已经是一个比较成熟的技术项目了。 一、LVS集群的工作架构： LVS 架设的服务器集群系统有三个部分组成： (1) 最前端的负载均衡层，用 Load Balancer 表示 (2) 中间的服务器集群层，用 Server Array 表示 (3) 最底端的数据共享存储层，用 Shared Storage 表示 二、LVS集群的工作机制 VS根据请求报文的目标IP和目标协议及端口将其调度转发至某RS，根据调度算法来挑选RS。LVS是内核 级功能，工作在INPUT链的位置，将发往INPUT的流量进行“处理” 三、LVS集群的工作模式   1、lvs-nat:修改请求报文的目标IP，多目标的IP的DNAT   2、lvs-dr 操作封装的MAC地址   3、lvs-tun：在原请求IP报文之外新加上一个IP首部   4、lvs-fullnat：修改请求报文的源和目标IP地址 3.1、LVS的NAT模式 vs-nat：本质是多目标IP的DNAT

博客已经搬家，请访问如下地址：http://www.czhphp.com 一：环境说明： LVS-NAT-Master： 192.168.5.132 LVS-NAT-Backup： 192.168.5.129 VIP: 192.168.5.130 VIP2: 192.168.1.101 RealServer1： 192.168.1.102 RealServer1： 192.168.1.103 Centos：5.7 二：安装LVS和Keepalvied软件包 1. 下载相关软件包 mkdir /usr/local/src/lvs cd /usr/local/src/lvs wget http://www.linuxvirtualserver.org/software/kernel-2.6/ipvsadm-1.24.tar.gz wget http://www.keepalived.org/software/keepalived-1.1.15.tar.gz 2. 安装LVS和Keepalived lsmod |grep ip_vs uname -r 2.6.18-53.el5PAE ln -s /usr/src/kernels/2.6.18-53.el5PAE-i686/ /usr/src/linux tar zxvf ipvsadm-1.24.tar.gz cd ipvsadm-1

LB、LVS介绍 LB集群是load balance 集群的简写，翻译成中文就是负载均衡集群 LVS是一个实现负载均衡集群的开源软件项目 LVS架构从逻辑上可分为调度层(Director)、server集群层(Real server)和共享存储层 LVS可分为三种工作模式: NAT(调度器将请求的目标ip即vip地址改为Real server的ip, 返回的数据包也经过调度器，调度器再把源地址修改为vip) TUN(调度器将请求来的数据包封装加密通过ip隧道转发到后端的real server上，而real server会直接把数据返回给客户端，而不再经过调度器), DR(调度器将请求来的数据包的目标mac地址改为real server的mac地址，返回的时候也不经过调度器，直接返回给客户端) 三种IP：DIP(driector ip), VIP(virtual ip), RIP(Real IP). 其中DIP, RIP 为同一个网段，并且为私网IP, vip为对外提供服务的ip，Director, Real server上都设置vip LVS的调度算法：轮叫调度(Round Robin)(简称rr) ,加权轮叫(Weighted Round Robin)(简称wrr),最少链接(least connection)(LC),加权最少链接(Weighted Least

LVS 配置教程 一、前言 二、安装 ipvs 三、 集群部署 1 、使用 VS/NAT 调度 2 、使用 VS/TUN 调度 3 、使用 VS/DR 调度 LVS 配置教程 作者:oldjiang 一、前言 相信专程来读此文的读者对 LVS 必然有一定的了解，首先看图： 毋庸置疑， Load Balancer 是负载调度器，由它将网络请求无缝隙调度到真实服务器，至于此集群使用的是哪一种 IP 负载均衡技术 (LVS 有三种负载均衡技术，分别是 VS/NAT 、 VS/TUN 和 VS/DR) ，暂时不用理会。 观察此图，我们知道， LVS 与其他基于应用层或基于 IP 层的负载均衡应用拥有类似的一点：一台及其以上的负载调度器和数台甚至成百上千台真实服务器。 用 LVS 来搭建负载均衡集群，理论上来说，只需要在负载调度器上安装 LVS 核心软件 ipvs 和 ipvs 的功能实现软件 ipvsadm ，而真实服务器无需额外安装软件。 当前，大部分 Linux 发行版本已经集成了 ipvs ，因此我们只需要安装它的实现软件 ipvsadm 即可。 在安装这个软件的时候，我们不需要考虑我们将使用哪一种 IP 负载均衡技术，直接安装即可。 二、安装 ipvs 1、 检查 Load Balancer 服务器是否已支持 ipvs 。 modprobe -l|grep ipvs

LVS/DR + keepalived配置 注意：前面虽然我们已经配置过一些操作，但是下面我们使用keepaliave操作和之前的操作是有些冲突的，所以若是之前配置过DR，请首先做如下操作： 三台机器: director(eth010.222.138.200, vip eth0:1: 10.222.138.10) real server1(eth0 rip: 10.222. 138.201, vip lo:0: 10.222.138.10) real server2(eth0 rip: 10.222.138.202, vip lo:0: 10.222.138.10) dr上执行： ipvsadm -C ifconfig eth0:1 down 前面的lvs虽然已经配置成功也实现了负载均衡，但是我们测试的时候发现，当某台real server把httpd进程停掉，那么director照样会把请求转发过去，这样就造成了某些请求不正常。所以需要有一种机制用来检测real server的状态，这就是keepalived。它的作用除了可以检测rs状态外，还可以检测备用director的状态，也就是说keepalived可以实现ha集群的功能，当然了也需要一台 备用director. 备用director也需要安装一下keepalived软件 yum install -y keepalived

实验原理图 实验环境 LVS调度器作为web服务器池的网关 LVS服务器配置两块网卡分别连接内外网 使用轮询（rr）调度算法 LVS负载调度器网段规划 内网33网关：192.168.144.1 外网36：12.0.0.1 web1 192.168.144.151 web2 192.168.144.170 nfs服务器 192.168.144.145 client测试机 12.0.0.12 实践操作 在NFS服务器上添加两块硬盘，做共享存储使用，格式化 在虚拟机上添加硬盘 [root@nfs ~]# fdisk /dev/sdb //分区 令(输入 m 获取帮助)：n //创建新分区 Partition type: p primary (0 primary, 0 extended, 4 free) e extended Select (default p): p //主分区 分区号 (1-4，默认 1)： //回车默认选项 起始 扇区 (2048-41943039，默认为 2048)： //回车默认选项 将使用默认值 2048 Last 扇区, +扇区 or +size{K,M,G} (2048-41943039，默认为 41943039)： //回车默认选项 将使用默认值 41943039 分区 1 已设置为 Linux 类型，大小设为 20 GiB 命令(输入 m 获取帮助)：w

LVS-DR数据包流向分析 为方便进行原理分析，将Client与群集机器放在同一网络中，数据包流经的路线为1-2-3-4 Client向目标VIP发出请求， Director (负载均衡器)接收 Director根据负载均衡算法选择RealServer 1，不修改也不封装IP报文，而是将数据帧的MAC地址改为RealServer 1的MAC地址，然后在局域网上发送。 RealServer_ _1收到这个帧，解封装后发现目标IP与本.机匹配(RealServer事先绑定 了VIP)，于是处理这个报文。随后重新封装报文，发送到局域网。 Client将收到回复报文。Client认为得到正常的服务 ,而不会知道是哪一台服务器处理的 注意:如果跨网段，那么报文通过路由器经由Internet返回给用户 LVS-DR中的ARP问题 在LVS-DR负载均衡集群中，负载均衡器与节点服务器都要配置相同的VIP地址 在局域网中具有相同的IP地址，势必会造成各服务器ARP通信的紊乱 当一个ARP广播发送到LVS-DR集群时因为负载均衡器和节点服务器都是连接到相同的网络上的，它们都会接收到ARP广播 此时只有前端的负载均衡器进行响应，其他节点服务器不应该响应ARP广播 对节点服务器进行处理，使其不响应针对VIP的ARP请求 使用虚接口lo:0承载VIP地址 设置内核参数arp_ ignore=1:

LVS简介 LVS（Linux Virtual Server）即Linux虚拟服务器，是由章文嵩博士主导的开源负载均衡项目，目前LVS已经被集成到Linux内核模块中。该项目在Linux内核中实现了基于IP的数据请求负载均衡调度方案，其体系结构如图1所示，终端互联网用户从外部访问公司的外部负载均衡服务器，终端用户的Web请求会发送给LVS调度器，调度器根据自己预设的算法决定将该请求发送给后端的某台Web服务器，比如，轮询算法可以将外部的请求平均分发给后端的所有服务器，终端用户访问LVS调度器虽然会被转发到后端真实的服务器，但如果真实服务器连接的是相同的存储，提供的服务也是相同的服务，最终用户不管是访问哪台真实服务器，得到的服务内容都是一样的，整个集群对用户而言都是透明的。最后根据LVS工作模式的不同，真实服务器会选择不同的方式将用户需要的数据发送到终端用户，LVS工作模式分为NAT模式、TUN模式、以及DR模式。 三种工作模式 1、基于NAT的LVS模式负载均衡 NAT（Network Address Translation）即网络地址转换，其作用是通过数据报头的修改，使得位于企业内部的私有IP地址可以访问外网，以及外部用用户可以访问位于公司内部的私有IP主机。VS/NAT工作模式拓扑结构如图2所示，LVS负载调度器可以使用两块网卡配置不同的IP地址

TUN的LVS负载均衡 在LVS（NAT）模式的集群环境中，由于所有的数据请求及响应的数据包都需要经过LVS调度器转发，如果后端服务器的数量大于10台，则调度器就会成为整个集群环境的瓶颈。我们知道，数据请求包往往远小于响应数据包的大小。因为响应数据包中包含有客户需要的具体数据，所以LVS（TUN）的思路就是将请求与响应数据分离，让调度器仅处理数据请求，而让真实服务器响应数据包直接返回给客户端。其中，IP隧道（IP tunning）是一种数据包封装技术，它可以将原始数据包封装并添加新的包头（内容包括新的源地址及端口、目标地址及端口），从而实现将一个目标为调度器的VIP地址的数据包封装，通过隧道转发给后端的真实服务器（Real Server），通过将客户端发往调度器的原始数据包封装，并在其基础上添加新的数据包头（修改目标地址为调度器选择出来的真实服务器的IP地址及对应端口），LVS（TUN）模式要求真实服务器可以直接与外部网络连接，真实服务器在收到请求数据包后直接给客户端主机响应数据。 实验环境配置 server1 为lvs的服务主机 server2 为后端服务器1 server3 也为后端服务器2 1，server1配置 modprobe ipip #添加隧道模式模块 ip addr show # 多出一个tunl0网卡 ip addr add 172.25.88.100/24