负载均衡

文章目录 群集概念 群集介绍 群集分类 负载均衡群集的工作模式 地址转换NAT IP隧道TUN 直接路由DR 负载均衡群集架构 LVS负载调度算法（常用） NFS网络文件系统 群集概念 群集介绍 群集(Cluster)：由多台主句构成，但对外只表现为一个整体 在互联网应用中，随着站点对硬件的性能、影响速度、服务稳定性、数据可靠性越来越高，单台服务器力不从心。 解决方案：使用价格昂贵的小型机、大型机；使用普通服务器构建群集。 群集分类 根据群集所针对的目标差异，可分为三种类型 负载均衡群集 以提高应用系统的响应能力、尽可能处理更多的访问的请求、减少延迟目标，并获得高并发、高负载（LB）的整体性能。LB的负载分配依赖于主节点的分流算法。 高可用集群 以提高应用系统的可靠性、尽可能减少中断时间为目标，确保服务的连续性，达到高可用（HA）的容错效果。HA的工作方式包括双工和主从两种模式。 高性能运算集群 以提高应用系统的的CPU运算速度、扩展硬件资源和分析能力为目标，获得相当于大型，超级计算机的高性能（HPC）能力。高性能运算群集的高性能依赖于“分布式计算”、“并行计算”，通过专用硬件和软件，将多个服务器的CPU、内存等资源整合在一起，实现有大型，超级计算机才具备的能力。 负载均衡群集的工作模式 地址转换NAT 简称NAT模式，类似于防火墙的私有网络结构，负载调度器作为所有服务器节点的网关

LVS负载均衡群集 一、群集的作用、LVS对群集的调度 随着互联网的普及在现在的生产环境中对服务器的要求越来越高。当处理并发请求时非常考验服务器的硬件能力。但是在现在即使是现有的技术一台服务器也不一定能承受得了大量的服务请求。所以这时就产生群集的思想。也就是说一台以上的服务器组成一个群集，里面运行同一服务。当大量并发请求来的时候，可以一起承担起任务，这样平均下来每台服务器的工作量就没有那么大。 那么该如何分配工作给群集中的服务器呢？这就需要LVS中的调度服务器了。调度器可以根据请求的数量与群集自身的配置对所有服务器分配工作。你可以将调度服务器看作是战场上的指挥官，调兵遣将全部是由调度器来实现的。此外调度器还会实时监控群集内部服务器的将康状态和信息等资源的出入口。 二、LVS群集的分类 LVS群集一般分为一下三类： 1）负载均衡群集：处理并发能力特别好，减少了回应请求的时间，整体效率非常高。 2）高可用群集：也就是说高可靠性，不仅群及内部工作服务器宕机有备用机顶替。用于调度的调度服务器宕机后也会有备用服务器来顶替工作。这样就避免了群龙无首，群集无法正常工作的隐患。 3）高性能运算群集：意思是群及内部硬件资源配置高，CPU、内存、带宽、存储能力等。我们称之为算力，处理请求的能力很高。 三、LVS的工作模式 LVS群集的工作模式分为三种： 1）NAT地址转换模式 2）IP隧道工作模式 3

在前面的文章中，我们曾对HAProxy、Varnish的性能、配置做过详细介绍。今天给各位带来的是这三款开源代理服务器软件的区别，以及什么样的场景使用哪款软件。 哪个软件能够支撑高可用，高并发，还要好维护，运维和网络管理员如何从这些方案中选择一个适合的代理服务器解决方案。 下面我们就来看这三种代理服务器的基本资料，然后对比异同。 关于代理服务器 代理服务器的位置是后端服务的前端，用来负载流量，分配资源，以及解决安全攻击等问题，比如DDOS，并且支持Web应用的高可用。 Varnish Varnish是一款反向HTTP代理服务器，提供加速设计给大流量的网站应用。不像其它 ，如果你要使用代理和负载均衡。 Varnish的典型用户有WikiPedia，纽约时报。我在好乐买（Okbuy.com）也部署了Varnish。保证了服务器的性能和高可用。 还有很多实例，不再枚举。Varnish是从2006年开始开发的。 Nginx Nginx恐怕是Web服务器里排名老大，它兼具负载均衡、反向代理等一身的Web服务器。Nginxr的开发活跃度和社区也都非常活跃。 目前，Nginx分为开源版和企业版两种，另外还有变体版本，比如淘宝优化的Tenginx等。Nginx已经被大量高负载网站所应用，国内外知名大部分都已经使用Nginx做为Web服务器，如WordPress,Aribnb，中国的BAT等大量采用

如今利用nginx做负载均衡的实例已经很多了，针对不同的应用场合，还有很多需要注意的地方，本文要说的就是在通过CDN 后到达nginx做负载均衡时请求头中的X-Forwarded-For项到底发生了什么变化。下图为简单的web架构图： 先来看一下X-Forwarded-For的定义： X-Forwarded-For :简称XFF头，它代表客户端，也就是HTTP的请求端真实的IP，只有在通过了HTTP 代理或者负载均衡服务器时才会添加该项。它不是RFC中定义的标准请求头信息，在squid缓存代理服务器开发文档中可以找到该项的详细介绍。 标准格式如下： X-Forwarded-For: client1, proxy1, proxy2 从标准格式可以看出， X-Forwarded-For头信息可以有多个，中间用逗号分隔，第一项为真实的客户端ip，剩下的就是曾经经过的代理或负载均衡的ip地址，经过几个就会出现几个。 按照上图的Web架构图，可以很容易的看出，当用户请求经过CDN后到达Nginx负载均衡服务器时，其 X-Forwarded-For头信息应该为 客户端IP, CDN的IP。 但实际情况并非如此，一般情况下CDN服务商为了自身安全考虑会将这个信息做些改动，只保留客户端IP。我们可以通过php程序获得 X-Forwarded-For 信息或者通过Nginx的add

一、LVS简介 LVS（Linux Virtual Server）即Linux虚拟服务器，是由章文嵩博士主导的开源负载均衡项目，目前LVS已经被集成到Linux内核模块中。该项目在Linux内核中实现了基于IP的数据请求负载均衡调度方案，其体系结构如图1所示，终端互联网用户从外部访问公司的外部负载均衡服务器，终端用户的Web请求会发送给LVS调度器，调度器根据自己预设的算法决定将该请求发送给后端的某台Web服务器，比如，轮询算法可以将外部的请求平均分发给后端的所有服务器，终端用户访问LVS调度器虽然会被转发到后端真实的服务器，但如果真实服务器连接的是相同的存储，提供的服务也是相同的服务，最终用户不管是访问哪台真实服务器，得到的服务内容都是一样的，整个集群对用户而言都是透明的。最后根据LVS工作模式的不同，真实服务器会选择不同的方式将用户需要的数据发送到终端用户，LVS工作模式分为NAT模式、TUN模式、以及DR模式。 二、三种工作模式的解析。 1、基于NAT的LVS模式负载均衡 NAT（Network Address Translation）即网络地址转换，其作用是通过数据报头的修改，使得位于企业内部的私有IP地址可以访问外网，以及外部用用户可以访问位于公司内部的私有IP主机。VS/NAT工作模式拓扑结构如图2所示，LVS负载调度器可以使用两块网卡配置不同的IP地址

1 Ribbon相关介绍 1.1 Ribbon是什么 Ribbon是Netflix发布的云中间层服务开源项目，主要功能是提供客户端负载均衡算法。Ribbon客户端组件提供一系列完善的配置项，如，连接超时，重试等。简单的说，Ribbon是一个客户端负载均衡器，我们可以在配置文件中列出load Balancer后面所有的机器，Ribbon会自动的帮助你基于某种规则(如简单轮询，随机连接等)去连接这些机器，我们也很容易使用Ribbon实现自定义的负载均衡算法。 Ribbon是一个客户端负载均衡器,它可以按照一定规则来完成多态服务器负载均衡调用,这些规则还支持自定义。 Ribbon是负载均衡器，是基于RestTemplate ,它赋予了RestTemplate 负载均衡的能力。 1.2 集成原理 其中负载均衡的算法有：轮询算法、随机算法、权重算法、响应权重算法、iphash等，默认使用轮询算法。 2 Spring Cloud 集成 Ribbon 2.1 导入依赖 < dependency > < groupId > org.springframework.cloud </ groupId > < artifactId > spring-cloud-starter-netflix-ribbon </ artifactId > </ dependency > 2.1 编写配置文件

Dubbo建议使用Zookeeper作为服务的注册中心。 1. Zookeeper的作用： zookeeper用来注册服务和进行负载均衡，哪一个服务由哪一个机器来提供必需让调用者知道，简单来说就是ip地址和服务名称的对应关系。当然也可以 通过硬编码的方式把这种对应关系在调用方业务代码中实现，但是如果提供服务的机器挂掉调用者无法知晓，如果不更改代码会继续请求挂掉的机器提供服务。 zookeeper通过心跳机制可以检测挂掉的机器并将挂掉机器的ip和服务对应关系从列表中删除。至于支持高并发，简单来说就是横向扩展，在不更改代码 的情况通过添加机器来提高运算能力。通过添加新的机器向zookeeper注册服务，服务的提供者多了能服务的客户就多了。 2. dubbo： 是管理中间层的工具，在业务层到数据仓库间有非常多服务的接入和服务提供者需要调度，dubbo提供一个框架解决这个问题。 注意这里的dubbo只是一个框架，至于你架子上放什么是完全取决于你的，就像一个汽车骨架，你需要配你的轮子引擎。这个框架中要完成调度必须要有一个分布式的注册中心，储存所有服务的元数据，你可以用zk，也可以用别的，只是大家都用zk。 3. zookeeper和dubbo的关系： Dubbo的将注册中心进行抽象，是得它可以外接不同的存储媒介给注册中心提供服务，有ZooKeeper，Memcached，Redis等。

介绍 HAProxy提供高可用性、负载均衡以及基于TCP和HTTP应用的代理，支持虚拟主机，它是免费、快速并且可靠的一种解决方案。HAProxy特别适用于那些负载特大的web站点，这些站点通常又需要会话保持或七层处理。HAProxy运行在当前的硬件上，完全可以支持数以万计的并发连接。并且它的运行模式使得它可以很简单安全的整合进您当前的架构中，同时可以保护你的web服务器不被暴露到网络上. haproxy 配置中分成五部分内容，分别如下： 　　- global：参数是进程级的，通常是和操作系统相关。这些参数一般只设置一次，如果配置无误，就不需要再次进行修改 　　- defaults：配置默认参数，这些参数可以被用到frontend，backend，Listen组件 　　- frontend：接收请求的前端虚拟节点，Frontend可以更加规则直接指定具体使用后端的backend 　　- backend：后端服务集群的配置，是真实服务器，一个Backend对应一个或者多个实体服务器 　　- Listen Fronted和backend的组合体 安装使用 使用以上图的拓扑来配置使用haproxy 1.配置各服务器的IP地址 略 2.安装Haproxy (两台负载均衡器配置一样) #编译安装 [root@haproxy ~]# tar zxvf haproxy-1.4.24.tar.gz

CDN是什么 CDN全称:Content Delivery Network或Content Ddistribute Network，即内容分发网络 CDN设计思路 避让：尽可能避开互联网上有可能影响数据传输速度和稳定性的瓶颈和环节，使内容传输的更快、更稳定。 检测：通过在网络各处放置节点服务器所构成的在现有的互联网基础之上的一层智能虚拟网络，CDN系统能够实时监测网络流量和各节点的连接、负载状况以及到用户的距离和响应时间等综合信息将用户的请求 分发：根据监测情况重新导向离用户最近的服务节点上 CDN应用场景 　　解决因分布、带宽、服务器性能带来的访问延迟问题，适用于站点加速、点播、直播等场景。使用户可就近取得所需内容，解决 Internet网络拥挤的状况，提高用户访问网站的响应速度和成功率。 　　控制时延无疑是现代信息科技的重要指标，CDN的意图就是尽可能的减少资源在转发、传输、链路抖动等情况下顺利保障信息的连贯性。CDN所有的工作最后都是落在控制上面，所以CDN就像是网络中的CPU。 示例说明： 在网速一定的前提下，CDN就像网络中快递员小哥 &amp;amp;lt;img src="https://pic2.zhimg.com/v2-35eeda954a433e794e89b012dfad7231_b.jpg" data-caption="" data-size="normal

1，简介 Apache Dubbo (incubating) |ˈdʌbəʊ| 是一款高性能、轻量级的开源Java RPC框架，它提供了三大核心能力：面向接口的远程方法调用，智能容错和负载均衡，以及服务自动注册和发现。 官网： http://dubbo.apache.org/ 2，基本概念 服务提供者（ Provider ）： 暴露服务的服务提供方，服务提供者在启动时，向注册中心注册自己提供的服务。 服务消费者（ Consumer ） : 调用远程服务的服务消费方，服务消费者在启动时，向注册中心订阅自己所需的服务，服务消费者，从提供者地址列表中，基于软负载均衡算法，选一台提供者进行调用，如果调用失败，再选另一台调用。 注册中心（ Registry ）： 注册中心返回服务提供者地址列表给消费者，如果有变更，注册中心将基于长连接推送变更数据给消费者 监控中心（ Monitor ）： 服务消费者和提供者，在内存中累计调用次数和调用时间，定时每分钟发送一次统计数据到监控中心 调用关系说明 服务容器负责启动，加载，运行服务提供者。 服务提供者在启动时，向注册中心注册自己提供的服务。 服务消费者在启动时，向注册中心订阅自己所需的服务。 注册中心返回服务提供者地址列表给消费者，如果有变更，注册中心将基于长连接推送变更数据给消费者。 服务消费者，从提供者地址列表中，基于软负载均衡算法