负载均衡

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 随着公司业务规模的扩大，网站访问量日益剧增，最初的系统架构可能已经没办法满足业务发展的需求了。这时候就要考虑将系统架构改造成扩展性更强，能够承受更大访问量的分布式架构。 本文从大致三个方面谈谈分布式架构的概念、原理和相关的解决方案。为什么要做分布式？举个栗子，就好比原来城市的道路是双车道，同一时间只能容纳很小一部分车流量，但是改成多车道后，道路的容量就提升了几倍，网站也是相同的道理，用户的访问请求就是汽车，分布式架构就是在构建一个多车道的网站系统。接下来我们具体聊一聊各个层面的分布式技术解决方案。首先讲业务层的分布式，最简单的就是部署几台业务服务器，部署Apache或者Nginx，配置相同（vhost、域名解析、代码目录等），然后使用负载均衡技术将这几台服务器组成集群，达到对用户分流的效果。需要注意的是SESSION会话需要保存到数据库或者缓存系统中，保证SESSION的一致性，至于数据库，有统一的数据层，不需要担心数据不一致的问题。负载均衡有很多种解决方案，比较常见的是LVS（阿里巴巴章文嵩博士开发）、Nginx（阿里巴巴优化的Tengine）、HAProxy等。LVS是负责在4层网络实现负载均衡，有DR、隧道等方式，可以根据自身需求选择合适的方式。Nginx和HAProxy是负责7层网络的负载均衡

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 随着公司业务规模的扩大，网站访问量日益剧增，最初的系统架构可能已经没办法满足业务发展的需求了。这时候就要考虑将系统架构改造成扩展性更强，能够承受更大访问量的分布式架构。 本文从大致三个方面谈谈分布式架构的概念、原理和相关的解决方案。为什么要做分布式？举个栗子，就好比原来城市的道路是双车道，同一时间只能容纳很小一部分车流量，但是改成多车道后，道路的容量就提升了几倍，网站也是相同的道理，用户的访问请求就是汽车，分布式架构就是在构建一个多车道的网站系统。接下来我们具体聊一聊各个层面的分布式技术解决方案。首先讲业务层的分布式，最简单的就是部署几台业务服务器，部署Apache或者Nginx，配置相同（vhost、域名解析、代码目录等），然后使用负载均衡技术将这几台服务器组成集群，达到对用户分流的效果。需要注意的是SESSION会话需要保存到数据库或者缓存系统中，保证SESSION的一致性，至于数据库，有统一的数据层，不需要担心数据不一致的问题。负载均衡有很多种解决方案，比较常见的是LVS（阿里巴巴章文嵩博士开发）、Nginx（阿里巴巴优化的Tengine）、HAProxy等。LVS是负责在4层网络实现负载均衡，有DR、隧道等方式，可以根据自身需求选择合适的方式。Nginx和HAProxy是负责7层网络的负载均衡

负载均衡算法可以分为下面几类： 任务平分类：可以按照平均分配或者加权平均分配的算法。 负载均衡类：按照服务器的负载，比如CPU负载，IO负载等进行分配（站在服务器的角度）。 性能最优类：客户端按照服务器的响应时间来分配请求（站在客户端的角度）。 Hash类：按照特定的信息进行hash值，然后分配给特定的服务器，比如按照IP hash算法，Session ID Hash算法，或者按照用户的ID hash等等。 一、任务平分类 轮询算法 该算法实现简单，即轮询每个服务器，分别将强求发送到不同的服务器中，不过对于某些场景，比如购物车业务会造成分布式session一致性问题。 而且该算法对于服务器的新旧，好坏程度无感知，如64核和32核的服务器的负载应当不同。 加权轮询 该算法解决上面的问题，可以按照服务器的核数等情况分配不同数量的请求 ，比如64核的服务器请求数应当多于32核的服务器。 但是该算也不能避免分布式session一致性的问题，也无法感知服务器的运行状态。（运行状态即服务器正在运行时的CPU负载以及IO负载）。 二、负载均衡类 负载最低优先算法 该算法解决了轮询无法感知服务器的运行状态的问题。 对于LVS负载均衡设备，可以通过“连接数”来衡量服务器的负载，连接数越多，负载越高。 对于Nginx负载均衡设备，可以通过“HTTP请求数”来衡量服务器负载等。 缺点：

Nginx的产生 没有听过Nginx?那么一定听过它的"同行"Apache吧!Nginx同Apache一样都是一种WEB服务器。基于REST架构风格，以统一资源描述符(Uniform Resources Identifier)URI或者统一资源定位符(Uniform Resources Locator)URL作为沟通依据，通过HTTP协议提供各种网络服务。 然而，这些服务器在设计之初受到当时环境的局限，例如当时的用户规模，网络带宽，产品特点等局限并且各自的定位和发展都不尽相同。这也使得各个WEB服务器有着各自鲜明的特点。 Apache的发展时期很长，而且是毫无争议的世界***大服务器。它有着很多优点：稳定、开源、跨平台等等。它出现的时间太长了，它兴起的年代，互联网产业远远比不上现在。所以它被设计为一个重量级的。它不支持高并发的服务器。在Apache上运行数以万计的并发访问，会导致服务器消耗大量内存。操作系统对其进行进程或线程间的切换也消耗了大量的CPU资源，导致HTTP请求的平均响应速度降低。 这些都决定了Apache不可能成为高性能WEB服务器，轻量级高并发服务器Nginx就应运而生了。 俄罗斯的工程师Igor Sysoev，他在为Rambler Media工作期间，使用C语言开发了Nginx。Nginx作为WEB服务器一直为Rambler Media提供出色而又稳定的服务。

nginx概述 nginx是一款自由的、开源的、高性能的HTTP服务器和反向代理服务器；同时也是一个IMAP、POP3、SMTP代理服务器；nginx可以作为一个HTTP服务器进行网站的发布处理，另外nginx可以作为反向代理进行负载均衡的实现。 这里主要通过三个方面简单介绍nginx 反向代理 负载均衡 nginx特点 1. 反向代理 关于代理 说到代理，首先我们要明确一个概念，所谓代理就是一个代表、一个渠道； 此时就设计到两个角色，一个是被代理角色，一个是目标角色，被代理角色通过这个代理访问目标角色完成一些任务的过程称为代理操作过程；如同生活中的专卖店~客人到adidas专卖店买了一双鞋，这个专卖店就是代理，被代理角色就是adidas厂家，目标角色就是用户 正向代理 说反向代理之前，我们先看看正向代理，正向代理也是大家最常接触的到的代理模式，我们会从两个方面来说关于正向代理的处理模式，分别从软件方面和生活方面来解释一下什么叫正向代理 在如今的网络环境下，我们如果由于技术需要要去访问国外的某些网站，此时你会发现位于国外的某网站我们通过浏览器是没有办法访问的，此时大家可能都会用一个操作FQ进行访问，FQ的方式主要是找到一个可以访问国外网站的代理服务器，我们将请求发送给代理服务器，代理服务器去访问国外的网站，然后将访问到的数据传递给我们！ 上述这样的代理模式称为正向代理

Nginx配置详解 nginx概述 nginx是一款自由的、开源的、高性能的HTTP服务器和反向代理服务器；同时也是一个IMAP、POP3、SMTP代理服务器；nginx可以作为一个HTTP服务器进行网站的发布处理，另外nginx可以作为反向代理进行负载均衡的实现。 这里主要通过三个方面简单介绍nginx 反向代理 负载均衡 nginx特点 1. 反向代理 关于代理 说到代理，首先我们要明确一个概念，所谓代理就是一个代表、一个渠道； 此时就设计到两个角色，一个是被代理角色，一个是目标角色，被代理角色通过这个代理访问目标角色完成一些任务的过程称为代理操作过程；如同生活中的专卖店~客人到adidas专卖店买了一双鞋，这个专卖店就是代理，被代理角色就是adidas厂家，目标角色就是用户 正向代理 说反向代理之前，我们先看看正向代理，正向代理也是大家最常接触的到的代理模式，我们会从两个方面来说关于正向代理的处理模式，分别从软件方面和生活方面来解释一下什么叫正向代理 在如今的网络环境下，我们如果由于技术需要要去访问国外的某些网站，此时你会发现位于国外的某网站我们通过浏览器是没有办法访问的，此时大家可能都会用一个操作FQ进行访问，FQ的方式主要是找到一个可以访问国外网站的代理服务器，我们将请求发送给代理服务器，代理服务器去访问国外的网站，然后将访问到的数据传递给我们！

LVS简介 LVS（Linux Virtual Server）即Linux虚拟服务器，是由章文嵩博士主导的开源负载均衡项目，目前LVS已经被集成到Linux内核模块中。该项目在Linux内核中实现了基于IP的数据请求负载均衡调度方案，其体系结构如图1所示，终端互联网用户从外部访问公司的外部负载均衡服务器，终端用户的Web请求会发送给LVS调度器，调度器根据自己预设的算法决定将该请求发送给后端的某台Web服务器，比如，轮询算法可以将外部的请求平均分发给后端的所有服务器，终端用户访问LVS调度器虽然会被转发到后端真实的服务器，但如果真实服务器连接的是相同的存储，提供的服务也是相同的服务，最终用户不管是访问哪台真实服务器，得到的服务内容都是一样的，整个集群对用户而言都是透明的。最后根据LVS工作模式的不同，真实服务器会选择不同的方式将用户需要的数据发送到终端用户，LVS工作模式分为NAT模式、TUN模式、以及DR模式。 三种工作模式 1、基于NAT的LVS模式负载均衡 NAT（Network Address Translation）即网络地址转换，其作用是通过数据报头的修改，使得位于企业内部的私有IP地址可以访问外网，以及外部用用户可以访问位于公司内部的私有IP主机。VS/NAT工作模式拓扑结构如图2所示，LVS负载调度器可以使用两块网卡配置不同的IP地址

概念 k8s的service也叫服务，通过label识别一组pod，并提供访问这些pod的策略。 service能够提供4层的负载均衡能力。对于7层(通过域名访问)的访问，需要借助ingress来实现。 Service的类型 1）clusterIp：默认类型，自动为该service分配一个clusterIp，只能够供内部访问，不能将Service暴露给外部。 2）Nodepoint：在ClusterIP的基础上为service在每台机器上绑定一个端口，这样就可以通过NodeIP:port来提供外部访问。(具体原理是通过DNAT转发规则来实现） 3）LoadBalancer：在NodePort基础上，借助cloud provider（云服务商）创建一个外部的负载均衡，并将请求转发到NodeIP:PORT上。 4）ExternalName：吧集群外部的服务引入到集群内部，在集群内部直接使用，k8sv1.7以上的版本kube-dns支持。 Service代理 K8s为每一个Node上运行一个kube-proxy，他负责为service实现了一种VIP(虚拟IP)，K8S1.0版本代理在userspace上，1.1在iptables中实现，1.2起增加了ipvs代理。 为什么不用DNS代理？DNS会缓存，无法起到负载均衡的效果。 kube-proxy监控service pod变化

Spring Cloud作为当下主流的微服务框架，可以让我们更简单快捷地实现微服务架构。Spring Cloud并没有重复制造轮子，它只是将目前各家公司开发的比较成熟、经得起实际考验的服务框架组合起来，通过Spring Boot风格进行再封装屏蔽掉了复杂的配置和实现原理，最终给开发者留出了一套简单易懂、易部署和易维护的分布式系统开发工具包。Spring Cloud中各个组件在微服务架构中扮演的角色如下图所示，黑线表示注释说明，蓝线由A指向B，表示B从A处获取服务。 由上图所示微服务架构大致由上图的逻辑结构组成，其包括各种微服务、注册发现、服务网关、熔断器、统一配置、跟踪服务等。下面说说Spring Cloud中的组件分别充当其中的什么角色。 Fegin（接口调用）：微服务之间通过Rest接口通讯，Spring Cloud提供Feign框架来支持Rest的调用，Feign使得不同进程的Rest接口调用得以用优雅的方式进行，这种优雅表现得就像同一个进程调用一样。 Netflix eureka（注册发现）：微服务模式下，一个大的Web应用通常都被拆分为很多比较小的Web应用（服务），这个时候就需要有一个地方保存这些服务的相关信息，才能让各个小的应用彼此知道对方，这个时候就需要在注册中心进行注册。每个应用启动时向配置的注册中心注册自己的信息（IP地址，端口号, 服务名称等信息）

Spring Cloud作为当下主流的微服务框架，可以让我们更简单快捷地实现微服务架构。Spring Cloud并没有重复制造轮子，它只是将目前各家公司开发的比较成熟、经得起实际考验的服务框架组合起来，通过Spring Boot风格进行再封装屏蔽掉了复杂的配置和实现原理，最终给开发者留出了一套简单易懂、易部署和易维护的分布式系统开发工具包。Spring Cloud中各个组件在微服务架构中扮演的角色如下图所示，黑线表示注释说明，蓝线由A指向B，表示B从A处获取服务。 由上图所示微服务架构大致由上图的逻辑结构组成，其包括各种微服务、注册发现、服务网关、熔断器、统一配置、跟踪服务等。下面说说Spring Cloud中的组件分别充当其中的什么角色。 Fegin（接口调用）：微服务之间通过Rest接口通讯，Spring Cloud提供Feign框架来支持Rest的调用，Feign使得不同进程的Rest接口调用得以用优雅的方式进行，这种优雅表现得就像同一个进程调用一样。 Netflix eureka（注册发现）：微服务模式下，一个大的Web应用通常都被拆分为很多比较小的Web应用（服务），这个时候就需要有一个地方保存这些服务的相关信息，才能让各个小的应用彼此知道对方，这个时候就需要在注册中心进行注册。每个应用启动时向配置的注册中心注册自己的信息（IP地址，端口号, 服务名称等信息）