负载均衡

前言 上一节我们已经学习了Eureka 注册中心，其实我们也使用到了Ribbon ,只是当时我们没有细讲，所以我们现在一起来学习一下Ribbon。 什么是Ribbon 之前接触到的负载均衡都是硬负载均衡，什么是硬负载均衡呢？硬负载均衡就是在以往的大型系统中，会有单独一套系统来负责负载均衡策略，我们所以的请求都会先走到负载均衡的系统上，进行分配到不同的服务器处理。 比如我们熟悉的nginx 。其实就可以算作一个负载均衡的系统，客户端请求的接口会先通过nginx 的负载均衡策略分配到不同的服务器上。 那Ribbon 不是这样的吗？那又是怎样的呢？ Ribbon 是和 Eureka 一样是Netflix 推出的开源产品，它可以和Eureka 完成无缝结合，Ribbon 主要实现客户端负载均衡。 那什么是客户端负载均衡呢？ 就是在客户端请求的时候，就通过均衡策略将请求分发到不同的服务器上，如下图 这个图是根据上节的Eureka 的架构图改编来的，主要的流程还是没有变，服务消费者和服务提供者都会注册到服务中心，然后服务消费者会从服务中心获取可用实例列表 ，这里就会通过负载均衡策略选择其中一个实例进行访问。 好了我们来用代码来看一下。 demo 我们为了简化，注册中心服务端，我们还是用上节的单节点。怎么配置我不说了。然后我们新建一个module 用来做服务提供者，其实也可以用上一节的服务提供者

1、负载均衡典型应用场景，外网、内网、私网公共服务。 典型场景： (1)用户通过公网访问数据中心的ftp、web、https服务器。 (2) 在数据中心内部东西向访问其他服务时，例如，访问其他虚拟机、DNS等公共服务。 (3) 通过专线或者ipsec vpn访问数据中心内部服务时。 2、常见的负载均衡的技术 硬件实现（2/3层）：链路聚合、等价路由。 软件实现（4/7层）：LVS、nginx/haproxy、 　　DNS负载均衡：公网智能分配目的ip GSLB、内网DNS解析公共服务。 3、LVS的3种模式：NAT、DR、TUNNEL。 NAT： 特点，流量来回路径一致，都要经过负载均衡器，通过DNAT转换，将目的ip修改为后端VM的ip，目的MAC修改为后端VM的MAC地址。 缺点：当回程流量很大时，负载均衡器本身容易成为瓶颈。改进方案，使用DR模式。 DR：特点，回程路径直接回到客户端。不需要NAT，后端服务器都需要配置环口ip为VIP，并且配置不响应VIP的arp请求。同时要求LVS分发器和后端VM在相同网段内，这个模式是主流。 　　　　 缺点：要求后端VM和LVS分发头在相同网段。改进方案：LVS + haproxy. 隧道模式：特点，负载均衡器和后端虚拟机不是直接相连，通过隧道打通，要求双方都要支持IPinIP协议。 LVS + haproxy: 怎么解决跨网问题？

Tomcat基础《一》----WEB技术 Tomcat基础《二》----Tomcat基础介绍 负载均衡 动态服务器的问题，往往就是并发能力太弱，往往需要多台动态服务器一起提供服务。如何把并发的压 力分摊，这就需要调度，采用一定的调度策略，将请求分发给不同的服务器，这就是Load Balance负载 均衡。 当单机的Tomcat，演化出多机多级部署的时候，一个问题便凸显出来，这就是Session。而这个问题的 由来，都是由于HTTP协议在设计之初没有想到未来的发展。 HTTP的无状态，有连接和短连接 无状态：指的是服务器端无法知道2次请求之间的联系，即使是前后2次请求来自同一个浏览器，也没有任何数据能够判断出是同一个浏览器的请求。后来可以通过cookie、session机制来判断。 浏览器端第一次HTTP请求服务器端时，在服务器端使用session这种技术，就可以在服务器端产生一个随机值即SessionID发给浏览器端，浏览器端收到后会保持这个SessionID在Cookie当中，这个Cookie值一般不能持久存储，浏览器关闭就消失。浏览器在每一次提交HTTP请求的时候会把这个SessionID传给服务器端，服务器端就可以通过比对知道是谁了 Session通常会保存在服务器端内存中，如果没有持久化，则易丢失，为了速度，用了字典的技术 Session会定时过期。过期后浏览器如果再访问

一、背景 早期的网站，将静态文件(图片等)直接存放在项目文件夹内，优点(简单方便快捷)，缺点(耦合度高，静态文件访问占用资源多)； 后来将静态文件分离存储在一个单独的文件服务器上，优点(解耦，降低网站服务器压力，便于扩容、备份、负载均衡等)，缺点(垂直扩展性、容灾差，单机性能瓶颈)； 分布式文件存储系统，分为三部分，文件存储系统(保存文件)、文件容灾系统(相互备份)、文件访问调度仲裁系统(调配资源，决定存储位置)，优点(极大扩展能力，高可用性，弹性存储)，缺点(系统复杂度高，需要更多硬件资源)。 二、FDFS简介 FastDFS是一个开源的轻量级分布式文件系统，它解决了大数据量存储和负载均衡等问题，特别适合以中小文件（建议范围：4KB-500MB）为载体的在线服务，使用纯C实现。 优势：适合通用分布式，fastDFS非常适合存储图片等那些小文件，fastDFS不对文件进行分块，所以它就没有分块合并的开销，fastDFS网络通信采用socket，通信速度很快。 FastDFS分为三个部分： 1. tracker server(追踪/调度服务器) 主要做调度工作，起负载均衡的作用，在内存中记录集群中所有存储组和存储服务器的状态信息，是客户端和数据服务器交互的枢纽，且Tracker是FastDFS的协调者，负责管理所有的storage server和group

上篇《 Eureka的微服务之间调用 》我们使用到Ribbon，但是因为得微服务只有一个提供者和一个消费者，所以，要想了解Ribbon是如何实现负载均衡得，我们需要再增加一个提供者。接下来，让我们来试试。 Ribbon实现负载均衡 Ribbon是Netflix发布得负载均衡器。它有助于控制HTTP和TCP客户端的行为。Ribbon流程：Ribbon配置服务提供者地址后，当消费者进行请求的时候(请求的地址一般为服务名)，Ribbon会根据该服务名匹配提供者的地址，基于某种负载均衡的算法，自动的帮助消费者请求提供者服务。 准备两个提供者，一个消费者。上篇中的一个提供者复制出来一份，更改下端口，服务名不更改。其他一模一样。为了方便测试，我们再消费者服务增加一个接口，具体如下： @RestController @RequestMapping("consume") public class ConsumerController { @Autowired private RestTemplate restTemplate; @Autowired private LoadBalancerClient loadBalancerClient; @PostMapping("api") public String getPrice() { return restTemplate

Ribbon开源地址： https://github.com/Netflix/ribbon/wiki/Getting-Started 1.Ribbon简介 　负载均衡框架，支持可插拔式的负载均衡规则 　支持多种协议，如HTTP, UDP等 　提供负载均衡客户端 2.Ribbon 负载均衡器组件 　一个负载均衡器，至少要提供一下功能： 　　 要维护各个服务器的IP等信息 　　 根据特定的逻辑选取服务器 　为了实现基本的负载均衡功能，Ribbon的负载均衡器有三大子模块 　　1.Rule 　　2.Ping 　　3.ServerList 3. 编写ribbon 接口服务 ribbon-server-test （1）导入jar包 <parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-parent</artifactId> <version>2.0.2.RELEASE</version> </parent> <dependencies> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> </dependency> <

CDN是什么？ CDN的全称是Content Delivery Network，即内容分发网络。其基本思路是尽可能避开互联网上有可能影响数据传输速度和稳定性的瓶颈和环节，使内容传输的更快、更稳定。通过在网络各处放置节点服务器所构成的在现有的互联网基础之上的一层智能虚拟网络，CDN系统能够实时地根据网络流量和各节点的连接、负载状况以及到用户的距离和响应时间等综合信息将用户的请求重新导向离用户最近的服务节点上。其目的是使用户可就近取得所需内容，解决 Internet网络拥挤的状况，提高用户访问网站的响应速度。 CDN的关键技术主要有内容存储和分发技术。 ，内容分发网络(CDN)是一个经策略性部署的整体系统，包括分布式存储、负载均衡、网络请求的重定向和内容管理4个要件，而内容管理和全局的网络流量管理(Traffic Management)是CDN的核心所在。通过用户就近性和服务器负载的判断，CDN确保内容以一种极为高效的方式为用户的请求提供服务。 内容服务基于缓存服务器，也称作代理缓存(Surrogate)，它位于网络的边缘，距用户仅有"一跳"(Single Hop)之遥。同时，代理缓存是内容提供商源服务器（通常位于CDN服务提供商的数据中心）的一个透明镜像。这样的架构使得CDN服务提供商能够代表他们客户，即内容供应商，向最终用户提供尽可能好的体验

负载均衡的几种常用方案 总结下负载均衡的常用方案及适用场景； Round Robin 轮询调度 以轮询的方式依次请求调度不同的服务器； 实现时，一般为服务器带上权重；这样有两个好处： 针对服务器的性能差异可分配不同的负载； 当需要将某个结点剔除时，只需要将其权重设置为0即可； 优点：实现简单、高效；易水平扩展； 缺点：请求到目的结点的不确定，造成其无法适用于有写的场景（缓存，数据库写） 应用场景：数据库或应用服务层中只有读的场景； 随机方式 请求随机分布到各个结点；在数据足够大的场景能达到一个均衡分布； 优点：实现简单、易水平扩展； 缺点：同Round Robin，无法用于有写的场景； 应用场景：数据库负载均衡，也是只有读的场景； 哈希方式 根据key来计算需要落在的结点上，可以保证一个同一个键一定落在相同的服务器上； 优点：相同key一定落在同一个结点上，这样就可用于有写有读的缓存场景； 缺点：在某个结点故障后，会导致哈希键重新分布，造成命中率大幅度下降； 解决：一致性哈希 or 使用keepalived保证任何一个结点的高可用性，故障后会有其它结点顶上来； 应用场景：缓存，有读有写； 一致性哈希 在服务器一个结点出现故障时，受影响的只有这个结点上的key，最大程度的保证命中率； 如twemproxy中的ketama方案； 生产实现中还可以规划指定子key哈希

负载均衡是用于解决一台机器(一个进程)无法解决所有请求而产生的一种算法。Load balancing Sink Processor 能够实现 load balance 功能，如下图Agent1 是一个路由节点，负责将 Channel 暂存的 Event 均衡到对应的多个 Sink组件上，而每个 Sink 组件分别连接到一个独立的 Agent 上，示例配置，如下所示： 在此处我们通过三台机器来进行模拟flume的负载均衡 三台机器规划如下： node01：采集数据，发送到node02和node03机器上去 node02：接收node01的部分数据 node03：接收node01的部分数据 第一步 ： 开发 node01 服务器 的 flume 配置 node01服务器配置： cd /export/servers/apache-flume-1.6.0-cdh5.14.0-bin/conf vim load_banlancer_client.conf #agent name a1.channels = c1 a1.sources = r1 a1.sinks = k1 k2 #set gruop a1.sinkgroups = g1 #set sink group a1.sinkgroups.g1.sinks = k1 k2 #set sources a1.sources.r1.type

原文链接: https://blog.csdn.net/weixin_40470303/article/details/80541639 一、LVS简介 LVS（Linux Virtual Server）即Linux虚拟服务器，是由章文嵩博士主导的开源负载均衡项目，目前LVS已经被集成到Linux内核模块中。该项目在Linux内核中实现了基于IP的数据请求负载均衡调度方案，其体系结构如图1所示，终端互联网用户从外部访问公司的外部负载均衡服务器，终端用户的Web请求会发送给LVS调度器，调度器根据自己预设的算法决定将该请求发送给后端的某台Web服务器，比如，轮询算法可以将外部的请求平均分发给后端的所有服务器，终端用户访问LVS调度器虽然会被转发到后端真实的服务器，但如果真实服务器连接的是相同的存储，提供的服务也是相同的服务，最终用户不管是访问哪台真实服务器，得到的服务内容都是一样的，整个集群对用户而言都是透明的。最后根据LVS工作模式的不同，真实服务器会选择不同的方式将用户需要的数据发送到终端用户，LVS工作模式分为NAT模式、TUN模式、以及DR模式。 二、三种工作模式的解析。 1、基于NAT的LVS模式负载均衡 NAT（Network Address Translation）即网络地址转换，其作用是通过数据报头的修改，使得位于企业内部的私有IP地址可以访问外网