网络负载均衡

1 前言 在应用程序中，应用配置连接的数据库IP地址和端口号都是固定一个的，当所属IP地址的服务器宕机后，需要人为手工更改IP地址切换数据库服务器。同时当应用接收到成千上万的并发 http 请求时，会导致服务器消耗大量系统资源，轻则响应速度降低，严重的甚至会引发宕机。 为了充分合理的利用服务器资源，提高数据服务的性能和稳定性，在较低成本的前提下，保证在部分服务器宕机或发生故障的情况下不影响业务的正常运作。本文主要介绍 Nginx+Keepalived 连接 SequoiaDB -MySQL 实例的高可用方案与实践。 2 SequoiaDB 数据库介绍 SequoiaDB 巨杉数据库是一款完全自研的金融级分布式数据库产品，采用计算与存储分离架构，由数据库实例层和数据库存储引擎层组成。数据库实例层负责解析请求并转发至数据库存储引擎层处理，同时会将数据库存储引擎层的响应结果反馈给应用层，数据库实例层支持包括针对结构化数据的 MySQL 实例、PostgreSQL 实例、SparkSQL 实例，以及针对非结构化数据的 S3 和 PosixFS 文件系统的对象存储实例实例，而数据库存储引擎层是由 SequoiaDB 巨杉数据库的协调节点、编目节点和数据节点组成。该数据库集群架构能方便用户实现由传统数据库到巨杉数据库的无缝迁移，减少应用开发者的开发和学习成本。 2.1 SequoiaDB

云从龙，凤从虎！ 天下英雄出我辈！ 阿里云网络产品作为阿里云核心技术团队，自研洛神云网络平台，提供连接全球、超大规 模、弹性开放的一站式虚拟化网络服务，虚拟专有网络（VPC）、软件定义网络（SDN） 控制器、服务器负载均衡（SLB）等多项网络产品及技术，久经打磨，稳如磐石，卓尔不 群，为用户提供如丝般顺滑的网络体验。 详情：参看附件海报 面向人群：2021届海内外院校应届毕业生 投入入口：tom.tl@alibaba-inc.com（注明申请岗位） 或者，扫描附件海报二维码投递 来源： https://www.cnblogs.com/tla001/p/12536433.html

作者 | 何淋波、李鹏、陈俊、高相林、孙健波 业界要闻 CNCF 宣布 2020 年中国 KubeCon 取消 由于新冠疫情影响，外国企业、开发者到访中国存在不确定性，加上召集演讲人、赞助商及参会者所遇到的困难， CNCF 宣布原定于 2020 年 7 月在上海举办的 KubeCon + CloudNativeCon + 开源峰会取消。 同时，原计划于 3 月 30 日 - 4 月 2 日在荷兰阿姆斯特丹举办的 KubeCon + CloudNativeCon 峰会欧洲场也因疫情影响，被推迟到 2020 年 7 月或 8 月举行。而 KubeCon + CloudNativeCon North America 2020 则将按计划在 2020 年 11 月 17 日至 20 日在波士顿举行。 Kubeflow 1.0 发布 可以基于 Kubernetes 高效地构建、训练和部署AI应用。此次发布中包括的核心组件如下: Jupyter Notebook controller: 用户可以方便使用 Jupyter Notebook 开发工具来开发新的机器学习模型； TFJob and PyTorch Operator：用于模型训练； kfctl：用于部署和管理 Kubeflow； KFServing：机器学习模型的部署和管理； Kubeflow UI：集中仪表板。 阿里云 ACK 1

Enhanced Interior Gateway Routing Protoco，即 增强内部网关路由线路协议。EIGRP结合了链路状态和距离矢量型路由选择协议的Cisco专用协议，采用弥散修正算法（DUAL）来实现快速收敛，可以不发送定期的路由更新信息以减少带宽的占用。EIGRP协议在路由计算中要对网络带宽、网络时延、信道占用率和信道可信度等因素作全面的综合考虑，所以EIGRP的路由计算更为准确，更能反映网络的实际情况。 EIGRP特点： 1.EIGRP更新方式为 触发更新 ，仅在路由路径或者度量值发生变化时才发送。 更新中只包含已变化的链路的信息 ，而不是整个路由表，减少带宽占用； 2.支持可变长子网掩码（VLSM）和CIDR，支持手动汇总，默认开启自动汇总功能。 3. 对每一种网络协议，EIGRP都维持独立的邻居表、拓扑表（保存最优路径与次优路径）和路由表（保存最优路由条目信息）。 4.EIGRP使用Diffusing Update算法（DUAL）来实现快速收敛并确保没有路由环路。（无环路的无类路由） 5.支持等价和非等价的负载均衡（非等价的负载均衡需要手动开启）。 EIGRP中几个专业术语; AD(通告距离)：最优路径中，起始设备的下一跳设备到达目标地址的度量值。 FD(可行距离)：最优路径中，起始设备到达目标地址的度量值。 FS(可行后继路由器)

摘自： https://www.cnblogs.com/yangyuanhu/p/12439106.html Dubbo是一款高性能、轻量级的开源Java RPC框架，它提供了三大核心能力：面向接口的远程方法调用，智能容错和负载均衡，以及服务自动注册和发现。 2 | 0 什么是RPC RPC全称(Remote Procedure Call)远程过程调用 过程指的是某个代码片段的执行,远程调用则意味着我们可以在其他进程,甚至其他机器上去调用这段代码,当然也能获取到其执行后的返回值,按照这个定义,我们请求某个http地址得到相应数据其实也算一次RPC,但是这样的方式太过麻烦,(数据要先打包成http请求格式,在调用相关的请求库,拿到的结果也是文本格式的需要在进行转换),执行效率,和开发效率相比RPC则低一些; 我们需要一种更简单的方式来完成分布式开发中的RPC环节,这也是Dubbo的核心所在,有多简单呢? 调用远程服务器上的某个服务时就像是调用本地的某个方法一样简单,就像下面这样 2 | 1 为什么需要rpc RPC是用来实现分布式构架的基石,分布式构架将同一个系统中的不同模块拆分到不同的子系统中,而子系统又分布在不同的服务器上,这时就需要RPC在来完成子系统之间的相互访问; 可以这么说分布式少不了RPC,RPC也要在分布式系统中才能发挥其核心价值; 2 | 2 rpc的实现原理

Libnetwork Libnetwork最初是由libcontainer和Docker Engine中的网络相关的代码合并而成的，是Docker容器网络库，最核心的内容是其定义的Container Network Model（CNM）。 Libnetwork CNM 定义了Docker容器的网络模型，按照该模型开发出的driver就能与docker daemon协同工作，实现容器网络。docker 原生的driver包括 none、bridge、overlay和macvlan，第三方driver包括flannel、weave、calico等。 CNM CNM定义了如下三个组件： Sandbox Sandbox是Docker容器中一个网络配置的隔离环境，包含容器的interface、路由表和DNS设置。Linux Network Namespace是Sandbox的标准实现。Sandbox可以包含来自不同 Network的Endpoint。 Endpoint Endpoint是一个在Network中进行网络通讯的接口（veth pair），用于将Sandbox接入Network。一个Endpoint只能属于一个Network，也只能属于一个Sandbox Endpoint可以加入一个network，但多个Endpoint可以在一个Sandbox中共存。 Network

前言 　　使用集群是大中型网站解决高并发、海量数据问题的常用手段。当一台服务器的处理能力、存储空间不足时，不要企图去换更强大的服务器，对大型网站而言，不管多么强大的服务器，都满足不了网站持续增长的业务需求和用户量。这种情况下，更恰当的做法是增加一台或多台服务器去分担原有服务器的访问及存储压力。通过 负载均衡调度服务器，将来自浏览器的访问请求分发到应用服务器集群中的任何一台服务器上 ，如果有更多的用户，就在集群中加入更多的应用服务器，使应用服务器的负载压力不再成为整个网站的瓶颈。 环境准备 　　192.168.0.221：nginx + keepalived master (主) 　　192.168.0.222：nginx + keepalived backup slave (从) 　　192.168.0.223：tomcat 　　192.168.0.224：tomcat 　　虚拟ip(VIP):192.168.0.200，对外提供服务的ip，也可称作浮动ip 　　各个组件之间的关系图如下： Tomcat做应用服务器 　　 tomcat 的安装不在本博客范围之内，具体例子网上很多在此就不讲解， tomcat 的 webapps 下记得放自己的应用，我的是 myWeb ，如果大家也用我的 myWeb ，那么index.jsp中的ip需要换成自己的 　　将192.168.0.223

Nginx是通过配置文件来做到各个功能的实现的。Nginx的配置文件的格式非常合乎逻辑，学习这种格式以及如何使用这种每个部分是基础，这将帮助我们有可能手工创建一个配置文件。 其整体结构如下： 从图中我们可以看出主要包含以下几大部分内容： main（全局设置） ：设置的指令将影响其他所有设置； server（主机设置） ：指令主要用于指定主机和端口、 upstream（负载均衡服务器设置） ：指令主要用于负载均衡，设置一系列的后端服务器 location（URL匹配特定位置的设置） ：用于匹配网页位置。 这四者之间的关系式：server继承main，location继承server，upstream既不会继承其他设置也不会被继承。在这四个部分当中，每个部分都包含若干指令，这些指令主要包含Nginx的主模块指令、事件模块指令、HTTP核心模块指令，同时每个部分还可以使用其他HTTP模块指令，例如Http SSL模块、HttpGzip Static模块和Http Addition模块等。 ######Nginx配置文件nginx.conf中文详解##### #定义Nginx运行的用户和用户组 user www www; #nginx进程数，建议设置为等于CPU总核心数。 worker_processes 8; #全局错误日志定义类型，[ debug | info | notice |

企业级负载均衡集群LVS—四种模式的工作原理 1. DR模式 2. TUN模式 3. NAT模式 4. full-nat模式 1. DR模式 Virtual Server via Direct Routing(VS-DR):用直接路由技术实现虚拟服务器｡当参与集群的计算机和作为控制管理的计算机在同一个网段时可以用此方法,控制管理的计算机接收到请求包时直接送到参与集群的节点｡直接路由模式比较特别，很难说和什么方面相似，前种模式基本上都是工作在网络层上（三层），而直接路由模式则应该是工作在数据链路层上（二层）。 工作原理 ： 如上图所示，Director和REAL SERVER都配置同一个IP（VIP），Director将该IP配置到对外的网卡上，Real server将该IP配置到lo网卡上。配置arp_ignore为1（目的是让数据包发出apr请求时，只有Director会响应该arp请求），所有REAL SERVER对本身这个IP的ARP请求保持静默。而Director收到数据包后根据调度算法，找出对应的 REAL SERVER，把目的MAC地址改为REAL SERVER的MAC并发给这台REAL SERVER。这时REAL SERVER通过网卡eth0收到这个数据包，由于Real Server上的lo网卡配置的也有VIP,所以RS接收该数据包。处理后直接返回给客户端

01 网络通信传输 应用层7 nginx 软件 表示层6 会话层5 传输曾4 lvs 内核 网络层3 链路层2 物理层1 整个互联网建立在下一跳的模式下 –IP是逻辑上的两个端点 –MAC是物理上连接的两个节点 端点间TCP传输过程中 –确认机制 –状态机制 –不可分割 解析数据包需要成本 –交换机：二层，只关心MAC地址 –路由器：三层，只关心IP和路由表 –LVS服务器：四层，只关心PORT，状态 –nginx：七层，关心socket对应关系 02 负载均衡 LVS –DR –客户端发送对VIP的请求 –lvs负载到后端某一台server –后端server处理后，直接封包回送客户 源IP地址一定是lvs上面陪的那个公网服务地址 也就后端server要配置这个ip 后端server收到的数据包是lvs没有变动过的（IP：vip） 目标ip一定是自己持有的 so：多个server，接入互联网的server持有相同的IP，是不对的 –必须将后端server中的vip隐藏起来（对外隐藏） LVS DR VIP: 虚拟服务器地址 DIP: 转发的网络地址 2.1 –1 ，和RIP通信：ARP协议，获取Real Server的RIP：MAC地址 2.2 –2 ，转发Client的数据包到RIP上（隐藏的VIP） RIP: 后端真实主机(后端服务器) CIP: 客户端IP地址 2.1 四层