负载均衡

a 安装 [root@localhost ~]# yum -y install gcc automake autoconf libtool make yum install gcc gcc-c++ 安装pcre cd /usr/local/src wget https://netix.dl.sourceforge.net/project/pcre/pcre/8.40/pcre-8.40.tar.gz tar -zxvf pcre-8.40.tar.gz cd pcre-8.40 ./configure make && make install 安装zlib cd /usr/local/src wget http://zlib.net/zlib-1.2.11.tar.gz wget http://www.zlib.net/zlib-1.2.11.tar.gz tar -zxvf zlib-1.2.11.tar.gz cd zlib-1.2.11 ./configure make && make install yum install -y zlib zlib-devel 安装openssl cd /user/local/scr wget https://www.openssl.org/source/openssl-1.0.1t.tar.gz tar -zxvf openssl-1.0

Netfilx Ribbon核心接口 　　实际请求客户端 　　　　LoadBalancerClient 　　　　　　RibbonLoadBalancerClient 　　负载均衡上下文 　　　　LoadBalanceContext 　　　　　　RibbonLoadBalanceContext 　　负载均衡器 　　　　lLoadBalancer　　 　　　　　　BaseLoadBalancer　　 　　　　　　DynamicServerListLoadBalancer 　　　　　　ZoneAwareLoadBalancer 　　　　　　NoOpLoadBalancer 　　规则接口 　　　　IRule 　　　　　　随机规则 : RandomRule 　　　　　　最可用规则 : BestAvailableRule 　　　　　　轮循规则 : RoundRobinRule 　　　　　　重试实现 : RetryRule 　　　　　　客户端配置: ClientConfigEnabledRoundRobinRule 　　　　　　可过滤性规则 : AvailabilityFilteringRule 　　　　　　RT权重规则:WeightedResponseTimeRule 　　　　　　规避区域规则:ZoneAvoidanceRule 　　PING策略 查看的机器是活着 　　　

第一.一个Http请求的整个流程 1.1概述 那么在分布式架构中，有一个很重要的环节，就是分布式网络中的计算机节点彼此之间需要通信。用浏览器访问各种网站，作为用户来说，只需要需要输入一个网址并且正确跳 转就行。但是作为程序员，看到的可能就是这个响应背后的整体流程。 1.2域名解析的DNS服务 首先，用户访问一个域名，会经过 DNS 解析DNS(Domain Name System)，它和 HTTP 协议一样是位于应用层的协议，主要提供域名到 IP 的解析服务。我们其实不用域名也可以访问目标主机的服务，但是 IP 本身不是那么容易记，所以使用域名进行替换使得用户更容易记住。 1.3Http协议通信原理 http 协议的通信是基于 tcp/ip 协议之上的一个应用层协议，应用层协议除了 http 还有哪些呢（FTP、DNS、SMTP、Telnet 等）。 涉及到网络协议，OSI 七层网络模型和 TCP/IP 四层概念模型，OSI 七层网络模型包含（应用层、表示层、会话层、传输层、网络层、数据链路层、物理层）、TCP/IP 四 层概念模型包含（应用层、传输层、网络层、数据链路层）。 请求发起过程，在 tcp/ip 四层网络模型中所做的事情 当应用程序用 T C P 传送数据时，数据被送入协议栈中，然后逐个通过每一层直到被当作一串比特流送入网络。其中每一层对收到的数据都要增加一些首部信息

ipvsadm是在负载调度器上使用的LVS集群管理工具，通过调用ip_vs模块来添加、删除服务器节点，以及查看集群的运行。 LVS 集群的管理工作主要包括：1.创建虚拟服务器、添加服务器节点、查看集群节点状态、删除服务器节点、保存负载分配策略。 实验步骤 这里我们用三台服务器和一台window测试机来进行实验 第一台机器充当负载调度器，需要两块网卡，分别模拟内网和外网 1.安装管理工具 yum -y install ipvsadm 2.查看管理工具 rpm - q ipvsadm 3.查看工具版本信息 ipvsadm -v 4关闭防火墙和安全机制 systemctl stop firewalld iptables -F setenforce 0 5.配置网卡 vim /etc/sysconfig/network-scripts/ifcfg-eno16777728（处于NAT网段） vim /etc/sysconfig/network-scripts/ifcfg-eno33554968（处于VMNAT2网段） 6.重启配置服务 systemctl restart network 7.编辑配置文件，开启永久路由转发功能 vim /etc/sysctl.conf net.ipv4.ip_forward=1 将变量值更改为1 8.重新加载配置项使其生效 sy sctl -p

负载均衡 （Load Balance），其意思就是将负载（工作任务）进行平衡、分摊到多个操作单元上进行执行。需要我们注意的是：它并不属于网络基础架构，而是属于一种网络优化设备。它是建立在现有的网络基础架构之上，给企业提供了更廉价更有效的扩展选择。 相对来说，对于一些网站和一些网络应用而言，需不需要负载均衡，要看网站的访问量是不是增长的很快，单个处理单元无法满足负载需求时，网络应用流量将要出现瓶颈时，负载均衡才会起到作用。 当需要负载均衡来进行网络优化时，挑选一款适合自己企业的负载均衡产品就显得尤为重要了。这里我们从软件和硬件两个角度，来简单介绍一下负载均衡的一些产品。 硬件负载均衡 硬件负载均衡在国外比较流行。硬件负载均衡解决方案是直接在服务器和外部网络间安装负载均衡设备，这种设备我们通常称之为负载均衡器，由于专门的设 备完成专门的任务，独立于操作系统，整体性能得到大量提高，加上多样化的负载均衡策略，智能化的流量管理，可达到最佳的负载均衡需求。 下面就来了解一下市场中，比较主流的几类产品。 ◆F5 BIG-IP负载均衡器（LTM） BIG-IP系列产品受到了用户的广泛认可，使用的人也很多。它的强大之处是基于简单的Web管理界面，包括其他F5设备也是如此。同时，这个负载 均衡器还可以处理SSL证书。F5的主要特点之一是其广域网优化管理器，具备高可用的加密通道，同时具有广域网传输速度

1,话不多说, 这里我们来说下很重要的负载均衡, 那么什么是负载均衡呢? 由于目前现有网络的各个核心部分随着业务量的提高，访问量和数据流量的快速增长，其处理能力和计算强度也相应地增大，使得单一的服务器设备根本无法承担。 在此情况下，如果扔掉现有设备去做大量的硬件升级，这样将造成现有资源的浪费，而且如果再面临下一次业务量的提升时， 这又将导致再一次硬件升级的高额成本投入，甚至性能再卓越的设备也不能满足当前业务量增长的需求。 针对此情况而衍生出来的一种廉价有效透明的方法以 扩展现有网络设备和服务器的带宽、增加吞吐量、加强网络数据处理能力、提高网络的灵活性和可用性的技术 就是 负载均衡（Load Balance）。 2, 负载均衡的种类 1）一种是通过硬件来进行解决，常见的硬件有 NetScaler、F5、Radware和Array 等商用的负载均衡器，但是它们是比较昂贵的 2）一种是通过软件来进行解决的，常见的软件有 LVS、 Nginx 、apache 等,它们是基于Linux系统并且开源的负载均衡策略. 3, 这里我们只来说Nginx(其他的大家有兴趣可以自行查阅相关文档) Nginx（发音同 engine x）是一款轻量级的Web 服务器/反向代理服务器及电子邮件（IMAP/POP3）代理服务器，并在一个BSD-like 协议下发行。 由俄罗斯的程序设计师Igor Sysoev

如果一个集群资源不够用需要扩展的时候怎么办，那么是可以不关机动态扩展的，具体操作如下： 已有集群: 192.168.111.11 lyy1 ---master节点 192.168.111.12 lyy2 192.168.111.13 lyy3 192.168.111.14 lyy4 新增： 192.168.111.15 lyy5 192.168.111.16 lyy6 开始： 1.从lyy1节点克隆出两台虚拟机，保证所有配置和软件一样，然后修改ip和hostname （本集群是基于proxmox的虚拟集群，可以很方便的复制、开关虚拟机等，如果是物理集群可以把master节点镜像拷贝给新节点） vim /etc/network/interfaces vim /etc/hostname 2.修改vim /etc/hosts，加入ip映射。使用批处理命令并同步到所有机器 for i in $(seq 1 6); do echo lyy$i; scp /etc/hosts root@lyy$i:/etc/;done 同时还要修改hadoop的workers，spark的slaves，hbase的regionservers，增加主机名 for i in $(seq 1 6); do echo lyy$i; scp /opt/hadoop-3.0.0/etc/hadoop/workers

[root@localhost ~]# systemctl stop firewalld [root@localhost ~]# iptables -F [root@localhost ~]# setenforce 0 安装两个Tomcat与一个Nginx 一：安装配置Tomcat 方法一 [root@localhost ~]# which java //查看旧版本JAVA路径 /usr/bin/java [root@localhost ~]# rm -rf /usr/bin/java //卸载掉旧JAVA版本 方法二 [root@localhost ~]# rpm -qa | grep -i openjdk //查看自己安装JDK的版本信息 java-1.7.0-openjdk-1.7.0.171-2.6.13.2.el7.x86_64 java-1.7.0-openjdk-headless-1.7.0.171-2.6.13.2.el7.x86_64 java-1.8.0-openjdk-1.8.0.161-2.b14.el7.x86_64 java-1.8.0-openjdk-headless-1.8.0.161-2.b14.el7.x86_64 #卸载相关的JDK软件 [root@localhost ~]# rpm -e java-1.7.0-openjdk [root

Nginx负载均衡概述 Web服务器，直接面向用户，往往要承载大量并发请求，单台服务器难以负荷，我使用多台WEB服务器组成集群，前端使用Nginx负载均衡，将请求分散的打到我们的后端服务器集群中， 实现负载的分发。那么会大大提升系统的吞吐率、请求性能、高容灾 Nginx要实现负载均衡需要用到proxy_pass代理模块配置 Nginx负载均衡与Nginx代理不同地方在于 Nginx代理仅代理一台服务器，而Nginx负载均衡则是将客户端请求代理转发至一组upstream虚拟服务池 Nginx可以配置代理多台服务器，当一台服务器宕机之后，仍能保持系统可用。 upstream配置 在nginx.conf > http 区域中 upstream django { server 10.0.0.10:8000; server 10.0.0.11:9000; } 在nginx.conf > http 区域 > server区域 > location配置中 添加proxy_pass location / { root html; index index.html index.htm; proxy_pass http://django; } 此时初步负载均衡已经完成，upstream默认按照轮训方式负载，每个请求按时间顺序逐一分配到后端节点。 upstream分配策略 weight 权重

本文主要分析网站后台架构中的负载均衡器，企业常用的硬件负载均衡器软件负载均衡器、数据库代理服务器和数据库。 1.1 负载均衡 在大型网站部署中，负载均衡至少有三层部署。第一层为web server或者缓存代理之上的负载均衡，第二层为数据库之上的负载均衡，第三层为存储设备之上的负载均衡。 在第一层部署中，最常使用的是硬件负载均衡器有F5 BIG-IP、Citrix NetScaler、Radware、Cisco CSS、Foundry等产品。这些产品价格不菲，高达几十万人民币。在中国大陆，采用F5Network公司的BIG-IP负载均衡交换机的网站有新浪网、雅虎、百度、搜狐、凤凰网、央视国际、中华英才网、猫扑、畅游等。之前淘宝采用 NetScaler作为其硬件负载均衡器。后来用软件负载均衡器LVS和HAproxy混合使用来代替硬件负载均衡器。硬件负载均衡器可以提供OSI参考模型的第四/七层进行负载均衡。在第七层实现负载均衡的原理是，通过检查流经的HTTP报头，根据报头内的信息来执行负载均衡任务。在第四层(网络层)实现负载均衡的DR模式的原理是，通过更改请求包的目的MAC地址来进行负载均衡。 在第一层部署中，最常用的软件负载均衡器为LVS(LinuxVirtual Server)和HAproxy。其中LVS采用基于IP负载均衡技术和基于内容请求分发技术