负载均衡

本文力图阐述在 Ubuntu Server 环境下使用 Keepalived + Nginx + Tomcat 搭建高可用负载均衡环境的操作步骤和简约配置，这里不涉及性能调优。先说一下他们各自扮演的角色： Tomcat - 应用服务器 Nginx - 反向代理服务器，作为负载均衡器 Keepalived - 用以检测 Nginx 状态，保证高可用 整个环境都在Virtual Box中的虚拟机上完成，以下是要完成此环境需要的软件： Oracle VM Virtual Box 4.3 Ubuntu Server 14.04 Jdk_1.7.0_60 tomcat-7.0.54 nginx/1.7,1 Keepalived v1.2.7 以下是总体的节点规划，5个节点，IP分配如下： 192.168.1.50 - tomcat 节点，端口 8080 192.168.1.51 - tomcat 节点，端口 8080 192.168.1.52 - tomcat 节点，端口 8080 192.168.1.40 - nginx 节点， 端口 80 ，主节点 192.168.1.41 - nginx 节点， 端口 80 ，备份节点 192.168.1.44 - 虚拟IP 安装 Virtual box 和 Ubuntu Server 分别到 Oracle 官网和 Ubuntu 官网下载相应的版本

Nginx的产生 没有听过Nginx？那么一定听过它的"同行"Apache吧！Nginx同Apache一样都是一种WEB服务器。基于REST架构风格，以统一资源描述符(Uniform Resources Identifier)URI或者统一资源定位符(Uniform Resources Locator)URL作为沟通依据，通过HTTP协议提供各种网络服务。 然而，这些服务器在设计之初受到当时环境的局限，例如当时的用户规模，网络带宽，产品特点等局限并且各自的定位和发展都不尽相同。这也使得各个WEB服务器有着各自鲜明的特点。 Apache的发展时期很长，而且是毫无争议的世界第一大服务器。它有着很多优点：稳定、开源、跨平台等等。它出现的时间太长了，它兴起的年代，互联网产业远远比不上现在。所以它被设计为一个重量级的。它不支持高并发的服务器。在Apache上运行数以万计的并发访问，会导致服务器消耗大量内存。操作系统对其进行进程或线程间的切换也消耗了大量的CPU资源，导致HTTP请求的平均响应速度降低。 这些都决定了Apache不可能成为高性能WEB服务器，轻量级高并发服务器Nginx就应运而生了。 俄罗斯的工程师Igor Sysoev，他在为Rambler Media工作期间，使用C语言开发了Nginx。Nginx作为WEB服务器一直为Rambler Media提供出色而又稳定的服务。

为什么需要Zookeeper Zookeeper是一个典型的分布式数据一致性的解决方案， 分布式应用程序可以基于它实现诸如 数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master选举、分布式锁和分布式队列 等功能。 在解决分布式数据一致性上，Zookeeper已经成为了目前唯一一个比较成熟的方案。 Zookeeper致力于提供一个高性能、高可用，且具有严格的顺序访问控制能力的分布式协调服务。 设计目标 简单的数据结构 冗余，可以构建集群 有序访问 高性能 系统角色 Zookeeper没有沿用传统的Master/Slave模式，使用了Leader、Follwer、Obserfver三种角色。 Zookeeper Atomic Broadcast Zookeeper原子消息广播协议 ZAB的核心定义了那些会改变Zookeeper服务器数据状态的事务请求的处理方式： 所有事务请求必须由一个全局唯一的服务器来协调处理，这样的服务器被称为Leader服务器，而余下的其他服务器则成为Follower服务器。 Leader将一个服务请求转换成一个Proposal，然后将这个Proposal分发给集群中其他的Follwer，然后等待Follower处理Proposal的反馈，当超过一定比例的Follower服务器发出正确的反馈后，Leader会发出Commit消息

很多时间我们肯定希望数据库的读写与程序是分离，这样可以提高业务量同时提高服务器性能，下面我来以SQL Server 2005为实例来介绍数据库读写分离方法，大家可参考。 下面我们重点介绍Sql Server 2005是如何实现负载均衡的。 Sql Server 2005的新特性 SQL Server 2005对端到端(P2P)拓扑结构上事务性的复制加强了支持。P2P的拓扑结构支持无限的发布服务器，它们彼此之间可以互相交换事务。 P2P拓扑是SQL Server的一个巨大进步。现在，多端点服务器可以更改数据，并且向其他的发布者复制事务。这就是说，订阅服务器不再被限制在主要的报告环境中，可以通过事务性负载全球共享的方式将服务器分布开来。当用户的数量增加的时候，只要简单地向这个群体中添加服务器即可。 除了将负载分布之外，这个拓扑结构还增加了可用性。如果任何一个点的服务器不可达，则池中其他服务器就会共享这个负载，因为每个服务器都有其他所有服务器上可获得的全部数据集合。 数据库 镜像和快照 SQL Server 2005引入了 数据库 镜像的概念，来帮助获得高可用性。特别提醒的是，只要它正式发布了，数据库镜像就可以在SQL Server 2005上使用。然而，只有到SQL Server 2005 Service Pack 1才会支持镜像。 数据库快照是SQL Server

nginx进程模型 在工作方式上，Nginx分为单工作进程和多工作进程两种模式。在单工作进程模式下，除主进程外，还有一个工作进程，工作进程是单线程的；在多工作进程模式下，每个工作进程包含多个线程。Nginx默认为单工作进程模式。 Nginx在启动后，会有一个master进程和多个worker进程。 master进程 master进程充当整个进程组与用户的交互接口，同时对进程进行监护。它不需要处理网络事件，不负责业务的执行，只会通过管理worker进程来实现重启服务、平滑升级、更换日志文件、配置文件实时生效等功能。 worker进程 而基本的网络事件，则是放在worker进程中来处理了。worker进程的个数是可以设置的，一般我们会设置与机器cpu核数一致， 一个请求，只可能在一个worker进程中处理，一个worker进程，不可能处理其它进程的请求。 nginx能做什么 反向代理 正向代理 负载均衡 HTTP服务器(包含动静分离) 正向代理 说反向代理之前，我们先看看正向代理，正向代理也是大家最常接触的到的代理模式，我们会从两个方面来说关于正向代理的处理模式，分别从软件方面和生活方面来解释一下什么叫正向代理 在如今的网络环境下，我们如果由于技术需要要去访问国外的某些网站，此时你会发现位于国外的某网站我们通过浏览器是没有办法访问的，此时大家可能都会用一个操作FQ进行访问

nginx介绍 nginx是一款高性能的 http 和 反向代理 服务器，同时也是一款 imap/pop3/smtp 代理服务器。目前很多网站都采用nginx作为web服务器 nginx有很多优点，其最大的特色就是 反向代理 和 负载均衡 。要想知道反向代理，还要从 正向代理 说起。 正向代理 正向代理 ，也就是传说中的 代理 。它的工作原理就像一个跳板，简单的说，我是一个用户，我访问不了某网站，但是我能访问一个代理服务器，这个代理服务器呢，它能访问那个我不能访问的网站，于是我先连上代理服务器，告诉他我需要那个无法访问网站的内容，代理服务器去取回来，然后返回给我。从网站的角度，只在代理服务器来取内容的时候有一次记录，有时候并不知道是用户的请求，也就隐藏了用户的资料，这取决于代理告不告诉网站。 正向代理是一个位于客户端和原始服务器之间的服务器，为了从原始服务器取得内容， 客户端必须要进行一些特别的设置 。客户端向代理发送一个请求并指定目标(原始服务器)，然后代理向原始服务器转交请求并将获得的内容返回给客户端。 正向代理为在防火墙内的局域网客户端提供访问Internet的途径，正向代理允许客户端通过它访问任意网站并且隐藏客户端自身。 反向代理 反向代理 正好相反，对于客户端而言它就像是原始服务器，并且 客户端不需要进行任何特别的设置 。客户端向反向代理的命名空间中的内容发送普通请求

1. 用户向浏览器输入www.web.com这个域名，浏览器第一次发现本地没有dns缓存，则向网站的DNS服务器请求； 2.网站的DNS域名解析器设置了CNAME，指向了www.web.51cdn.com,请求指向了CDN网络中的 智能 DNS负载均衡系统； 3.智能DNS负载均衡系统解析域名，把对用户响应速度最快的IP节点返回给用户； 4.用户向该IP节点（CDN服务器）发出请求； 5.由于是第一次访问，CDN服务器会向原web站点请求，并缓存内容； 6.请求结果发给用户。 CDN网络是在用户和服务器之间增加Cache层，如何将用户的请求引导到Cache上获得源服务器的数据，主要是通过接管DNS实现，这就是CDN的最基本的原理，当然很多细节没有涉及到，比如第1步，首先向本地的DNS服务器请求。第5步，内容淘汰机制（根据TTL）等。但原理大体如此。 当用户访问加入CDN服务的网站时，域名解析请求将最终交给全局负载均衡DNS进行处理。全局负载均衡DNS通过一组预先定义好的策略，将当时最接近用 户的节点地址提供给用户，使用户能够得到快速的服务。同时，它还与分布在世界各地的所有CDNC节点保持通信，搜集各节点的通信状态，确保不将用户的请求 分配到不可用的CDN节点上，实际上是通过DNS做全局负载均衡。 对于普通的Internet用户来讲，每个CDN节点就相当于一个放置在它周围的WEB

What? 　　CDN的全称是Content Delivery Network，即内容分发网络。其基本思路是尽可能避开互联网上有可能影响数据传输速度和稳定性的瓶颈和环节，使内容传输的更快、更稳定。通过在网络各处放置节点服务器所构成的在现有的互联网基础之上的一层智能虚拟网络，CDN系统能够实时地根据网络流量和各节点的连接、负载状况以及到用户的距离和响应时间等综合信息将用户的请求重新导向离用户最近的服务节点上。其目的是使用户可就近取得所需内容，解决 Internet网络拥挤的状况，提高用户访问网站的响应速度。 CDN是构建在网络之上的内容分发网络，依靠部署在各地的边缘服务器，通过中心平台的负载均衡、内容分发、调度等功能模块，使用户就近获取所需内容，降低网络拥塞，提高用户访问响应速度和命中率。CDN的关键技术主要有内容存储和分发技术。 How? CDN的基本原理是广泛采用各种缓存服务器，将这些缓存服务器分布到用户访问相对集中的地区或网络中，在用户访问网站时，利用全局负载技术将用户的访问指向距离最近的工作正常的缓存服务器上，由缓存服务器直接响应用户请求。 内容分发网络 (CDN)是一种新型网络构建方式，它是为能在传统的IP网发布宽带丰富媒体而特别优化的网络覆盖层；而从广义的角度，CDN代表了一种基于质量与秩序的 网络服务 模式。 简单地说， 内容分发网络 (CDN

1. 用户向浏览器输入www.web.com这个域名，浏览器第一次发现本地没有dns缓存，则向网站的DNS服务器请求； 2.网站的DNS域名解析器设置了CNAME，指向了www.web.51cdn.com,请求指向了CDN网络中的智能DNS负载均衡系统； 3.智能DNS负载均衡系统解析域名，把对用户响应速度最快的IP节点返回给用户； 4.用户向该IP节点（CDN服务器）发出请求； 5.由于是第一次访问，CDN服务器会向原web站点请求，并缓存内容； 6.请求结果发给用户。 CDN网络是在用户和服务器之间增加Cache层，如何将用户的请求引导到Cache上获得源服务器的数据，主要是通过接管DNS实现，这就是CDN的最基本的原理，当然很多细节没有涉及到，比如第1步，首先向本地的DNS服务器请求。第5步，内容淘汰机制（根据TTL）等。但原理大体如此。 当用户访问加入CDN服务的网站时，域名解析请求将最终交给全局负载均衡DNS进行处理。全局负载均衡DNS通过一组预先定义好的策略，将当时最接近用 户的节点地址提供给用户，使用户能够得到快速的服务。同时，它还与分布在世界各地的所有CDNC节点保持通信，搜集各节点的通信状态，确保不将用户的请求 分配到不可用的CDN节点上，实际上是通过DNS做全局负载均衡。 对于普通的Internet用户来讲，每个CDN节点就相当于一个放置在它周围的WEB

上一节，我讲了哈希算法的四个应⽤，它们分别是：安全加密、数据校验、唯⼀标识、散列函数。今天，我们再来看剩余三种应用： 负载均衡、 数据分片、 分布式存储 你可能已经发现，这三个应用都跟分布式系统有关。没错，今天我就带你看下， 哈希算法是如何解决这些分布式问题的。 应用五：负载均衡 1、如何实现一个会话粘滞的负载均衡算法 2、维护映射关系表的弊端 3、借助哈希算法完美解决 应用六：数据分片 1、引子案列 2、难点处理方案 3、问题所在痛点 4、如何快读判断图片是否在图库中 1、对数据进行分片、然后采用多机处理 2、具体方法 3、需要多少台机器 1、散列表中的每个数据单元包含两个信息 2、使用MD5 3、一台机器可以存多少图片 4、如果对一亿张图片构建索引，需要大约十几台机器 5、实际上 应用七：唯一标识 1、分布式存储 2、扩容带来的问题及痛点 1、方法 2、扩容存在的问题 3、雪崩效应、压垮数据库 3、将那个数据放到那个机器上呢 1、所以我们需要一种方法 2、解决方案 3、一致性哈希算法 解答开篇 & 内容小结 1、解答开篇 2、内容小结 来源： https://www.cnblogs.com/luoahong/p/11330458.html