代理服务器

nginx介绍 Nginx (engine x) 是一个高性能的 HTTP 和 反向代理 web服务器，同时也提供了IMAP/POP3/SMTP 服务 。Nginx是由伊戈尔·赛索耶夫为 俄罗斯 访问量第二的Rambler.ru站点（俄文：Рамблер）开发的，第一个公开版本0.1.0发布于2004年10月4日。 其将 源代码 以类BSD许可证的形式发布，因它的稳定性、丰富的功能集、示例配置文件和低系统资源的消耗而 闻名 。2011年6月1日，nginx 1.0.4发布。 Nginx是一款 轻量级 的 Web 服务器/ 反向代理 服务器及 电子邮件 （IMAP/POP3）代理服务器，在BSD-like 协议下发行。其特点是占有内存少， 并发 能力强，事实上nginx的并发能力在同类型的网页服务器中表现较好，中国大陆使用nginx网站用户有：百度、 京东 、 新浪 、 网易 、 腾讯 、 淘宝 等。 正向代理 我们常说的代理也就是只正向代理， 正向代理的过程，它隐藏了真实的请求客户端，服务端不知道真实的客户端是谁，客户端请求的服务都被代理服务器代替来请求 ，某些工具扮演的就是典型的正向代理角色。用浏览器访问 http://www.google.com 时，被残忍的block，于是你可以在国外搭建一台代理服务器，让代理帮我去请求google.com，代理把请求返回的相应结构再返回给我

ProxyHandler处理器（代理）： 1.代理的原理：在请求目的网站之前，先请求代理服务器，然后让代理服务器去请求目的网站，代理服务器拿到目的网站的数据后，再发给我们的代码。 2. http://httpbin.org:这个网站可以方便的查看http请求的一些参数。 3.在代码中使用代理： *使用"urllib.request.ProxyHandler", 传入一个代理，这个代理是一个字典，字典的key是“http”或者“https”，字典的key依赖于代理服务器能够接收的类型,值是‘ip:port’*使用上一步创建的‘handler’,以及'request.bulid_opener'创建一个‘opener’ *使用上一步创建的'opener',调用‘open’函数，发起请求。 实例代码如下： from urllib import request url=' http://www.httpbin.org/ip ' #1.使用proxyHanler,传入代理构建一个handler handler=request.ProxyHandler({"http":'39.137.2.242:8080'}) #2.使用上面创建的handler构建一个opener opener=request.build_opener(handler) #3.使用opener去发送一个请求 resp

转自： https://blog.csdn.net/zy1471162851/article/details/91795712 tip: nginx是一款高性能的http 服务器/反向代理服务器及电子邮件（IMAP/POP3）代理服务器 nginx 的应用场景 （ http服务器，可以做网页静态服务器； 虚拟主机； 反向代理，负载均衡。 当网站的访问量达到一定程度后，单台服务器不能满足用户的请求时，需要用多台服务器集群可以使用nginx做反向代理。并且多台服务器可以平均分担负载，不会因为某台服务器负载高宕机而某台服务器闲置的情况。） windows常用命令 nginx.exe -s stop –停止 nginx优缺点 占内存小，可以实现高并发连接、处理响应快。 可以实现http服务器、虚拟主机、反向代理、负载均衡。 nginx配置简单 可以不暴露真实服务器IP地址 一：反向代理 反向代理（Reverse Proxy）方式是指以代理服务器来接受internet上的连接请求，然后将请求转发给内部网络上的服务器，并将从服务器上得到的结果返回给internet上请求连接的客户端，此时代理服务器对外就表现为一个反向代理服务器。 启动一个Tomcat 127.0.0.1:8080 使用nginx反向代理 8080.zyhome.com 直接跳转到127.0.0.1:8080 Host文件新增

Date:2019-11-08 读前思考： Nginx是什么？ Nginx因为什么而出生的？ Nginx到底能解决什么问题？Nginx的优缺点？ Nginx 的产生 Nginx 同 Apache 一样都是一种 Web 服务器。基于 REST 架构风格，以统一资源描述符（Uniform Resources Identifier）URI 或者统一资源定位符（Uniform Resources Locator）URL 作为沟通依据，通过 HTTP 协议提供各种网络服务。 然而，这些服务器在设计之初受到当时环境的局限，例如当时的用户规模，网络带宽，产品特点等局限并且各自的定位和发展都不尽相同。这也使得各个 Web 服务器有着各自鲜明的特点。 Apache 的发展时期很长，而且是毫无争议的世界第一大服务器。它有着很多优点：稳定、开源、跨平台等等。 它出现的时间太长了，它兴起的年代，互联网产业远远比不上现在。所以它被设计为一个重量级的。 它不支持高并发的服务器。在 Apache 上运行数以万计的并发访问，会导致服务器消耗大量内存。 操作系统对其进行进程或线程间的切换也消耗了大量的 CPU 资源，导致 HTTP 请求的平均响应速度降低。 这些都决定了 Apache 不可能成为高性能 Web 服务器，轻量级高并发服务器 Nginx 就应运而生了。 俄罗斯的工程师 Igor Sysoev，他在为

服务器获取客户端或者网页的请求，获取IP时需要注意， 因为一个请求到达服务器之前，一般都会经过一层或者多层代理服务器，比如反向代理服务器将http://192.168.1.10:port/ 的URL反向代理为http://www.xxx.com/ 的URL时，用request.getRemoteAddr() 方法获取的IP地址是：127.0.0.1　或　192.168.1.10 ，而并不是客户端的真实IP。但在经过代理服务器之后，请求头中都会多一些字段，我们可以根据这些字段来获取真实的IP而不是经过代理服务器生成的IP。 String ip = request.getHeader("X-Forwarded-For"); if (StringUtils.isNotEmpty(ip) && !"unKnow".equalsIgnoreCase(ip)) { //多次反向代理后会有多个ip值，第一个ip才是真实ip String[] ipList = ip.split(","); ip = ipList[0]; } else { ip = request.getHeader("X-Real-IP"); if (StringUtils.isEmpty(ip) || "unKnown".equalsIgnoreCase(ip)) { ip = request.getRemoteAddr();

本文是《计算机网络》的自学课程，视频地址为： https://www.bilibili.com/video/av47486689。仅做个人学习使用，如有侵权，请联系删除 第六章：应用层 一个应用层协议，就对应了一个服务 DNS：域名服务 将域名解析为IP地址 例如我们常见的问题：QQ能用，不能上网页，这种一般就是DNS配置出问题了 QQ的登录是直接使用IP地址的： 注意看，QQ用的果然是UDP 域名 所有的域名都是以.开始的，这叫做域名的根 顶级域名：com edu cn net org gov等，代表网站的性质 二级域名：自定义 一般我们说购买一个域名就是购买一个二级域名的管理权，而有了这个管理权之后就可以随意设置三级、四级等域名了。 域名之前，我们可以根据自己的服务来设置前缀：www习惯用表示网站，mail表示邮件服务，ftp表示FTP服务 前缀+域名=FQDN（完全限定域名） 域名解析的过程 域名解析是分布式的 根DNS服务器记录顶级域名解析服务器的地址 顶级域名服务器记录该顶级域名下的每一个域名和ip地址的键值对 如果向一个顶级域名服务器申请解析另一个顶级域名下的域名，它会返回根DNS，然后根DNS将解析申请转发给正确的顶级域名服务器 所以，设备只需要指向一台DNS服务器即可，如果输入的域名该服务器不能处理，它会自动转发，不需要用户做调整 计算机会缓存解析的记录

使用反向代理服务器可以将请求转发给内部的Web服务器，使用这种加速模式显然可以提升静态网页的访问速度。因此也可以考虑使用这种技术，让代理服务器将请求均匀转发给多台内部Web服务器之一上，从而达到负载均衡的目的。这种代理方式与普通的代理方式有所不同，标准代理方式是客户使用代理访问多个外部Web服务器，而 这种代理方式是多个客户使用它访问内部Web服务器，因此也被称为反向代理模式 。 概念 实现这个反向代理能力并不能算是一个特别复杂的任务，但是在负载均衡中要求特别高的效率，这样实现起来就不是十分简单的了。每针对一次代理，代理服务器就 必须打开两个连接，一个为对外的连接，一个为对内的连接，因此对于连接请求数量非常大的时候，代理服务器的负载也就非常之大了，在最后反向代理服务器会成 为服务的瓶颈。例如，使用Apache的mod_rproxy模块来实现负载均衡功能时，提供的并发连接数量受Apache本身的并发连接数量的限制。一般来讲，可以使用它来对连接数量不是特别大，但每次连接都需要消耗大量处理资源的站点进行负载均衡，例如搜寻。 使用反向代理的好处是，可以将负载均衡和代理服务器的高速缓存技术结合在一起，提供有益的性能，具备额外的安全性，外部客户不能直接访问真实的服务器。并且实现起来可以实现较好的负载均衡策略，将负载可以非常均衡的分给内部服务器，不会出现负载集中到某个服务器的偶然现象。

1.什么是Nginx？ 　　Nginx是一个高性能的HTTP和反向代理服务器,常用于做负载均衡服务器 2.为什么要用Nginx? 跨平台、配置简单 非阻塞、高并发连接： 处理2-3万并发连接数，官方监测能支持5万并发 内存消耗小： 开启10个nginx才占150M内存，Nginx采取了分阶段资源分配技术 nginx处理静态文件好,耗费内存少 内置的健康检查功能： 如果有一个服务器宕机，会做一个健康检查，再发送的请求就不会发送到宕机的服务器了。重新将请求提交到其他的节点上。 节省宽带： 支持GZIP压缩，可以添加浏览器本地缓存 稳定性高： 宕机的概率非常小 master/worker结构： 一个master进程，生成一个或者多个worker进程 接收用户请求是异步的： 浏览器将请求发送到nginx服务器，它先将用户请求全部接收下来，再一次性发送给后端web服务器，极大减轻了web服务器的压力,一边接收web服务器的返回数据，一边发送给浏览器客户端 网络依赖性比较低，只要ping通就可以负载均衡 可以有多台nginx服务器 3.为什么Nginx性能这么高？ 得益于它的事件处理机制： 异步非阻塞事件处理机制：运用了epoll模型，提供了一个队列，排队解决 4、为什么不使用多线程？ Apache Tomcat: 创建多个进程或线程，而每个进程或线程都会为其分配cpu和内存

1 代理 现如今的互联网世界里，代理服务已经十分常见，它通常作为一个第三方或者说中转站角色替代用户取得信息或者服务。 根据代理对象的不同，代理服务可以分为正向代理和反向代理。 1.1 正向代理 我们通常所说的代理一般都指的是正向代理，正向代理的是客户端或者说访问者。如下图所示，在特定网络环境中，客户端直接访问目标服务器会被限制，如果有另外一台可以直接访问到目标服务器，且客户端也可以访问到这台服务器，那么就可以以这台服务器作为代理服务器向目标服务器发起访问，当目标服务器收到访问请求时，并不会获知访问的真正发起者，只会认为是代理服务器发来的请求，返回的消息也是通过代理服务器发送给客户端。 这整个过程我们可以用一个通俗的例子来类比：我们想要像土豪舅舅借钱，但是土豪舅舅觉得我们太年轻，怕我们借钱胡来就不想借。这时候我们找上了外婆，由外婆去问土豪舅舅借钱，然后我们从外婆手里拿到了钱。在整个借钱过程中，“我”就是这个发起访问的客户端，外婆就是这个正向代理，舅舅就是目标服务器，舅舅并不知道实际上还是我这个外甥在借钱，他只知道钱给了外婆，但是钱还是到了我们手上。 Fiddler、mitmproxy抓包，代理ip网络爬虫等应用就是基于正向代理。 1.2 反向代理 正向代理代理的是客户端，与之相反的反向代理代理的就是服务器端，客户端也并不知道真正访问的服务器时哪一台

squid代理服务器 squid是一种用来缓存Internet数据的软件。接受来自客户机需要下载的目标的请求并适当的处理这些请求。也就是说，如果一个客户端想要打开默认网站，它请求squid为它取得这个页面。squid随之连接到远程服务器并向这个页面发出请求。然后，squid显式地聚集数据到客户端机器，而且同时复制一份。当下一次有人需要同一页面时，squid可以简单的从磁盘中读到它，那样数据会立即传输到客户机上。 squid代理的作用 - 通过缓存方式为用户提供Web加速访问 - 对用户的Web访问请求进行过滤控制 squid的几种代理模式 1. 正向代理模式 1）标准正向代理模式 2）透明正向代理模式 主要作用： 实现代理上网、隐藏用的真实访问信息以及对控制用户访问网站行为的访问控制列表（ACL）进行限制。 2. 反向代理模式 主要作用： 加快用户访问网站的速度，降低网站资源服务器的负载压力。 标准正向代理模式与透明正向代理模式的区别： 用户是否需要配置代理服务器的信息。若使用透明代理模式，则用户感知不到代理服务器的存在。 正向代理与反向代理的区别: 1. 概念 正向代理： 对于原始服务器而言，就是客户端的代言人 反向代理： 对于客户端而言，就像是原始服务器 2. 用途 1.正向代理的典型用途是为在防火墙内的局域网客户端提供访问Internet的途径