代理服务器

感谢朋友支持本博客，欢迎共同探讨交流，由于能力和时间有限，错误之处在所难免，欢迎指正！ 如有转载，请保留源作者博客信息。 Better Me的博客 ： blog.csdn.net/tantexian 如需交流，欢迎大家博客留言。 一、squid简介 Squid Cache （简称为 Squid ）是 HTTP 代理服务器 软件。Squid用途广泛的，可以作为 缓存服务器 ， 代理用户向web服务器请求数据并进行缓存， 可以过滤流量帮助网络安全，也可以作为代理服务器链中的一环，向上级代理转发数据或直接连接互联网。 还也可以用在局域网中，使局域网用户通过代理上网。 Squid将数据元缓存在内存中，同时也缓存 DNS 查寻的结果，除此之外，它还支持非模块化的DNS查询，对失败的请求进行消极缓存。Squid支持SSL，支持 访问控制 。由于使用了ICP，Squid能够实现重叠的代理阵列，从而最大限度的节约带宽。 Squid由一个主要的服务程序Squid，一个DNS查询程序 dns server，几个重写请求和执行认证的程序，以及几个管理工具组成。当Squid启动以后，它可以派生出指定数目的 dns server进程，而每一个dnsserver进程都可以执行单独的DNS查询，这样一来就大大减少了服务器等待DNS查询的时间。 Squid的另一个优越性在于它使用 访问控制 清单（ACL

参考：https://www.cnblogs.com/pengcc/p/4329207.html 网络上好多开场的文章就说了好多的原理之类的这里我们直接开始配置。 不过也要简单说下win下配置反向代理只有IIS7以上的版本才可以实现这个功能，在这里我们使用WINDOWS2008 R2来做为测试 2008R2上安装的是IIS 7.5 ,我们需要通过Application Request Routing模块来实现反向代理。 接下来我们来说下Application Request Routing模块的安装方法首先前往 http://www.iis.net/extensions/ApplicationRequestRouting 下载Application Request Routing,然后安装(说明：有的打开网站不知道从哪里下载这里我们说明下) 我们点击进入下载界面如下图 在这里呢我们也提供下下载的本机地址 requestRouter_x64.msi requestRouter_x86.msi 然后我们直接点击下载的文件 我们直接点击“install"进行安装 我们点击”Finish"完成我们的安装，接下来我们打开我们的IIS 下面我们Proxy项 我们双击”Application Request Routing Cahce"出现如下图界面 我们点击”Server Proxy

正向代理 正向代理（forward proxy） ：是一个位于客户端和目标服务器之间的服务器(代理服务器)，为了从目标服务器取得内容，客户端向代理服务器发送一个请求并指定目标，然后代理服务器向目标服务器转交请求并将获得的内容返回给客户端。 这种代理其实在生活中是比较常见的，比如科学上wang技术，其用到的就是代理技术。 有时候，用户想要访问某国外网站，该网站无法在国内直接访问，但是我们可以访问到一个代理服务器，这个代理服务器可以访问到这个国外网站。这样呢，用户对该国外网站的访问就需要通过代理服务器来转发请求，并且该代理服务器也会将请求的响应再返回给用户。这个上网的过程就是用到了正向代理。 这个过程其实和租房子很像。 租房子的时候，一般情况下，我们很难联系到房东，因为有些房东为了图方便，只把自己的房屋信息和钥匙交给中介了。而房客想要租房子，只能通过中介才能联系到房东。而对于房东来说，他可能根本不知道真正要租他的房子的人是谁，他只知道是中介在联系他。 这里面一共有三个角色，租客（用户）、中介（代理服务器）和房东（国外网站，目标服务器）。引入中介（代理服务器）的原因是用户无法联系上房东（用户无法访问国外网站）。 正向代理，其实是"代理服务器"代理了"客户端"，去和"目标服务器"进行交互。 通过正向代理服务器访问目标服务器，目标服务器是不知道真正的客户端是谁的

在爬虫时我们需要网络代理伪装自己，那么什么是网络代理呢，参考https://blog.csdn.net/jss19940414/article/details/84944624，总结如下： 1、网络代理的原理： 　　代理服务器（proxy server）是网络信息的中转站。我们请求一个web服务器，web服务器响应传回给我们，而设置了代理服务器后，我们是通过代理服务器请求一个web服务器，web服务器的响应也是经过代理服务器后再返回给我们。此时web服务器识别到的请求ip为代理服务器ip而非我们本机ip，实现了IP伪装。 2、代理分类 FTP代理服务器：主要用于访问FTP服务器，一般有上传、下载以及缓存功能，端口一般为21、2121等。 HTTP代理服务器：主要用于访问网页，一般有内容过滤和缓存功能，端口一般为80、8080、3128等。 SSL/TLS代理：主要用于访问加密网站，一般有SSL或TLS加密功能（最高支持128位加密强度），端口一般为443。 RTSP代理：主要用于访问Real流媒体服务器，一般有缓存功能，端口一般为554。 Telnet代理：主要用于telnet远程控制（黑客入侵计算机时常用于隐藏身份），端口一般为23。 POP3/SMTP代理：主要用于POP3/SMTP方式收发邮件，一般有缓存功能，端口一般为110/25。 SOCKS代理：只是单纯传递数据包

正向代理 ： 是一个位于客户端和原始服务器 (origin server) 之间的服务器，为了从原始服务器取得内容， 客户端向代理发送一个请求并指定目标 ( 原始服务器 ) ，然后代理向原始服务器转交请求并将获得的内容返回给客户端。客户端必须要进行一些特别的设置才能使用正向代理 。 反向代理（ Reverse Proxy ）方式是指以 代理服务器 来接受 internet 上的连接请求，然后将请求转发给内部网络上的服务器，并将从服务器上得到的结果返回给 internet 上请求连接的 客户端 ，此时代理服务器对外就表现为一个服务器。 当一个 代理服务器 能够代理外部网络上的 主机 ，访问内部网络时，这种代理服务的方式称为反向代理服务。此时 代理服务器 对外就表现为一个 Web 服务器，外部网络就可以简单把它当作一个标准的 Web 服务器而不需要特定的配置。 不同之处在于，这个服务器没有保存任何网页的真实数据，所有的静态网页或者 CGI 程序，都保存在内部的 Web 服务器上。 因此对反向 代理服务器 的攻击并不会使得网页信息遭到破坏，这样就增强了 Web 服务器的安全性。 Nginx （发音同 engine x ）是一款轻量级的 Web 服务器 / 反向代理服务器及电子邮件（ IMAP/POP3 ）代理服务器，并在一个 BSD-like 协议下发行。由俄罗斯的程序设计师 Igor

0X01：什么是HTTP请求走私 HTTP请求走私属于协议层攻击，是服务器漏洞的一种。 HTTP请求走私是一种干扰网站处理从一个或多个用户接收的HTTP请求序列的方式的技术。使攻击者可以绕过安全控制，未经授权访问敏感数据并直接危害其他应用程序用户。 一般来说，反向代理服务器与后端的源站服务器之间，会重用TCP链接。这也很容易理解，用户的分布范围是十分广泛，建立连接的时间也是不确定的，这样TCP链接就很难重用，而代理服务器与后端的源站服务器的IP地址是相对固定，不同用户的请求通过代理服务器与源站服务器建立链接，这两者之间的TCP链接进行重用，也就顺理成章了。当我们向代理服务器发送一个比较模糊的HTTP请求时，由于两者服务器的实现方式不同，可能代理服务器认为这是一个HTTP请求，然后将其转发给了后端的源站服务器，但源站服务器经过解析处理后，只认为其中的一部分为正常请求，剩下的那一部分，就算是走私的请求，当该部分对正常用户的请求造成了影响之后，就实现了HTTP走私攻击。 0x02:漏洞产生原因 HTTP请求走私这一攻击方式很特殊，它不像其他的Web攻击方式那样比较直观，它更多的是在复杂网络环境下，不同的服务器对RFC标准实现的方式不同，程度不同。这样一来，对同一个HTTP请求，不同的服务器可能会产生不同的处理结果，这样就产生了了安全风险. 继续了解HTTP走私，就要开始研究HTTP1

解决方案详细信息 普通代理方式是代理内部网络用户访问internet上服务器的连接请求，客户端必须指定代理服务器,并将本来要直接发送到internet上服务器的连接请求发送给代理服务器处理。 反向代理（Reverse Proxy）方式是指以代理服务器来接受internet上的连接请求，然后将请求转发给内部网络上的服务器，并将从服务器上得到的结果返回给internet上请求连接的客户端，此时代理服务器对外就表现为一个服务器。 反向代理负载均衡技术是把将来自internet上的连接请求以反向代理的方式动态地转发给内部网络上的多台服务器进行处理，从而达到负载均衡的目的。 反向代理负载均衡能以软件方式来实现，如apache mod_proxy、netscape proxy等，也可以在高速缓存器、负载均衡器等硬件设备上实现。反向代理负载均衡可以将优化的负载均衡策略和代理服务器的高速缓存技术结合在一起，提升静态网页的访问速度，提供有益的性能；由于网络外部用户不能直接访问真实的服务器，具备额外的安全性（同理，NAT负载均衡技术也有此优点）。 其缺点主要表现在以下两个方面： 反向代理是处于OSI参考模型第七层应用的，所以就必须为每一种应用服务专门开发一个反向代理服务器，这样就限制了反向代理负载均衡技术的应用范围，现在一般都用于对web服务器的负载均衡。 针对每一次代理，代理服务器就必须打开两个连接

代理 代理就是处在客户端和服务端之间的服务器。客户端例如浏览器发送GET请求时，代理服务器接收该请求，并转发该请求至服务所在的服务器。服务器回复的数据和资源在第一时间经过代理服务器，才能回传到浏览器，并展示HTTP信息。代理服务器的作用类似于过滤信息。 缓存 如果客户端获取消息时发现在本地有缓存数据，不需要向服务器请求资源，直接从本地取数据，反之，客户端会重新发起请求资源，收到数据后缓存到本地，以便下次使用。 来源： https://www.cnblogs.com/gzhich2019/p/11869970.html

一、代理与反向代理 现实生活中的例子 1、正向代理：访问google.com 如上图，因为google被墙，我们需要vpn翻墙才能访问google.com。 vpn对于“我们”来说，是可以感知到的（我们连接vpn） vpn对于"google服务器"来说，是不可感知的(google只知道有http请求过来)。 对于人来说可以感知到，但服务器感知不到的服务器，我们叫他正向代理服务器。 2、反向代理：通过反向代理实现负载均衡 如上图，我们访问baidu.com的时候，baidu有一个代理服务器，通过这个代理服务器，可以做负载均衡，路由到不同的server。 此代理服务器,对于“我们”来说是不可感知的(我们只能感知到访问的是百度的服务器，不知道中间还有代理服务器来做负载均衡)。 此代理服务器，对于"server1 server2 server3"是可感知的(代理服务器负载均衡路由到不同的server) 对于人来说不可感知，但对于服务器来说是可以感知的，我们叫他反向代理服务器 总结 说白了：“正向”、“反向”是相对于人的感知来说的。 人能感受到的代理就是正向代理，人感受不到的代理就是反向代理。 二、初识Nginx与Php-fpm Nginx是什么 Nginx ("engine x") 是一个高性能的HTTP和反向代理服务器，也是一个IMAP/POP3/SMTP服务器。 Php-fpm是什么

一、概念 　　代理服务器是一种网络实体，又称为万维网高速缓存（Web cache） 二、工作原理 　　代理服务器把最近的一些请求和响应暂存在本地磁盘中，当新请求到达时，若代理服务器发现这个请求与缓存的请求相同，则直接响应到客户端，不用再去英特网访问该资源。 　　代理服务器可工作在客户端，服务端，中间系统中。 三、工作流程（客户端代理服务器） 　　1. 用户在浏览器有网页访问操作，浏览器和代理服务器建立TCP连接 　　2.浏览器向代理服务器发送请求报文 　　3.代理服务器接收到请求，并处理请求。 　　　　若请求的资源已经缓存过，就直接返回给浏览器； 　　　　否则代理服务器与源点服务器建立TCP连接，并发送请求报文，源点服务器把资源响应到代理服务器。代理服务器接收到响应，并将其缓存到本地，再响应到浏览器。 来源： https://www.cnblogs.com/fanshehu/p/11852974.html