代理服务器

squid-cache 官网 http://www.squid-cache.org squid介绍及其简单配置 https://www.cnblogs.com/cherishry/p/5706736.html CentOS 7安装squid代理服务器 https://blog.csdn.net/ithomer/article/details/78136993 squid的概念 squid是一种用来缓存Internet数据的软件。接受来自人们需要下载的目标（object）的请求并适当的处理这些请求。也就是说，如果一个人想下载一web界面，他请求squid为他取得这个页面。squid随之连接到远程服务器并向这个页面发出请求。然后，squid显式地聚集数据到客户端机器，而且同时复制一份。当下一次有人需要同一页面时， squid可以简单的从磁盘中读到它，那样数据会立即传输到客户机上。 squid代理的作用 通过缓存的方式为用户提供Web访问加速 对用户的Web访问进行过滤控制 工作流程 当代理服务器中有客户端需要的数据时： a. 客户端向代理服务器发送数据请求； b. 代理服务器检查自己的数据缓存； c. 代理服务器在缓存中找到了用户想要的数据，取出数据； d. 代理服务器将从缓存中取得的数据返回给客户端。 当代理服务器中没有客户端需要的数据时： 客户端向代理服务器发送数据请求；

linux 搭建squid代理服务器 实验环境: 一台linux搭建Web服务器，充当内网web服务器(同时充当内网客户端) 202.100.10.100 一台linux系统充当网关服务器,两个网卡，开启路由转发 192.168.133.131和202.100.10.1 一台linux搭建Web服务器，充当外网web服务器(同时充当外网客户端)) 192.168.133.131 实验步骤: 1.配置内网web服务器、网关服务器、外网Web服务器的IP地址，开启网关的路由转发，关闭网关的防火墙，测试内网web服务器与外网Web服务器的联通性,保证能互通。 2.安装内网Web服务器和外网Web服务器的web服务，启动服务，新建一个测试页面 3.测试内网客户端访问外网web服务器，外网客户端访问内网web服务器 4.内网客户端访问外网web服务器 　　 5.外网客户端访问内网web服务器 　　 防火墙SNAT和DNAT 1.内网客户端访问外网web服务器 　　 2.在外网web服务器上查看日志 tail -f /var/log/httpd/access_log 　　 3.在网关设置地址转换 iptables -t nat -A POSTROUTING -s 192.168.133.0/24 -o eth2 -j SNAT --to-source 202.100.10.1

squid http://www.squid-cache.org/ squid软件主要有两大应用: 1,代理上网(正向代理，透明代理） 2,网站静态页面缓存加速（反向代理) 三种代理类型 正向代理 代理内部主机上网,共享上网，缓存，控制内网用户上网行为等功能（客户端需要设置代理服务器的IP和代理端口） 透明代理 和正向代理的功能完全一致（客户端不需要设置代理服务器的IP和代理端口，对用户是透明的） 外网 | medem | 路由器(dhcp,snat共享上网，上网行为控制，限速等) | | squid正向代理(共享上网，静态页面缓存加速，内网用户四七层上网行为控制，限速等) | | |----------------------| 上网用户一 上网用户二 反向代理 从外部网络访问内部服务器，与正向方向相反，主要用于网站架构的缓存加速或CDN client | | 反向代理 (缓存加速，七层切分，负载均衡，会话保持等) ｜ ｜ web =================================================================== 正向代理实验 公网 ｜ ｜ eth0 172.16.2.9 squid 服务器 vmnet1 192.168.1.1 | | | 内网用户VM1 eth0(vmnet1) 192.168.1.128

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 3. 深入了解篇 3.1 Cookie和Session Cookie和Session都为了用来保存状态信息，都是保存客户端状态的机制，它们都是为了解决HTTP无状态的问ti而所做的努力。 Session可以用Cookie来实现，也可以用URL回写的机制来实现。用Cookie来实现的Session可以认为是对Cookie更高级的应用。 3.1.1两者比较 Cookie和Session有以下明显的不同点： 1）Cookie将状态保存在客户端，Session将状态保存在服务器端； 2）Cookies是服务器在本地机器上存储的小段文本并随每一个请求发送至同一个服 务器。Cookie最早在RFC2109中实现，后续RFC2965做了增强。网络服务器用HTTP头向客户端发送cookies，在客户终端，浏览器解 析这些cookies并将它们保存为一个本地文件，它会自动将同一服务器的任何请求缚上这些cookies。Session并没有在HTTP的协议中定 义； 3）Session是针对每一个用户的，变量的值保存在服务器上，用一个sessionID来区分是哪个用户session变量,这个值是通过用户的浏览器在访问的时候返回给服务器，当客户禁用cookie时，这个值也可能设置为由get来返回给服务器； 4）就安全性来说

Nginx的产生 没有听过Nginx?那么一定听过它的"同行"Apache吧!Nginx同Apache一样都是一种WEB服务器。基于REST架构风格，以统一资源描述符(Uniform Resources Identifier)URI或者统一资源定位符(Uniform Resources Locator)URL作为沟通依据，通过HTTP协议提供各种网络服务。 然而，这些服务器在设计之初受到当时环境的局限，例如当时的用户规模，网络带宽，产品特点等局限并且各自的定位和发展都不尽相同。这也使得各个WEB服务器有着各自鲜明的特点。 Apache的发展时期很长，而且是毫无争议的世界***大服务器。它有着很多优点：稳定、开源、跨平台等等。它出现的时间太长了，它兴起的年代，互联网产业远远比不上现在。所以它被设计为一个重量级的。它不支持高并发的服务器。在Apache上运行数以万计的并发访问，会导致服务器消耗大量内存。操作系统对其进行进程或线程间的切换也消耗了大量的CPU资源，导致HTTP请求的平均响应速度降低。 这些都决定了Apache不可能成为高性能WEB服务器，轻量级高并发服务器Nginx就应运而生了。 俄罗斯的工程师Igor Sysoev，他在为Rambler Media工作期间，使用C语言开发了Nginx。Nginx作为WEB服务器一直为Rambler Media提供出色而又稳定的服务。

一、Apache： Apache 是一个优秀的开放源码的网页服务器，第一款web服务器端软件。但对于那些需要更强大的Web应用服务器（比如大小、可定制、响应速度、可扩展性等方面）的人而言，Apache明显不符合他们的要求，同类替代软件有Lighttpd，Nginx，kangle，Boa，Jigsaw等。 二、Squid： Squid是一个缓存Internet 数据的软件，其接收用户的下载申请，并自动处理所下载的数据。当一个用户想要下载一个主页时，可以向Squid 发出一个申请，要Squid 代替其进行下载，然后Squid 连接所申请网站并请求该主页，接着把该主页传给用户同时保留一个备份，当别的用户申请同样的页面时，Squid 把保存的备份立即传给用户，使用户觉得速度相当快。Squid 可以代理HTTP、FTP、GOPHER、SSL和WAIS等协议并且Squid 可以自动地进行处理，可以根据自己的需要设置Squid，使之过滤掉不想要的东西。 （1）工作流程 当代理服务器中有客户端需要的数据时： 客户端向代理服务器发送数据请求； 代理服务器检查自己的数据缓存； 代理服务器在缓存中找到了用户想要的数据，取出数据； 代理服务器将从缓存中取得的数据返回给客户端。 当代理服务器中没有客户端需要的数据时： 客户端向代理服务器发送数据请求； 代理服务器检查自己的数据缓存；

很多网站会检测某一段时间某个IP的访问次数（通过流量统计，系统日志等），如果访问的次数多得不像正常人，它会禁止这个IP的访问。 所以我们可以设置一些代理服务器，每个一段时间换一个代理，就算IP被禁止，依然可以换个IP继续爬取。 1.代理的原理：在请求目的网站之前，先请求代理服务器，然后让代理服务器去请求目的网站，代理服务器拿到目的网站的数据后，再转发给我们的代码。 2.http://httpbin.org：这个网站可以方便的查看HTTP请求的一些参数。 3.urllib中通过ProxyHandler来设置使用代理服务器，下面代码说明如何使用自定义opener来使用代理： 　　* 使用`urllib.request.ProxyHandler`，传入一个代理，这个代理是一个字典，字典的key依赖于代理服务器能够接收的类型，一般是`http`或者`https`，值是`ip:port`。 　　* 使用上一步创建的`handler`，以及`request.bulid_opener`创建一个`opener`对象。 　　* 使用上一步创建的`opener`，调用`open`函数，发起请求。 from urllib import request # 这个是没有使用代理的 # resp = request.urlopen("http://httpbin.org/get") # print(resp

序言 Nginx的代理功能与负载均衡功能是最常被用到的，关于nginx的基本语法常识与配置已在上篇文章中有说明，这篇就开门见山，先描述一些关于代理功能的配置，再说明负载均衡详细。 Nginx代理服务的配置说明 1、上一篇中我们在http模块中有下面的配置，当代理遇到状态码为404时，我们把404页面导向百度。 error_page 404 https://www.baidu.com; #错误页 然而这个配置，细心的朋友可以发现他并没有起作用。 如果我们想让他起作用，我们必须配合着下面的配置一起使用 proxy_intercept_errors on; #如果被代理服务器返回的状态码为400或者大于400，设置的error_page配置起作用。默认为off。 2、如果我们的代理只允许接受get，post请求方法的一种 proxy_method get; #支持客户端的请求方法。post/get； 3、设置支持的http协议版本 proxy_http_version 1.0 ; #Nginx服务器提供代理服务的http协议版本1.0，1.1，默认设置为1.0版本 4、如果你的nginx服务器给2台web服务器做代理，负载均衡算法采用轮询，那么当你的一台机器web程序iis关闭，也就是说web不能访问，那么nginx服务器分发请求还是会给这台不能访问的web服务器

因工作中需要用到squid，为此开始学习squid。这只能说明一点，学习是被逼出来的。费话不多说，开始了！ Squid的代理模式有： 1.代理服务器 理解：web直接将80请求发给代理服务器3128端口） 2.透明代理 理解：web的80请求被防火墙直接重定向到3128，因此透时代理对用户而言是不可见的。 3.反向代理 一、代理服务器 这是SQUID的最基本功能；通过在squid.conf文件里添加一系列访问及控制规则，用户在客户端设置服务器地址和端口，即可通过SQUID访问INTERNET，在下面的规则里，squid实现局域网用户代理和高速缓存功能。 http_port 3128 #监听内外网端口 cache_dir ufs /var/squid #定义内容缓存的目录 cache_mem 32MB #定义内存缓冲的大小 cache_swap_low 90 cache_swap_high 95 cache_dir /var/squid 1000 16 32 dns_nameservers 202.96.128.86 #设置硬盘缓冲的大小 cache_access_log /var/log/squid/access.log #设置访问日志 cache_log /var/log/squid/cache.log #设置缓存日志 acl all src 0.0.0.0/0.0.0.0

通常的代理服务器，只用于代理内部网络对Internet的连接请求，客户机必须指定代理服务器,并将本来要直接发送到Web服务器上的http请求发送到代理服务器中。由于外部网络上的主机并不会配置并使用这个代理服务器，普通代理服务器也被设计为在Internet上搜寻多个不确定的服务器,而不是针对Internet上多个客户机的请求访问某一个固定的服务器，因此普通的Web代理服务器不支持外部对内部网络的访问请求。当一个代理服务器能够代理外部网络上的主机，访问内部网络时，这种代理服务的方式称为反向代理服务。此时代理服务器对外就表现为一个Web服务器，外部网络就可以简单把它当作一个标准的Web服务器而不需要特定的配置。不同之处在于，这个服务器没有保存任何网页的真实数据，所有的静态网页或者CGI程序，都保存在内部的Web服务器上。因此对反向代理服务器的攻击并不会使得网页信息遭到破坏，这样就增强了Web服务器的安全性。 正向代理的概念 正向代理,也就是传说中的代理,他的工作原理就像一个跳板, 简单的说, 我是一个用户,我访问不了某网站,但是我能访问一个代理服务器 这个代理服务器呢,他能访问那个我不能访问的网站 于是我先连上代理服务器,告诉他我需要那个无法访问网站的内容 代理服务器去取回来,然后返回给我 从网站的角度,只在代理服务器来取内容的时候有一次记录 有时候并不知道是用户的请求