http代理

squid代理与缓存（下） 6. squid代理模式案例 6.1 squid传统正向代理生产使用案例 6.1.1 squid传统正向代理两种方案 （1）普通代理服务器 作为代理服务器，这是SQUID的最基本功能；通过在squid.conf文件里添加一系列访问及控制规则，用户在客户端设置服务器地址和端口，即可通过SQUID访问INTERNET，在下面的规则里，squid实现局域网用户代理和高速缓存功能： 即通过浏览器设置代理服务器地址实现共享上网，这种方式不需要代理服务器在网络的出入口位置，只要代理服务器可以上网，其他的客户机就可以通过IE等客户端设置代理服务器的地址及端口进行上网（客户机不能上网，但是可以通过代理服务器来达到上网的目的）。 （2）透明代理服务器 另一种就是透明代理，所谓透明代理，是相对于代理服务器而言，客户端不需要做任何和代理服务器相关的设置和操作，对用户而言，感觉不到代理服务器的存在，所以称之为透明代理。即把代理服务器部署在核心的上网出口，当用户上网浏览页面时，会交给代理服务器向外请求，如果结合iptables可以实现代理+网关+内容过滤+流量安全控制等完整的上网解决方案。 透明代理流程说明： 用户A发送一个访问请求到防火墙，由防火墙将该用户的访问请求转发到SQUID，SQUID在先检查自身缓存中有无该用户请求的访问内容，如果没有，则请求远端目的服务器

这个模块从名称上面可以看出是做代理用的，那到底是什么代理呢？ 其实是用作内网的访问代理。 只要在 <Directory> 这个里面配置好 ProxyPass / http://localhost:8808/ </Directory> 就可以转发了 而 ProxyReverse / http://localhost:8808/ 会做反向的映射，比如 http://localhost:8808/a 会映射成 http://yourip:8808/a 另，如果某个目录不想使用代理，可以用 ProxyPass /abc ! 转载于:https://www.cnblogs.com/TLightSky/archive/1970/01/01/2941458.html 来源： https://blog.csdn.net/weixin_30847271/article/details/99919856

我们常接触的网络爬虫是百度、搜搜、谷歌（Google）等公司的搜索引擎，这 些搜索引擎通过互联网上的入口获取网页，实时存储并更新索引。搜索引擎的基础 就是网络爬虫，这些网络爬虫通过自动化的方式进行网页浏览并存储相关的信息。 近几年，互联网开始朝着移动应用的方向发展。海量的信息从移动端生产并消 费，遗憾的是，搜索引擎通常并不能触及这些信息。例如，抖音等短视频 APP 中的 视频，目前还不能在百度等搜索引擎搜索到；淘宝的商品信息也无法在常规搜索引 擎中搜索到（只能在淘宝的 APP 中搜索到），等等。由于这些信息无法通过网页搜索到，因此搜索引擎不适合解决此类问题。在商务上，厂商之间可以通过合作的方式 对移动应用中的内容进行查询，例如，搜狗就能搜索到微信公众号的信息。在技术 上，可以开发定向爬虫抓取页面信息，再对其中的数据进行处理，例如各种比价网 站收集价格信息的过程等。那么如何爬取呢？今天我们来说说爬虫和反爬虫的斗争。以下内容来自《爬虫实战：从数据到产品》 《爬虫实战：从数据到产品》 扫码查看详情 常见的方法 在抓取对方网站、APP 应用的相关数据时，经常会遇到一系列的方法阻止爬虫。一方面是为了保证服务的质量，另一方面是保护数据不被获取。常见的一些反爬虫 和反反爬虫的手段如下。 （1）IP 限制 IP 限制是很常见的一种反爬虫的方式。服务端在一定时间内统计 IP 地址的访问 次数，当次数

引言 HTTP应用层的抓包已经成为日常工作测试与调试中的重要一环，最近接触新项目突然之间发现之前的抓包手段都不好使了，顿时模块与模块之间的前端与服务之间的交互都变成了不可见，整个人都好像被蒙住了眼睛。 其实自己也很早就发现平时使用的支付宝等APP使用Fiddler 或 Charles这类代理抓包软件默认情况下就无法抓取请求的，但使用Wireshark这类网卡抓包软件可以看到这些APP的流量，而已这些流量也表明这些APP使用的主要应用层协议仍然是HTTP（https），不过我们的代理抓包工具却失效了。如今终于在实际工作中遇到了，也不得不解决了，毕竟眼前有东西挡住会让我浑身不适。 代理抓包原理 为了弄明白为什么Fiddler 或 Charles对这些APP无效，我们有必要先了解代理抓包我原理（当然您不想了解也是完全可以的，直接看后面的 实际操作 就可以完成，原理分析什么的可以有兴趣随时回来看） Fiddler 或 Charles 这类使用的代理的抓包软件与Wireshark是完全不同的（Wireshark 使用的网卡数据复制，只要是经过指定网卡都会被抓取），其只能对使用代理的应用层网络协议生效，比如常见的HTTP（https），Websocket 。 这里以HTTP为例简单说明下 客户端需要完成一次HTTP请求，通常需要先找到服务器，客户端会根据http请求中url的主机名

接上篇： Spring 核心技术（5） version 5.1.8.RELEASE 1.5 Bean 作用域 创建 bean 定义时，你创建了一种用于创建 bean 定义中定义的类实例的方法。bean定义的设想是一个很重要的方法，因为它意味着，与一个类一样，你可以从以一种方式创建许多对象实例。 你不仅可以控制要插入到以特定 bean 定义创建的对象中的各种依赖项和配置值，还可以控制以特定bean定义创建的对象的作用域。这种方法功能强大且灵活，因为你可以选择通过配置创建的对象的作用域，而不必在 Java 类级别设定对象的作用域。Bean 可以被部署到定义的多个作用域之一中。Spring Framework 支持六个作用域，其中四个范围仅在使用支持 Web 的 ApplicationContext 时可用。你还可以创建 自定义范围 。 下表描述了支持的作用域： 作用域 描述 单例 （默认）将单个 bean 定义的作用域限定为每个 Spring IoC 容器的单个对象实例。 原型 将单个 bean 定义作用域限定为任意数量的对象实例。 请求 将单个 bean 定义作用域限定为单个 HTTP 请求的生命周期。也就是说，每个 HTTP 请求都有自己的 bean 实例，它是在单例 bean 定义的后面创建的。仅在支持 web 的 Spring ApplicationContext 中可用。

"2端口：管理实用程序 3端口：压缩进程 5端口：远程作业登录 7端口：回显 9端口：丢弃 11端口：在线用户 13端口：时间 17端口：每日引用 18端口：消息发送协议 19端口：字符发生器 20端口：FTP文件传输协议（默认数据口） 21端口：FTP文件传输协议（控制） 22端口：SSH远程登录协议 23端口：telnet（终端仿真协议），木马Tiny Telnet服务器开放此端口 24端口：预留给个人用邮件系统 25端口：SMTP服务器所开放的端口，用于发送邮件 27端口：NSW用户系统FE 29端口：MSG ICP 31端口：MSG验证，木马Master Paradise，HackersParadise开放此端口 33端口：显示支持协议 37端口：预留给个人打印机服务 37端口：时间 38端口：路由访问协议 39端口：资源定位协议 41端口：图形 42端口：主机名服务 43端口：谁是服务 44端口：MPM （消息处理模块）标志协议 45端口：消息处理模块 46端口：消息处理模块（默认发送口） 47端口 NI FTP 48端口：数码音频后台服务 49端口：TACACS登录主机协议 50端口：远程邮件检查协议 51端口：IMP（接口信息处理机）逻辑地址维护 52端口：施乐网络服务系统时间协议 53端口：DNS域名服务器 54端口：施乐网络服务系统票据交换 55端口

之前有记录过用bodbay这个地三方的插件来录制脚本，然后想了一下用jmeter本身来录制脚本，网上有很多人说jmeter录制的脚本会不稳定，当然，大家也可以用第三方插件录制，下面用jmeter 4.0的版本来录制脚本，然后实现压力测试。 录制前提： 1、下载好jmeter 4.0工具 （jemter3.0也可以录制，只是和jmeter4.0的区别在于UI发生了一点改变） 2、IE浏览器（能正常联网） 一、打开jmeter 4.0 1、添加线程组：点击测试计划，右键添加 2、添加代理服务器：点击测试计划->添加->非测试元件->HTTP代理服务器 PS:jemter3.0版本的添加方法是点击工作台添加 添加之后，页面如下： 端口可以是8888，也可以是其它的，只要不要和程序的端口有冲突就行。 3、添加录制控制器：点击线程组，右键添加 录制控制器页面如下：例如录制百度新闻页面，给录制控制器改了名字 然后点击HTTP代理服务器，切换到代理服务器配置界面，修改以下两处红圈位置。选择录制控制器 4、添加HTTP cookies 管理器：一定要添加这个，不然录制的时候会报错。 5、jmeter的相关设置好之后，下面设置代理浏览器（本文采用IE浏览器做例子，其它浏览器会下章记录） 6、打开IE浏览器属性，设置代理 局域网设置页面如下： 录制什么脚本就把地址给粘贴进去

原文: http://blog.gqylpy.com/gqy/304 "2端口：管理实用程序 3端口：压缩进程 5端口：远程作业登录 7端口：回显 9端口：丢弃 11端口：在线用户 13端口：时间 17端口：每日引用 18端口：消息发送协议 19端口：字符发生器 20端口：FTP文件传输协议（默认数据口） 21端口：FTP文件传输协议（控制） 22端口：SSH远程登录协议 23端口：telnet（终端仿真协议），木马Tiny Telnet服务器开放此端口 24端口：预留给个人用邮件系统 25端口：SMTP服务器所开放的端口，用于发送邮件 27端口：NSW用户系统FE 29端口：MSG ICP 31端口：MSG验证，木马Master Paradise，HackersParadise开放此端口 33端口：显示支持协议 37端口：预留给个人打印机服务 37端口：时间 38端口：路由访问协议 39端口：资源定位协议 41端口：图形 42端口：主机名服务 43端口：谁是服务 44端口：MPM （消息处理模块）标志协议 45端口：消息处理模块 46端口：消息处理模块（默认发送口） 47端口 NI FTP 48端口：数码音频后台服务 49端口：TACACS登录主机协议 50端口：远程邮件检查协议 51端口：IMP（接口信息处理机）逻辑地址维护 52端口：施乐网络服务系统时间协议 53端口

原文: http://blog.gqylpy.com/gqy/304 "2端口：管理实用程序 3端口：压缩进程 5端口：远程作业登录 7端口：回显 9端口：丢弃 11端口：在线用户 13端口：时间 17端口：每日引用 18端口：消息发送协议 19端口：字符发生器 20端口：FTP文件传输协议（默认数据口） 21端口：FTP文件传输协议（控制） 22端口：SSH远程登录协议 23端口：telnet（终端仿真协议），木马Tiny Telnet服务器开放此端口 24端口：预留给个人用邮件系统 25端口：SMTP服务器所开放的端口，用于发送邮件 27端口：NSW用户系统FE 29端口：MSG ICP 31端口：MSG验证，木马Master Paradise，HackersParadise开放此端口 33端口：显示支持协议 37端口：预留给个人打印机服务 37端口：时间 38端口：路由访问协议 39端口：资源定位协议 41端口：图形 42端口：主机名服务 43端口：谁是服务 44端口：MPM （消息处理模块）标志协议 45端口：消息处理模块 46端口：消息处理模块（默认发送口） 47端口 NI FTP 48端口：数码音频后台服务 49端口：TACACS登录主机协议 50端口：远程邮件检查协议 51端口：IMP（接口信息处理机）逻辑地址维护 52端口：施乐网络服务系统时间协议 53端口

用单台虚拟主机实现多个域名 HTTP/1.1规范允许一台HTTP服务器搭建多个Web站点。这是因为利用了虚拟主机（Virtual Host,又称虚拟服务器）的功能 即使物理层面只有一台服务器，但只要使用虚拟主机的功能，则可以假想已具有多台服务器。 当一台服务器内托管了多个域名，当收到请求时就需要弄清楚究竟要访问哪个域名。 在相同的IP地址下，由于虚拟主机可以寄存多个不同主机名和域名的网站，因此在发送HTTP请求时，必须在Host首部内完整指定主机名或域名的URI。 通信数据转发程序：代理、网关、隧道 HTTP通信时，除客户端和服务器以外，还有一些用于通信数据转发的应用程序，例如代理、网关和隧道。它们可以配合服务器工作。 代理： 代理是一种有转发功能的应用程序，它扮演了位于服务器和客户端”中间人“的角色，接收由客户端发送的请求并转发给服务器，同时也接收服务器返回的响应并转发给客户端。 网关： 网关是转发其他服务器通信数据的服务器，接收从客户端发送过来的请求时，它就像自己拥有资源的源服务器一样对请求进行处理。 隧道： 隧道是在相隔甚远的客户端和服务器两者之间进行中转，并保持双方通信连接的应用程序。 代理： 代理服务器的基本行为就是接受客户端发送的请求后转发给其他服务器。代理不改变请求URI，会直接发送给前方持有资源的目标服务器。 在HTTP通信过程中，可级联多台代理服务器