http代理

现在互联网web项目一般离不开分布式，访问量大的情况下，单台服务器一般是扛不住大量负载访问的(如单台tomcat目前最多能抗住200-500的并发量)，既然一台不行那就搭建多台，性能不够，数量来凑。那接下来访问就可能有问题了，难道需要用户准备多个ip地址或者访问地址吗，显然这是不友好的，这样一个管理多个服务器的中间服务器出现了，Nginx就是其中的代表，它是一款优秀的代理服务器，通过它可以实现负载均衡，动静分离等。 关于代理 学习Nginx之前，需要了解下代理的概念，包括代理，正向代理和反向代理，参考博文学习了下。 （1）代理，前面已经学习过了静态代理和动态代理，简单来说就是让一个中间人来处理幕后大佬的工作，如明星的助手，老板的秘书等就是代理。 （2）正向代理，如翻墙就是正向代理的例子，访问国外某个网站访问不了，那可以先访问国外某个可以访问的服务器，然后通过可以访问的服务器再访问那个不可以访问的服务器，这就是正向代理。正向代理中，用户很清楚要访问的服务器地址是什么，正向代理对服务器隐藏了真实用户，它只知道请求来自代理服务器。 （3）反向代理，一般跟分布式集群服务器挂钩，用户在访问真实服务器前先访问一个中间服务器，它提供统一的地址，通过内部均衡算法，将请求分发到背后集群中的某台服务器。反向代理对用户隐藏了真实服务器的信息，跟正向代理相反。 Nginx的安装 （1）nginx的安装

Nginx负载均衡概述 Web服务器，直接面向用户，往往要承载大量并发请求，单台服务器难以负荷，我使用多台WEB服务器组成集群，前端使用Nginx负载均衡，将请求分散的打到我们的后端服务器集群中，实现负载的分发。那么会大大提升系统的吞吐率、请求性能、高容灾 Nginx要实现负载均衡需要用到proxy_pass代理模块配置 Nginx负载均衡与Nginx代理不同地方在于 Nginx代理仅代理一台服务器，而Nginx负载均衡则是将客户端请求代理转发至一组upstream虚拟服务池 Nginx可以配置代理多台服务器，当一台服务器宕机之后，仍能保持系统可用。 upstream配置 在nginx.conf > http 区域中 upstream django { server 10.0.0.10:8000; server 10.0.0.11:9000; } 在nginx.conf > http 区域 > server区域 > location配置中 添加proxy_pass location / { root html; index index.html index.htm; proxy_pass http://django; } 此时初步负载均衡已经完成，upstream默认按照轮训方式负载，每个请求按时间顺序逐一分配到后端节点。 upstream分配策略 weight 权重

DeleGate是一款代理利器，支持代理多种协议（HTTP, FTP, POP3,SMTP,DNS等），支持HTTP反向代理，支持代理转发（支持上游代理），支持多种认证方式。具有丰富的命令行参数，可以很方便地通过启动多个进程实例实现提供多个代理。 该工具的主页是： http://www.delegate.org ，当前最新版本是9.9.7。貌似国内用的人很少，基本没有找到什么参考资料。 看了一下午说明文档，终于实现了我的需求（我一直想找到一个支持多端口到多代理转发的工具）。 安装： wget ftp://ftp.delegate.org/pub/DeleGate/delegate9.9.7.tar.gz tar zxvf delegate9.9.7.tar.gz cd delegate9.9.7 make 可执行文件的位置是："src/delegated"。 启动： ./src/delegated -P20130 SERVER=http PERMIT="*:*:*" PROXY="66.219.22.4:8080" MYAUTH="redice:123456789" AUTHORIZER="-list{sitedigger:sd201314}" AUTH=viagen:- 各参数的含义如下： ■ -P20130 指定监听端口为20130。 了解更多： http://www

为什么会有面向切面编程（AOP）？我们知道Java是一个面向对象（OOP）的语言，但它有一些弊端，比如当我们需要为多个不具有继承关系的对象引入一个公共行为，例如日志、权限验证、事务等功能时，只能在在每个对象里引用公共行为。这样做不便于维护，而且有大量重复代码。AOP的出现弥补了OOP的这点不足。 为了阐述清楚Spring AOP，我们从将以下方面进行讨论： 代理模式 静态代理原理及实践 动态代理原理及实践 Spring AOP原理及实战 1. 代理模式 代理模式：为其他对象提供一种代理以控制对这个对象的访问。这段话比较官方，但我更倾向于用自己的语言理解：比如A对象要做一件事情，在没有代理前，自己来做；在对 A 代理后，由 A 的代理类 B 来做。代理其实是在原实例前后加了一层处理，这也是 AOP 的初级轮廓。 2. 静态代理原理及实践 静态代理模式：静态代理说白了，就是在程序运行前就已经存在代理类的字节码文件、代理类和原始类的关系在运行前就已经确定。废话不多说，我们看一下代码。 package test.staticProxy; // 接口 public interface IUserDao { void save(); void find(); } //目标对象 class UserDao implements IUserDao{ @Override public void

Linux curl 命令模拟 POST/GET 请求 本文链接： https://blog.csdn.net/sunboy_2050/article/details/82156402 curl 命令，是一个利用URL规则在命令行下工作的文件传输工具。 curl 支持文件的上传和下载，所以是综合传输工具，但按传统，习惯称curl为下载工具。 作为一款强力工具，curl支持包括HTTP、HTTPS、FTP等众多协议，还支持 GET、POST、cookies、认证、从指定偏移处下载部分文件、用户代理字符串、限速、文件大小、进度条等特征，还可以做网页处理流程和数据检索自动化。 在进行web后台程序开发测试过程中，常常会需要发送url进行测试，使用curl可以方便地模拟出符合需求的url命令 curl 语法：curl [options...] <url> # curl (选项) (参数) 示例1：curl -m 30 --retry 3 https://proxy.mimvp.com/ip.php // curl 爬取网页，获取本机外网ip 示例2：curl -m 30 --retry 3 -x https://120.77.176.179:8888 https://proxy.mimvp.com/ip.php // curl 通过代理IP爬取网页，获取本机外网ip 更多示例： https

HttpClient4.3教程 第二章 连接管理 2.1.持久连接 两个主机建立连接的过程是很复杂的一个过程，涉及到多个数据包的交换，并且也很耗时间。Http连接需要的三次握手开销很大，这一开销对于比较小的http消息来说更大。但是如果我们直接使用已经建立好的http连接，这样花费就比较小，吞吐率更大。 HTTP/1.1默认就支持Http连接复用。兼容HTTP/1.0的终端也可以通过声明来保持连接，实现连接复用。HTTP代理也可以在一定时间内保持连接不释放，方便后续向这个主机发送http请求。这种保持连接不释放的情况实际上是建立的持久连接。HttpClient也支持持久连接。 2.2.HTTP连接路由 HttpClient既可以直接、又可以通过多个中转路由（hops）和目标服务器建立连接。HttpClient把路由分为三种plain（明文 ），tunneled（隧道）和layered（分层）。隧道连接中使用的多个中间代理被称作代理链。 客户端直接连接到目标主机或者只通过了一个中间代理，这种就是Plain路由。客户端通过第一个代理建立连接，通过代理链tunnelling，这种情况就是Tunneled路由。不通过中间代理的路由不可能时tunneled路由。客户端在一个已经存在的连接上进行协议分层，这样建立起来的路由就是layered路由。协议只能在隧道--->目标主机，或者直接连接

一.前言 AOP（Aspect Oriented Programming），即面向切面编程，可以说是OOP（Object Oriented Programming，面向对象编程）的补充和完善。OOP引入封装、继承、多态等概念来建立一种对象层次结构，用于模拟公共行为的一个集合。不过OOP允许开发者定义纵向的关系，但并不适合定义横向的关系，例如日志功能。日志代码往往横向地散布在所有对象层次中，而与它对应的对象的核心功能毫无关系对于其他类型的代码，如安全性、异常处理和透明的持续性也都是如此，这种散布在各处的无关的代码被称为横切（cross cutting），在OOP设计中，它导致了大量代码的重复，而不利于各个模块的重用。 AOP技术恰恰相反，它利用一种称为"横切"的技术，剖解开封装的对象内部，并将那些影响了多个类的公共行为封装到一个可重用模块，并将其命名为"Aspect"，即切面。所谓"切面"，简单说就是那些与业务无关，却为业务模块所共同调用的逻辑或责任封装起来，便于减少系统的重复代码，降低模块之间的耦合度，并有利于未来的可操作性和可维护性。 使用"横切"技术，AOP把软件系统分为两个部分： 核心关注点 和 横切关注点 。业务处理的主要流程是核心关注点，与之关系不大的部分是横切关注点。横切关注点的一个特点是，他们经常发生在核心关注点的多处，而各处基本相似，比如权限认证、日志、事物

import requests '''代理IP地址（高匿）''' proxy = { 'http': 'http://117.85.105.170:808', 'https': 'https://117.85.105.170:808' } '''head 信息''' head = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36', 'Connection': 'keep-alive'} '''http://icanhazip.com会返回当前的IP地址''' p = requests.get('http://icanhazip.com', headers=head, proxies=proxy) print(p.text) from: https://www.jb51.net/article/144418.htm 来源： https://www.cnblogs.com/hankleo/p/11771682.html

Fiddler的详细介绍 Fiddler的详细介绍 一、Fiddler与其他抓包工具的区别 　1、Firebug虽然可以抓包，但是对于分析http请求的详细信息，不够强大。模拟http请求的功能也不够，且firebug常常是需要“无刷新修改”，如果刷新了页面，所有的修改都不会保存； 　2、Wireshark是通用的抓包工具，能获取HTTP，也能获取HTTPS，但是不能解密HTTPS，所以wireshark看不懂HTTPS中的内容，但如果是TCP、UDP协议可以用wireshark； 　3、Httpwatch也是比较常用的http抓包工具，但是只支持IE和firefox浏览器（其他浏览器可能会有相应的插件）； 而Fiddler 是一个使用本地 127.0.0.1:8888 的 HTTP 代理，任何能够设置 HTTP 代理为 127.0.0.1:8888 的浏览器和应用程序都可以使用 Fiddler。 二、Fiddler的工作原理 　Fiddler是位于客户端和服务器端的HTTP代理，也是目前最常用的http抓包工具之一 。 它能够记录客户端和服务器之间的所有 HTTP请求，可以针对特定的HTTP请求，分析请求数据、设置断点、调试web应用、修改请求的数据，甚至可以修改服务器返回的数据。 　既然是代理，也就是说：客户端的所有请求都要先经过Fiddler，然后转发到相应的服务器，反之

1、基础： 高层协议有：文件传输协议FTP、电子邮件传输协议SMTP、域名系统服务DNS、网络新闻传输协议NNTP和HTTP协议等 中介由三种：代理(Proxy)、网关(Gateway)和通道(Tunnel)，一个代理根据URI的绝对格式来接受请求，重写全部或部分消息，通过 URI的标识把已格式化过的请求发送到服务器。网关是一个接收代理，作为一些其它服务器的上层，并且如果必须的话，可以把请求翻译给下层的服务器协议。一 个通道作为不改变消息的两个连接之间的中继点。当通讯需要通过一个中介(例如：防火墙等)或者是中介不能识别消息的内容时，通道经常被使用。 代理(Proxy)：一个中间程序，它可以充当一个服务器，也可以充当一个客户机，为其它客户机建立请求。请求是通过可能的翻译在内部或经过传递到其它的 服务器中。一个代理在发送请求信息之前，必须解释并且如果可能重写它。代理经常作为通过防火墙的客户机端的门户，代理还可以作为一个帮助应用来通过协议处 理没有被用户代理完成的请求。 网关(Gateway)：一个作为其它服务器中间媒介的服务器。与代理不同的是，网关接受请求就好象对被请求的资源来说它就是源服务器；发出请求的客户机并没有意识到它在同网关打交道。 网关经常作为通过防火墙的服务器端的门户，网关还可以作为一个协议翻译器以便存取那些存储在非HTTP系统中的资源。 通道(Tunnel)