http代理

1、 如果docker主机不需要通过代理连接外网 则docker的相关命令（如docker search）或docker容器与网络相关的操作都可以正常进行，不需要特殊设置。 2、 当docker主机 是通过代理才能连接外网时，采用服务方式启动守护进程 如果docker守护进程是通过服务的方式启动的（sudo start docker） 当我们执行如 docker search ubuntu 命令时，会报错 Error response from daemon: Get https://index.docker.io/v1/search?q=ubuntu: dial tcp: lookup index.docker.io on 127.0.1.1:53: read udp 127.0.1.1:53: i/o timeout 而且这时启动的容器，在容器内也无法连接外网。 需要通过设置来完成。 3、 当docker主机 是通过代理才能连接外网时，让docker守护进程可连接外网，非服务启动方式 通过如下方式启动docker守护进程 sudo HTTP_PROXY=http://代理地址:端口 docker daemon 这时执行如 docker search ubuntu 命令时，可以成功。 注意，这并不需要docker主机自己设置代理上网

nginx概述 nginx是一款自由的、开源的、高性能的HTTP服务器和反向代理服务器；同时也是一个IMAP、POP3、SMTP代理服务器；nginx可以作为一个HTTP服务器进行网站的发布处理，另外nginx可以作为反向代理进行负载均衡的实现。 这里主要通过三个方面简单介绍nginx 反向代理 负载均衡 nginx特点 1. 反向代理 关于代理 说到代理，首先我们要明确一个概念，所谓代理就是一个代表、一个渠道； 此时就设计到两个角色，一个是被代理角色，一个是目标角色，被代理角色通过这个代理访问目标角色完成一些任务的过程称为代理操作过程；如同生活中的专卖店~客人到adidas专卖店买了一双鞋，这个专卖店就是代理，被代理角色就是adidas厂家，目标角色就是用户 正向代理 说反向代理之前，我们先看看正向代理，正向代理也是大家最常接触的到的代理模式，我们会从两个方面来说关于正向代理的处理模式，分别从软件方面和生活方面来解释一下什么叫正向代理 在如今的网络环境下，我们如果由于技术需要要去访问国外的某些网站，此时你会发现位于国外的某网站我们通过浏览器是没有办法访问的，此时大家可能都会用一个操作FQ进行访问，FQ的方式主要是找到一个可以访问国外网站的代理服务器，我们将请求发送给代理服务器，代理服务器去访问国外的网站，然后将访问到的数据传递给我们！ 上述这样的代理模式称为正向代理

Nginx配置详解 nginx概述 nginx是一款自由的、开源的、高性能的HTTP服务器和反向代理服务器；同时也是一个IMAP、POP3、SMTP代理服务器；nginx可以作为一个HTTP服务器进行网站的发布处理，另外nginx可以作为反向代理进行负载均衡的实现。 这里主要通过三个方面简单介绍nginx 反向代理 负载均衡 nginx特点 1. 反向代理 关于代理 说到代理，首先我们要明确一个概念，所谓代理就是一个代表、一个渠道； 此时就设计到两个角色，一个是被代理角色，一个是目标角色，被代理角色通过这个代理访问目标角色完成一些任务的过程称为代理操作过程；如同生活中的专卖店~客人到adidas专卖店买了一双鞋，这个专卖店就是代理，被代理角色就是adidas厂家，目标角色就是用户 正向代理 说反向代理之前，我们先看看正向代理，正向代理也是大家最常接触的到的代理模式，我们会从两个方面来说关于正向代理的处理模式，分别从软件方面和生活方面来解释一下什么叫正向代理 在如今的网络环境下，我们如果由于技术需要要去访问国外的某些网站，此时你会发现位于国外的某网站我们通过浏览器是没有办法访问的，此时大家可能都会用一个操作FQ进行访问，FQ的方式主要是找到一个可以访问国外网站的代理服务器，我们将请求发送给代理服务器，代理服务器去访问国外的网站，然后将访问到的数据传递给我们！

很多网站会检测某一段时间某个IP的访问次数（通过流量统计，系统日志等），如果访问的次数多得不像正常人，它会禁止这个IP的访问。 所以我们可以设置一些代理服务器，每个一段时间换一个代理，就算IP被禁止，依然可以换个IP继续爬取。 1.代理的原理：在请求目的网站之前，先请求代理服务器，然后让代理服务器去请求目的网站，代理服务器拿到目的网站的数据后，再转发给我们的代码。 2.http://httpbin.org：这个网站可以方便的查看HTTP请求的一些参数。 3.urllib中通过ProxyHandler来设置使用代理服务器，下面代码说明如何使用自定义opener来使用代理： 　　* 使用`urllib.request.ProxyHandler`，传入一个代理，这个代理是一个字典，字典的key依赖于代理服务器能够接收的类型，一般是`http`或者`https`，值是`ip:port`。 　　* 使用上一步创建的`handler`，以及`request.bulid_opener`创建一个`opener`对象。 　　* 使用上一步创建的`opener`，调用`open`函数，发起请求。 from urllib import request # 这个是没有使用代理的 # resp = request.urlopen("http://httpbin.org/get") # print(resp

1.同源策略 是浏览器的安全策略 协议名、域名、端口号必须一致 2.跨域 违背了同源策略就会产生跨域 3.解决跨域 jsonp cors 服务器代理模式 第一步 创建script标签 var script = docuemnt.createElement("script") 第二步 设置回调函数 fuction getData(data){ //数据请求回来会被触发的函数 consol.log(data) } 第三步 设置script标签的src属性 设置请求地址 script.src = "http://localhost:3000？callback=getData" 第四步 让script 标签生效 document.body.appendChild(script) 来源： 51CTO 作者： 喝醉的熊 链接： https://blog.51cto.com/13550695/2460639

序言 Nginx的代理功能与负载均衡功能是最常被用到的，关于nginx的基本语法常识与配置已在上篇文章中有说明，这篇就开门见山，先描述一些关于代理功能的配置，再说明负载均衡详细。 Nginx代理服务的配置说明 1、上一篇中我们在http模块中有下面的配置，当代理遇到状态码为404时，我们把404页面导向百度。 error_page 404 https://www.baidu.com; #错误页 然而这个配置，细心的朋友可以发现他并没有起作用。 如果我们想让他起作用，我们必须配合着下面的配置一起使用 proxy_intercept_errors on; #如果被代理服务器返回的状态码为400或者大于400，设置的error_page配置起作用。默认为off。 2、如果我们的代理只允许接受get，post请求方法的一种 proxy_method get; #支持客户端的请求方法。post/get； 3、设置支持的http协议版本 proxy_http_version 1.0 ; #Nginx服务器提供代理服务的http协议版本1.0，1.1，默认设置为1.0版本 4、如果你的nginx服务器给2台web服务器做代理，负载均衡算法采用轮询，那么当你的一台机器web程序iis关闭，也就是说web不能访问，那么nginx服务器分发请求还是会给这台不能访问的web服务器

一、概述 　　AOP(Aspect Oriented Programming)，面向切面编程，通过预编译方式和运行期动态代理实现程序功能的统一维护的一种技术，是Spring框架中的一个重要内容。利用AOP可以对业务逻辑的各个部分进行隔离，从而使得业务逻辑各部分之间的耦合度降低，提高程序的可用性，提高开发效率。 　　主要功能体现在：日志记录，性能统计，安全控制，事务处理，异常处理等。 　　主要概念： 切面(Aspect):要实现的交叉功能，是应用系统模块化的一个切面或领域，常见的例子就是日志记录 连接点(JoinPoint):应用程序执行过程中插入切面的地点，可以是方法调用，异常抛出，切面代码在这些地方插入到你的应用流程中，添加新的行为 通知(Advice):通知切面的实际实现，它通知应用系统新的行为 切入点(Pointcut):定义了通知应该在应用在哪些连接点，通常通过指定类名和方法名或者匹配类名和方法名式样的正则表达式来指定切入点 目标对象(Target):被通知的对象，既可以是你编写的类也可以是你要添加定制行为的第三方类 　　AOP实现的关键在于AOP框架自动创建的AOP代理，AOP代理主要分为静态代理和动态代理两大类，其中静态代理是使用AOP框架提供的命令进行编译，从而在编译阶段就可以生成AOP代理类，也称为编译时增强，动态代理则在运行时借助于JDK动态代理

概要 scrapy下载中间件 UA池 代理池 详情 一.下载中间件 先祭出框架图： 下载中间件（Downloader Middlewares） 位于scrapy引擎和下载器之间的一层组件。 - 作用： （1）引擎将请求传递给下载器过程中， 下载中间件可以对请求进行一系列处理。比如设置请求的 User-Agent，设置代理等 （2）在下载器完成将Response传递给引擎中，下载中间件可以对响应进行一系列处理。比如进行gzip解压等。 我们主要使用下载中间件处理请求，一般会对请求设置随机的User-Agent ，设置随机的代理。目的在于防止爬取网站的反爬虫策略。 二.UA池：User-Agent池 - 作用：尽可能多的将scrapy工程中的请求伪装成不同类型的浏览器身份。 - 操作流程： 1.在下载中间件中拦截请求 2.将拦截到的请求的请求头信息中的UA进行篡改伪装 3.在配置文件中开启下载中间件 代码展示： #导包 from scrapy.contrib.downloadermiddleware.useragent import UserAgentMiddleware import random #UA池代码的编写（单独给UA池封装一个下载中间件的一个类） class RandomUserAgent(UserAgentMiddleware): def process_request

示意图 # https://coding.net/u/aminglinux/p/nginx/git/blob/master/proxy/pic.md Nginx正向代理 # https://coding.net/u/aminglinux/p/nginx/git/blob/master/proxy/z_proxy.md Nginx反向代理 # https://coding.net/u/aminglinux/p/nginx/git/blob/master/proxy/f_proxy.md #缓冲和缓存 https://coding.net/u/aminglinux/p/nginx/git/blob/master/proxy/bu_ca.md Nginx正向代理配置 Nginx正向代理使用场景并不多见。 需求场景1： 如果在机房中，只有一台机器可以联网，其他机器只有内网，内网的机器想用使用yum安装软件包，在能能联网的机器上配置一个正向代理即可。 Nginx正向代理配置文件 server { listen 80 default_server; resolver 119.29.29.29; location / { proxy_pass http://$host$request_uri ; } } Nginx正向代理配置执行说明 resolver 语法：resolver address;

squid的简单介绍 squid的概念 squid是一种用来缓存Internet数据的软件。接受来自人们需要下载的目标（object）的请求并适当的处理这些请求。也就是说，如果一个人想下载一web界面，他请求squid为他取得这个页面。squid随之连接到远程服务器并向这个页面发出请求。然后，squid显式地聚集数据到客户端机器，而且同时复制一份。当下一次有人需要同一页面时， squid可以简单的从磁盘中读到它，那样数据会立即传输到客户机上。 squid代理的作用 通过缓存的方式为用户提供Web访问加速 对用户的Web访问进行过滤控制 工作流程 当代理服务器中有客户端需要的数据时： a. 客户端向代理服务器发送数据请求； b. 代理服务器检查自己的数据缓存； c. 代理服务器在缓存中找到了用户想要的数据，取出数据； d. 代理服务器将从缓存中取得的数据返回给客户端。 当代理服务器中没有客户端需要的数据时： 客户端向代理服务器发送数据请求； 代理服务器检查自己的数据缓存； 代理服务器在缓存中没有找到用户想要的数据； 代理服务器向Internet 上的远端服务器发送数据请求； 远端服务器响应，返回相应的数据； 代理服务器取得远端服务器的数据，返回给客户端，并保留一份到自己的数据缓存中。 Squid代理服务器工作在TCP/IP应用层 Squid各种代理的定义 正向代理