http代理

什么是Urllib Urllib是python内置的HTTP请求库 包括以下模块 urllib.request 请求模块 urllib.error 异常处理模块 urllib.parse url解析模块 urllib.robotparser robots.txt解析模块 urlopen 关于urllib.request.urlopen参数的介绍： urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None) url参数的使用 先写一个简单的例子： import urllib.request ''''' Urllib 模块提供了读取web页面数据的接口，我们可以像读取本地文件一样读取www和ftp上的数据 urlopen 方法用来打开一个url read方法 用于读取Url上的数据 ''' response = urllib.request.urlopen('http://www.baidu.com') print(response.read().decode('utf-8')) urlopen一般常用的有三个参数，它的参数如下： urllib.requeset.urlopen(url,data,timeout)

一、HTTP协议详解之URL篇 http（超文本传输协议）是一个基于请求与响应模式的、无状态的、应用层的协议，常基于TCP的连接方式，HTTP1.1版本中给出一种持续连接的机制，绝大多数的Web开发，都是构建在HTTP协议之上的Web应用。 HTTP URL (URL是一种特殊类型的URI，包含了用于查找某个资源的足够的信息)的格式如下： http://host[":"port][abs_path ] http表示要通过HTTP协议来定位网络资源；host表示合法的Internet主机域名或者IP地址；port指定一个端口号，为空则使用缺省端口80；abs_path指定请求资源的URI；如果URL中没有给出abs_path，那么当它作为请求URI时，必须以“/”的形式给出，通常这个工作浏览器自动帮我们完成。 eg: 1、输入： www.guet.edu.cn 浏览器自动转换成： http://www.guet.edu.cn/ 2、http:192.168.0.116:8080/index.jsp 二、HTTP协议详解之请求篇 http请求由三部分组成，分别是：请求行、消息报头、请求正文 1、请求行以一个方法符号开头，以空格分开，后面跟着请求的URI和协议的版本，格式如下：Method Request-URI HTTP-Version CRLF 其中 Method表示请求方法

HTTP代理：www对于每一个上网的人都再熟悉不过了，www连接请求就是采用的http协议，所以我们在浏览网页，下载数据（也可采用ftp协议）时就是用http代理。它通常绑定在代理服务器的80、3128、8080等端口上 代理服务器英文全称是Proxy Server，其功能就是代理网络用户去取得网络信息。形象的说：它是网络信息的中转站。在一般情况下，我们使用网络浏览器直接去连接其他Internet站点取得网络信息时，须送出Request信号来得到回答，然后对方再把信息以bit方式传送回来。 代理服务器是介于浏览器和Web服务器之间的一台服务器，有了它之后，浏览器不是直接到Web服务器去取回网页而是向代理服务器发出请求，Request信号会先送到代理服务器，由代理服务器来取回浏览器所需要的信息并传送给你的浏览器。而且，大部分代理服务器都具有缓冲的功能，就好象一个大的Cache，它有很大的存储空间，它不断将新取得数据储存到它本机的存储器上，如果浏览器所请求的数据在它本机的存储器上已经存在而且是最新的，那么它就不重新从Web服务器取数据，而直接将存储器上的数据传送给用户的浏览器，这样就能显著提高浏览速度和效率。 更重要的是：Proxy Server(代理服务器)是Internet链路级网关所提供的一种重要的安全功能，它的工作主要在开放系统互联(OSI)模型的对话层。 主要的功能有： 　1

Apache反向代理 部署httpd反向代理 准备工作: 三台虚拟机Ip地址分配: linux-node1:192.168.1.5 (源码编译httpd，并且配置proxy用于代理后端的httpd服务) node1:192.168.1.3 node2:192.168.1.4 node1，node2主机分别安装httpd服务 # yum install -y httpd 编辑node1,node2节点上的httpd.conf配置文件 # vim /etc/httpd/conf/httpd.conf 修改监听端口号为8080，用于linux-node1的代理转发 Listen 8080 分别在node1,node2节点上执行 # echo "node1" >> /var/www/html/index.html # echo "node2" >> /var/www/html/index.html 启动httpd服务 #systemctl start httpd.service linux-node1主机上的操作如下： 安装所需要的依赖关系，httpd的运行环境 # yum install -y apr-devel apr-util-devel pcre-devel openssl-devel 下载httpd的源码安装包 # cd /usr/local/src && wget -c

正向代理 　　 　　是一个位于客户端和原始服务器(origin server)之间的服务器，为了从原始服务器取得内容，客户端向代理发送一个请求并指定目标(原始服务器)，然后代理向原始服务器转交请求并将获得的内容返回给客户端（目的是为了保护客户端用户） 　　配置文件： 　　 server { # 配置DNS解析IP地址，比如 Google Public DNS，以及超时时间（5秒） resolver 8.8.8.8; # 必需 resolver_timeout 5s; # 监听端口 listen 8080; access_log /home/reistlin/logs/proxy.access.log; error_log /home/reistlin/logs/proxy.error.log; location / { # 配置正向代理参数 proxy_pass $scheme://$host$request_uri; # 解决如果URL中带"."后Nginx 503错误 proxy_set_header Host $http_host; # 配置缓存大小 proxy_buffers 256 4k; # 关闭磁盘缓存读写减少I/O proxy_max_temp_file_size 0; # 代理连接超时时间 proxy_connect_timeout 30; #

跨域是指一个域下的文档或脚本试图去请求另一个域下的资源。也就是说如果协议，域名，或者端口有一个不同就是跨域。 那么为什么要用跨域？ 其实是因为浏览器出于安全考虑，我们都知道浏览器有同源策略。如果没有同源策略的情况下，A网站可以被任意来源的Ajax访问到内容，如果当前A网站还处于登录态，那么对方就可以通过Ajax获得A网站的任何消息。当然跨域可以用来房子CSRF攻击，但是并不能完全阻止CSRF。 为什么跨域并不能完全阻止CSRF攻击呢？举个例子： 当请求跨域了，请求是必然发出去的，只是浏览器拦截了响应。你可能会疑问明明通过表单的方式可以发起跨域请求，为什么 Ajax 就不会。因为归根结底，跨域是为了阻止用户读取到另一个域名下的内容，Ajax 可以获取响应，浏览器认为这不安全，所以拦截了响应。但是表单并不会获取新的内容，所以可以发起跨域请求。所以跨域并不能完全阻止 CSRF，因为请求毕竟是发出去了。 上面讲到同源策略，那什么是同源策略呢？ 同源策略（SOP）是一种约定，它是浏览器最核心也是最基本的安全功能。浏览器如果缺少同源策略，就会很容易收到xss，csrf等攻击。所谓同源是指“协议+域名+端口”三者相同，即便两个不同的域名指向同一个IP地址，也非同源。 下面来说一下几种方案来解决跨域问题 跨域的方案有： 1、通过jsonp跨域； 2、postMessage跨域； 3、跨域资源共享

1、概述 前后端分离的情况下肯定会跨域，这篇文章主要讲axios跨域的设置 2、本地开发环境配置 在项目的 根路径 下新建 vue.config.js ,一定是根路径，和src同级（这个坑我躺过，很舒服） module.exports = { //publicPath: "./" //线上环境添加，否则访问返回类似这样开头的内容 data:dfsjfskdjflksjfksjfla devServer: { port: '8088' , //指定前端访问的端口号 proxy: { '/api' : { target: 'http://localhost:8081/api' ,//代理地址 changeOrigin: true,//是否允许开启代理 pathRewrite: { //代理地址重写 '^/api' : '' } } } } } 在main.js加入如下代码，省去每次写接口前缀 axios.defaults.baseURL = "/api" 下面是访问的 this. $axios .get ( "liuliang" ) .then ( res = > { //window.console.log ( res.data.data.instances ) ; this.liuliang = res.data.data.instances } ) ; 目标地址：http:/

squid-cache 官网 http://www.squid-cache.org squid介绍及其简单配置 https://www.cnblogs.com/cherishry/p/5706736.html CentOS 7安装squid代理服务器 https://blog.csdn.net/ithomer/article/details/78136993 squid的概念 squid是一种用来缓存Internet数据的软件。接受来自人们需要下载的目标（object）的请求并适当的处理这些请求。也就是说，如果一个人想下载一web界面，他请求squid为他取得这个页面。squid随之连接到远程服务器并向这个页面发出请求。然后，squid显式地聚集数据到客户端机器，而且同时复制一份。当下一次有人需要同一页面时， squid可以简单的从磁盘中读到它，那样数据会立即传输到客户机上。 squid代理的作用 通过缓存的方式为用户提供Web访问加速 对用户的Web访问进行过滤控制 工作流程 当代理服务器中有客户端需要的数据时： a. 客户端向代理服务器发送数据请求； b. 代理服务器检查自己的数据缓存； c. 代理服务器在缓存中找到了用户想要的数据，取出数据； d. 代理服务器将从缓存中取得的数据返回给客户端。 当代理服务器中没有客户端需要的数据时： 客户端向代理服务器发送数据请求；

国内源： 新版ubuntu要求使用https源，要注意。 清华： https://pypi.tuna.tsinghua.edu.cn/simple 阿里云： http://mirrors.aliyun.com/pypi/simple/ 中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/ 华中理工大学： http://pypi.hustunique.com/ 山东理工大学： http://pypi.sdutlinux.org/ 豆瓣： http://pypi.douban.com/simple/ 临时使用： 可以在使用pip的时候加参数-i https://pypi.tuna.tsinghua.edu.cn/simple 例如：pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pyspider，这样就会从清华这边的镜像去安装pyspider库。 永久修改，一劳永逸： Linux下，修改 ~/.pip/pip.conf (没有就创建一个文件夹及文件。文件夹要加“.”，表示是隐藏文件夹) 内容如下： [global] index-url = https://pypi.tuna.tsinghua.edu.cn/simple [install] trusted-host=mirrors

正向代理：局域网中的客户端不能直接访问Internet，则需要通过代理服务器来访问，这种代理服务就称为正向代理。Nginx本身只支持http的正向代理，并通过ngx_http_proxy_connect_module模块支持http、https的正向代理； 反向代理：如果局域网向Internet提供资源服务，让Internet上的其他客户端来访问局域网内不的资源，使它们必须通过一个代理服务器来进行访问内部资源，这种服务就称为反向代理；Nginx通过proxy模块实现反向代理功能。 假设现在的环境是，局域网中只有一台机器：192.168.10.154配有某个公网IP，如此可以直接访问公网，而其他局域网服务器需要通过154上的代理来访问公网： 正向代理http： 1、# vim /etc/nginx/conf.d/proxy.conf server {　　 resolver 8.8.8.8; listen 9999; access_log /var/log/nginx/proxy.access.log main; error_log /var/log/nginx/proxy.error.log; location / { proxy_pass http://$http_host$request_uri; } } 2、在需要访问公网的服务器配置环境变量 # vim /etc