http代理

爬虫 第三天 requests高级 自己完成的任务 pyquery 标签定位和数据的提取 urllib 如何进行请求的发送 requests模块高级 代理 模拟登陆 验证码 cookie 代理（反爬机制） 概念：代理服务器 代理服务器的作用： 拦截请求和响应，进行转发 代理和爬虫之间的关联是什么？ 如果pc端的ip被禁掉后，我们就可以使用代理的机制更换请求的ip 如何获取相关的代理服务器： 快代理 西祠代理 goubanjia 代理精灵：推荐。http://http.zhiliandaili.cn/ 匿名度： 透明：知道你使用了代理也知道你的真实ip 匿名：对方服务器知道你使用了代理机制，但是不知道你的真实ip 高匿：对方服务器不知道你使用了代理机制更不知道你的真实ip 类型： http：只可以拦截转发http协议的请求 https：只可以转发拦截https的请求 基本测试：代理的作用 基于百度搜索ip，搜索到的页面中会显示该请求对应的ip地址 语法结构 get/post（proxies={‘http/https’:‘ip:port’}） In [2]: import requests from lxml import etree headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64)

1、工具导航栏 Charles 顶部为菜单导航栏，菜单导航栏下面为工具导航栏。视图如下图所示： 工具导航栏中提供了几种常用工具： ：清除捕获到的所有请求。 ：红点状态说明正在捕获请求， 灰色状态说明目前没有捕获请求。 ：灰色状态说明是没有开启网速节流， 绿色状态说明开启了网速节流。 ：灰色状态说明是没有开启断点， 红色状态说明开启了断点。 ：编辑修改请求，点击之后可以修改请求的内容。 ：重复发送请求，点击之后选中的请求会被再次发送。 ：验证选中的请求的响应。 ：常用功能，包含了 Tools 菜单中的常用功能。 ：常用设置，包含了 Proxy 菜单中的常用设置。 2、主界面视图 Charles 主要提供两种查看封包的视图，分别名为 Structure 和 Sequence 。 Structure ： 此视图将网络请求按访问的域名分类。 Sequence ： 此视图将网络请求按访问的时间排序。 使用时可以根据具体的需要在这两种视图之前来回切换。请求多了有些时候会看不过来，Charles 提供了一个简单的 Filter 功能，可以输入关键字来快速筛选出 URL 中带指定关键字的网络请求。 对于某一个具体的网络请求，你可以查看其详细的请求内容和响应内容。如果请求内容是 POST 的表单，Charles 会自动帮你将表单进行分项显示。如果响应内容是 JSON 格式的，那么 Charles

1. Cache 的工作方式 Web Cache 作为一种网页缓存技术，可以在用户访问网站服务器的任何一个中间网元上实现。根据 HTTP 协议的定义，在一次网页访问中，用户从客户端发出请求到网站服务器响应请求内容的交互过程中，通常会涉及 4 个关键的网元：用户、代理、网关和 Web 服务器。当 Web Cache 作为代理使用时，通常工作在正向代理或者透明代理的模式，Web Cache 可以在这两种模式下实现访问内容副本的缓存和服务；Web Cache 应用最多的地方还是在网关上，这也是 CDN 的典型应用场景，网关通常工作在反向代理模式。 1.1 正向代理 正向代理（Forward Proxy）方式下，使用者需要配置其网络访问的代理服务器地址为 Cache 设备的地址，内网用户对互联网的所有访问都通过代理服务器代理完成。使用者也可以仅对特殊应用设置代理服务器，此时仅该类访问需要通过代理服务器代理完成。通常正向代理的缓存设备支持冗余配置，从而保证代理系统的稳定性和可用性。共向代理的工作示意图如下： 如上示例，用户主机和代理服务器部署在同一网络环境中，用户主机地址为 192.168.10.101，正向代理服务器的地址为 192.168.10.1，用户想要访问的外网服务器地址为 172.16.10.200。通常用户需要为所使用的主机配置正向代理服务器地址（192.168.10.1

1.配置spring容器 导入jar包 　　 　　　　com.springsource.net.sf.cglib-2.2.0.jar 　　　　com.springsource.org.aopalliance-1.0.0.jar 　　　　com.springsource.org.aspectj.weaver-1.6.8.RELEASE.jar 　　　　commons-logging-1.1.3.jar 　　　　spring-aop-4.2.2.RELEASE.jar 　　　　spring-beans-4.2.2.RELEASE.jar 　　　　spring-context-4.2.2.RELEASE.jar 　　　　spring-core-4.2.2.RELEASE.jar 　　　　spring-expression-4.2.2.RELEASE.jar 配置xml文件 1 <?xml version="1.0" encoding="UTF-8"?> 2 <beans xmlns="http://www.springframework.org/schema/beans" 3 xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" 4 xmlns:p="http://www.springframework.org/schema/p" 5

AOP中的概念 　　AOP（Aspect Orient Programming），也就是面向切面编程。可以这样理解，面向对象编程（OOP）是从静态角度考虑程序结构，面向切面编程（AOP）是从动态角度考虑程序运行过程。 　　AOP中的作用:常常通过 AOP 来处理一些具有横切性质的系统性服务，如事物管理、安全检查、缓存、对象池管理等，AOP 已经成为一种非常常用的解决方案。 AOP中的实现原理 　　如图：AOP 实际上是由目标类的代理类实现的。AOP 代理其实是由 AOP 框架动态生成的一个对象，该对象可作为目标对象使用。AOP 代理包含了目标对象的全部方法，但 AOP 代理中的方法与目标对象的方法存在差异，AOP 方法在特定切入点添加了增强处理，并回调了目标对象的方法。 Aspect(切面): 是通知和切入点的结合,通知和切入点共同定义了关于切面的全部内容---它的功能、在何时和何地完成其功能 joinpoint(连接点):所谓连接点是指那些被拦截到的点。在spring中,这些点指的是方法,因为spring只支持方法类型的连接点. Pointcut(切入点):所谓切入点是指我们要对那些joinpoint进行拦截的定义. 通知定义了切面的"什么"和"何时"，切入点就定义了"何地". Advice(通知): 所谓通知是指拦截到joinpoint之后所要做的事情就是通知.通知分为前置通知

什么是跨域？ 跨域是指一个域下的文档或脚本试图去请求另一个域下的资源，这里跨域是广义的。 跨域的根本原因就是浏览器，所以在后台是不存去前端一样上的跨域的，后台调后台是不会跨域的，但是必须网络是通的 广义的跨域： 1.) 资源跳转： A链接、重定向、表单提交 2.) 资源嵌入： <link>、<script>、<img>、<frame>等dom标签，还有样式中background:url()、@font-face()等文件外链 3.) 脚本请求： js发起的ajax请求、dom和js对象的跨域操作等 其实我们通常所说的跨域是狭义的，是由浏览器同源策略限制的一类请求场景。 什么是同源策略？ 同源策略/SOP（Same origin policy）是一种约定，由Netscape公司1995年引入浏览器，它是浏览器最核心也最基本的安全功能，如果缺少了同源策略，浏览器很容易受到XSS、CSFR等攻击。所谓同源是指"协议+域名+端口"三者相同，即便两个不同的域名指向同一个ip地址，也非同源。 同源策略限制以下几种行为： 1.) Cookie、LocalStorage 和 IndexDB 无法读取 2.) DOM 和 Js对象无法获得 3.) AJAX 请求不能发送 常见跨域场景 URL 说明 是否允许通信 http://www.domain.com/a.js http://www.domain

1、工具导航栏 Charles 顶部为菜单导航栏，菜单导航栏下面为工具导航栏。视图如下图所示： 工具导航栏中提供了几种常用工具： ：清除捕获到的所有请求。 ：红点状态说明正在捕获请求， 灰色状态说明目前没有捕获请求。 ：灰色状态说明是没有开启网速节流， 绿色状态说明开启了网速节流。 ：灰色状态说明是没有开启断点， 红色状态说明开启了断点。 ：编辑修改请求，点击之后可以修改请求的内容。 ：重复发送请求，点击之后选中的请求会被再次发送。 ：验证选中的请求的响应。 ：常用功能，包含了 Tools 菜单中的常用功能。 ：常用设置，包含了 Proxy 菜单中的常用设置。 2、主界面视图 Charles 主要提供两种查看封包的视图，分别名为 Structure 和 Sequence 。 Structure ： 此视图将网络请求按访问的域名分类。 Sequence ： 此视图将网络请求按访问的时间排序。 使用时可以根据具体的需要在这两种视图之前来回切换。请求多了有些时候会看不过来，Charles 提供了一个简单的 Filter 功能，可以输入关键字来快速筛选出 URL 中带指定关键字的网络请求。 对于某一个具体的网络请求，你可以查看其详细的请求内容和响应内容。如果请求内容是 POST 的表单，Charles 会自动帮你将表单进行分项显示。如果响应内容是 JSON 格式的，那么 Charles

本文概要 session处理cookie proxies参数设置请求代理ip 基于线程池的数据爬取 引入 有些时候，我们在使用爬虫程序去爬取一些用户相关信息的数据（爬取张三“人人网”个人主页数据）时，如果使用之前requests模块常规操作时，往往达不到我们想要的目的，例如： #!/usr/bin/env python # -*- coding:utf-8 -*- import requests if __name__ == "__main__": #张三人人网个人信息页面的url url = 'http://www.renren.com/289676607/profile' #伪装UA headers={ 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36', } #发送请求，获取响应对象 response = requests.get(url=url,headers=headers) #将响应内容写入文件 with open('./renren.html','w',encoding='utf-8') as fp: fp.write(response.text)

今日内容 session处理cookie proxies参数设置请求代理ip 基于线程池的数据爬取 知识点回顾 xpath的解析流程 bs4的解析流程 常用xpath表达式 常用bs4解析方法 引入 有些时候，我们在使用爬虫程序去爬取一些用户相关信息的数据（爬取张三“人人网”个人主页数据）时，如果使用之前requests模块常规操作时，往往达不到我们想要的目的，例如： #!/usr/bin/env python # -*- coding:utf-8 -*- import requests if __name__ == "__main__": #张三人人网个人信息页面的url url = 'http://www.renren.com/289676607/profile' #伪装UA headers={ 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36', } #发送请求，获取响应对象 response = requests.get(url=url,headers=headers) #将响应内容写入文件 with open('./renren.html','w'

WebSocket 协议给我们提供了一个创建可以支持客户端和服务端进行双向实时通信的web应用程序的方法。相比之前使用的方法，WebSocket（作为HTML5的一部分）可以使我们更容易开的发出这种类型的应用程序。绝大多数的现代浏览器都支持WebSocket，包括火狐，IE，Chrome，Safari以及Opera等，同时，越来越多的服务端框架也开始支持WebSocket了。 对于企业应用来说，我们需要多个WebSocket服务器来保障性能和高可用性，因此我们迫切的需要对WebSocket协议进行负载均衡。NGINX自从1.3版本就开始支持WebSocket了，并且可以为WebSocket应用程序做 反向代理 和 负载均衡 。 WebSocket 和HTTP协议不同，但是WebSocket中的握手和HTTP中的握手兼容，它使用HTTP中的Upgrade协议头将连接从HTTP升级到WebSocket。这使得WebSocket程序可以更容易的使用现已存在的基础设施。例如，WebSocket可以使用标准的HTTP端口 80 和 443，因此，现存的防火墙规则也同样适用。 一个WebSockets的应用程序会在客户端和服务端保持一个长时间工作的连接。用来将连接从HTTP升级到WebSocket的HTTP升级机制使用HTTP的Upgrade和Connection协议头