fiddler

一直想爬取BiliBili的视频，无奈一直没有去研究一下。 最近，在旭哥的指点之下，用了Fiddler抓包，抓到了一直期待的视频包，完成了下载。 下面写一下我做这个爬虫的过程。 # 相关依赖 ： Fiddler+Python3 + Requests 下面看一下我做这个爬虫的具体步骤： 1. 进入某个具体视频的页面抓取视频包测试。 进入这个页面：https://www.bilibili.com/video/av26019104，如下图所示。点击播放按钮。 可以看到Fiddler已经抓到了很多包。别着急，现在还没有视频包出现。由于需要时间下载，所以具体视频包会过一会才能弹出来。 过大概一两分钟，就会看到这个包，如下图。可以清楚的看到这个是Flv形式的视频流的包，看这个包的大小也可以看出来，是相当的大。 下面分析一下这个包的具体参数。点击上图红色圈圈那个“Raw",会弹出下面这个窗口 可以看到是一个Get请求，请求的url和Headers都很清楚。 这时候就可以实验一下，来写一小段代码测试一下是否可以通过requests.get()方法来下载视频。 #######################################################################import requestswith open("D:\video\bilibili.mp4")

手机上无法直接查看网络请求数据，需要使用抓包工具。Fiddler是一个免费的web调试代理，可以用它实现记录、查看和调试手机终端和远程服务器之间的http/https通信。 fiddler没有手机客户端，都是安装在PC上，要实现对手机上的程序抓包，则需要对PC上的fiddler和手机端做一些配置。步骤如下： 一、PC端fiddler配置 1. 安装HTTPS证书 手机上的应用很多涉及到个人信息，采用比较安全的HTTPS加密过，而fiddler默认只捕获http会话而不抓取HTTPS报文，导致打开fiddler后就打不开https网页（比如百度），解决办法： 打开Fiddler->Tool->Fiddler Options->HTTPS tab，勾选上并Capture HTTPS CONNECTs（捕获 HTTPS 连接）和 Decrypt HTTPS traffic （HTTPS 请求解密），并安装证书（首次使用无证书，会弹出是否信任fiddler证书和安全提示，直接点击yes就行），重启Fiddler生效。 fiddler HTTPS配置 2. 允许手机远程连接 如果想要捕获手机上的通信数据，就需要手机连接上Fiddler代理，而Fiddler默认是不允许其他设备进行连接的，解决办法： 点击 Fiddler->Tools -> Options，在 Connections 面板选中

前言 问卷星是一个大学生都在用的问卷采集工具，每到期末，朋友圈总会有一大波问卷席卷而来。 可不可以自动填呢，可以的，小编找了一份问卷，使用 python 实现了一下，成功得到了几份问卷。 问卷星的反爬还有点厉害，涉及到无限 debugger。 无限 debugger 问卷链接： https://www.wjx.cn/m/99634699.aspx 打开链接，打开开发者工具，过了几秒后，就会被打上断电，暂停掉： 点击运行又会跳回这个页面，怎么点都没用，代码都查看不了，这就是无限 debugger，要解决呢，这里介绍两种办法， 第一是最直接简单的，取消断点，但这样做的话自己要打断点调试就不可以了，有局限。 第二种使用 Fiddler 修改网页返回内容过滤掉debugger标签可以破解此套路。 对于问卷星，使用第一种就可以了点击取消断点，再点击运行，就可以检查元素了： 接下来就可以编写问卷填写逻辑了。 填写逻辑 对于此问卷，有多页，都是选择题，对于这种需求首先想到的是 selenium 咯，模拟浏览器自动填写。 另外的思路就是破解提交问卷后的请求，但这种有点难度，就选最直接的方法了。 问卷星的问题虽然有多页，但所有页的所有问题的代码都可以在第一页的代码中看到： 上图中是问题第一页，在这一页，查看源代码，发现问卷的 8 页的代码标签都在这了，所以不需要翻页去查看后面的问题了。

1.application/x-www-form-urlencoded GET 方式，会将表单中的数据（键值对）经过 urlencode 编码后追加到 url 中。 POST 方式，会将表单中的数据经过 urlencode 编码后放在 request body 中。 2.multipart/form-data 当需要在表单内上传文件时（二进制流数据）时，就需要使用 multipart/form-data 。 "application/x-www-form-urlencoded" ，他是默认的 MIME 内容编码类型，一般可以用于所有的情况。但是他在传输比较大的二进制或者文本数据时效率极低。这种情况应该使用 "multipart/form-data" 。如上传文件或者二进制数据和非 ASCII 数据。 在 application/x-www-form-urlencoded 消息中 : ...... name=ryan+ou&email=ryan@rhythmtechnology.com ...... ( 不同的 field 会用 "&" 符号连接 ; 空格被替换成 "+";field 和 value 间用 "=" 联系 , 等等 ) 再看 multipart/form-data 消息中 : ...... -----------------------------7cd1d6371ec

http1.1协议 规定http 的请求方式有OPTIONS、GET、HEAD、POST、PUT、DELETE、TRACE、CONNECT几种方式。其中POST是一种最常用的向服务器提交数据的方法，本文主要讨论POST提交数据的四种方式。 application/x-www-form-urlencoded 这应该是最常见的 POST 提交数据的方式了。浏览器的原生 <form> 表单，如果不设置 enctype 属性，那么最终就会以 application/x-www-form-urlencoded 方式提交数据。请求类似于下面这样（无关的请求头在本文中都省略掉了）： POST http://www.example.com HTTP/1.1 Content-Type: application/x-www-form-urlencoded;charset=utf-8 title=test&sub%5B%5D=1&sub%5B%5D=2&sub%5B%5D=3 首先，Content-Type 被指定为 application/x-www-form-urlencoded；其次，提交的数据按照 key1=val1&key2=val2 的方式进行编码，key 和 val 都进行了 URL 转码。大部分服务端语言都对这种方式有很好的支持。例如 PHP 中，$_POST['title']