fiddler

用Python爬取Bilibili上二次元妹子的视频

你。 提交于 2021-02-17 05:35:40
一直想爬取BiliBili的视频,无奈一直没有去研究一下。 最近,在旭哥的指点之下,用了Fiddler抓包,抓到了一直期待的视频包,完成了下载。 下面写一下我做这个爬虫的过程。 # 相关依赖 : Fiddler+Python3 + Requests 下面看一下我做这个爬虫的具体步骤: 1. 进入某个具体视频的页面抓取视频包测试。 进入这个页面:https://www.bilibili.com/video/av26019104,如下图所示。点击播放按钮。 可以看到Fiddler已经抓到了很多包。别着急,现在还没有视频包出现。由于需要时间下载,所以具体视频包会过一会才能弹出来。 过大概一两分钟,就会看到这个包,如下图。可以清楚的看到这个是Flv形式的视频流的包,看这个包的大小也可以看出来,是相当的大。 下面分析一下这个包的具体参数。点击上图红色圈圈那个“Raw",会弹出下面这个窗口 可以看到是一个Get请求,请求的url和Headers都很清楚。 这时候就可以实验一下,来写一小段代码测试一下是否可以通过requests.get()方法来下载视频。 #######################################################################import requestswith open("D:\video\bilibili.mp4")

使用fiddler实现手机抓包

梦想的初衷 提交于 2021-02-16 17:44:23
手机上无法直接查看网络请求数据,需要使用抓包工具。Fiddler是一个免费的web调试代理,可以用它实现记录、查看和调试手机终端和远程服务器之间的http/https通信。 fiddler没有手机客户端,都是安装在PC上,要实现对手机上的程序抓包,则需要对PC上的fiddler和手机端做一些配置。步骤如下: 一、PC端fiddler配置 1. 安装HTTPS证书 手机上的应用很多涉及到个人信息,采用比较安全的HTTPS加密过,而fiddler默认只捕获http会话而不抓取HTTPS报文,导致打开fiddler后就打不开https网页(比如百度),解决办法: 打开Fiddler->Tool->Fiddler Options->HTTPS tab,勾选上并Capture HTTPS CONNECTs(捕获 HTTPS 连接)和 Decrypt HTTPS traffic (HTTPS 请求解密),并安装证书(首次使用无证书,会弹出是否信任fiddler证书和安全提示,直接点击yes就行),重启Fiddler生效。 fiddler HTTPS配置 2. 允许手机远程连接 如果想要捕获手机上的通信数据,就需要手机连接上Fiddler代理,而Fiddler默认是不允许其他设备进行连接的,解决办法: 点击 Fiddler->Tools -> Options,在 Connections 面板选中

问卷星自动填写

谁说我不能喝 提交于 2021-02-16 05:46:44
前言 问卷星是一个大学生都在用的问卷采集工具,每到期末,朋友圈总会有一大波问卷席卷而来。 可不可以自动填呢,可以的,小编找了一份问卷,使用 python 实现了一下,成功得到了几份问卷。 问卷星的反爬还有点厉害,涉及到无限 debugger。 无限 debugger 问卷链接: https://www.wjx.cn/m/99634699.aspx 打开链接,打开开发者工具,过了几秒后,就会被打上断电,暂停掉: 点击运行又会跳回这个页面,怎么点都没用,代码都查看不了,这就是无限 debugger,要解决呢,这里介绍两种办法, 第一是最直接简单的,取消断点,但这样做的话自己要打断点调试就不可以了,有局限。 第二种使用 Fiddler 修改网页返回内容过滤掉debugger标签可以破解此套路。 对于问卷星,使用第一种就可以了点击取消断点,再点击运行,就可以检查元素了: 接下来就可以编写问卷填写逻辑了。 填写逻辑 对于此问卷,有多页,都是选择题,对于这种需求首先想到的是 selenium 咯,模拟浏览器自动填写。 另外的思路就是破解提交问卷后的请求,但这种有点难度,就选最直接的方法了。 问卷星的问题虽然有多页,但所有页的所有问题的代码都可以在第一页的代码中看到: 上图中是问题第一页,在这一页,查看源代码,发现问卷的 8 页的代码标签都在这了,所以不需要翻页去查看后面的问题了。

C# form表单提交enctype="multipart/form-data" 与 enctype="application/x-www-form-urlenco...

放肆的年华 提交于 2021-02-10 16:58:25
1.application/x-www-form-urlencoded GET 方式,会将表单中的数据(键值对)经过 urlencode 编码后追加到 url 中。 POST 方式,会将表单中的数据经过 urlencode 编码后放在 request body 中。 2.multipart/form-data 当需要在表单内上传文件时(二进制流数据)时,就需要使用 multipart/form-data 。 "application/x-www-form-urlencoded" ,他是默认的 MIME 内容编码类型,一般可以用于所有的情况。但是他在传输比较大的二进制或者文本数据时效率极低。这种情况应该使用 "multipart/form-data" 。如上传文件或者二进制数据和非 ASCII 数据。 在 application/x-www-form-urlencoded 消息中 : ...... name=ryan+ou&email=ryan@rhythmtechnology.com ...... ( 不同的 field 会用 "&" 符号连接 ; 空格被替换成 "+";field 和 value 间用 "=" 联系 , 等等 ) 再看 multipart/form-data 消息中 : ...... -----------------------------7cd1d6371ec

Http post 常用的四种请求方式

纵饮孤独 提交于 2021-02-10 08:59:08
http1.1协议 规定http 的请求方式有OPTIONS、GET、HEAD、POST、PUT、DELETE、TRACE、CONNECT几种方式。其中POST是一种最常用的向服务器提交数据的方法,本文主要讨论POST提交数据的四种方式。 application/x-www-form-urlencoded 这应该是最常见的 POST 提交数据的方式了。浏览器的原生 <form> 表单,如果不设置 enctype 属性,那么最终就会以 application/x-www-form-urlencoded 方式提交数据。请求类似于下面这样(无关的请求头在本文中都省略掉了): POST http://www.example.com HTTP/1.1 Content-Type: application/x-www-form-urlencoded;charset=utf-8 title=test&sub%5B%5D=1&sub%5B%5D=2&sub%5B%5D=3 首先,Content-Type 被指定为 application/x-www-form-urlencoded;其次,提交的数据按照 key1=val1&key2=val2 的方式进行编码,key 和 val 都进行了 URL 转码。大部分服务端语言都对这种方式有很好的支持。例如 PHP 中,$_POST['title']

Application works with fiddler ON and doesn't works without fiddler?

末鹿安然 提交于 2021-02-09 10:50:37
问题 I have a silverlight application it makes HTTPS request, it works fine when I am tracing the application with fiddler ON, But it throws Remote server not found error when I don't have fiddler running 回答1: I ran into this recently, in Fiddler Options->HTTPS I had 'ignore server certificate errors' checked. Unchecked that and Fiddler displayed a certificate error. Ended up adding the code mentioned here http://social.msdn.microsoft.com/Forums/en-US/ncl/thread/43a933b8-e2b1-40a7-ac23

401 unauthorized Azure management api

戏子无情 提交于 2021-02-08 10:21:17
问题 I'm calling azure management api to get the list of instances in a Cloud Service. The following code works when fiddler is active and constantly returns 401 unauthorized when it's not going through fiddler. I'm unable to determine the reason. Without Fiddler, the token is correctly returned, therefore, I don't understand why I'm getting an unauthorized. private HostedService GetCloudServiceProperties(string serviceName) { if (_client == null) { GetClient(); } string serviceProperties = string

XML request is not well-formed or request is incomplete

﹥>﹥吖頭↗ 提交于 2021-02-07 07:56:13
问题 We are using virtual merchant payment gateway in our application: https://www.myvirtualmerchant.com/VirtualMerchant/download/developerGuide.pdf I am trying to record a CCSALE transaction but I keep getting this error: <?xml version="1.0" encoding="UTF-8"?> <txn><errorCode>6042</errorCode><errorName>Invalid Request Format</errorName><errorMessage>XML request is not well-formed or request is incomplete.</errorMessage></txn> The XML I am passing in request in Fiddler POST is: <txn> <ssl_merchant

XML request is not well-formed or request is incomplete

对着背影说爱祢 提交于 2021-02-07 07:55:59
问题 We are using virtual merchant payment gateway in our application: https://www.myvirtualmerchant.com/VirtualMerchant/download/developerGuide.pdf I am trying to record a CCSALE transaction but I keep getting this error: <?xml version="1.0" encoding="UTF-8"?> <txn><errorCode>6042</errorCode><errorName>Invalid Request Format</errorName><errorMessage>XML request is not well-formed or request is incomplete.</errorMessage></txn> The XML I am passing in request in Fiddler POST is: <txn> <ssl_merchant

Why won't fiddler install my certificate windows 8? - unable to configure windows to trust Fiddler Root certificate

耗尽温柔 提交于 2021-02-07 03:22:42
问题 I have an application which is making calls to twitter and I need to inspect the traffic so that I can learn more about oAuth. When I double click the ssl traffic I get a yellow box which prompts me to go and change the options (by the way I am running my app through a proxy). After having read about using a certificate on my machine which fiddler creates I have clicked the link to let fiddler install certificates on my machine by following these instructions... http://docs.telerik.com