抓包

就是简简单单写程序的我为什么需要抓包？ 其实在平时写demo的时候需要用到一些图片和文本的资源的，但是需求量比较大，这个时候就想去网站上面直接复制啊，然后图片另存为啊，什么的一系列繁琐的操作。 但是现在不需要了，你只要看到这篇文章，你就很轻松了。 本项目Github地址： https://github.com/xiaoqiuxiong/reptileDemo 1.在你的电脑桌面新建一个reptileDemo文件夹。 然后进入文件夹，然后在改文件夹目录下打开cmd。输入下图所示回车，连续按回车即可。 初始化完之后，你会在文件夹里面看下package.json文件，里面就是一些基本的包管理基本配置。 2.cmd输入下图所示，然后回车 这步是安装cheerio模块，主要是用来解释html和使用jqueryAPI来操作请求返回的html。 3.cmd输入下图所示，然后回车 这步是安装request模块，主要是用来发请求处理的。 4.文件夹内添加一个data文件夹，用来存放抓包的数据。 5.文件夹内新建app.js文件。添加内容如下: let fs = require('fs'); let cheerio = require('cheerio'); let request = require('request'); let path = require('path'); let i = 0;

spy-debugger用法以及介绍： URL： https://blog.csdn.net/weixin_37856861/article/details/83384098 fiddler用法以及介绍： URL： https://blog.csdn.net/sky_monkey/article/details/52761855 来源： https://www.cnblogs.com/C-target/p/11393695.html

关于要爬取的目标数据 以NBA抖音号为起始，首页包括关注数，点赞数和粉丝数（此部分是加密数据，但是fiddler抓包中还有一个是未加密的数据） 加密数据是分享页上的数据，破解方法可以参考这位老哥的 https://sergiojune.com/2019/01/21/%E5%B0%8F%E7%99%BD%E4%B9%9F%E5%8F%AF%E4%BB%A5%E7%9C%8B%E4%BC%9A%E7%9A%84%E7%A0%B4%E8%A7%A3%E6%8A%96%E9%9F%B3%E5%AD%97%E4%BD%93%E5%8F%8D%E7%88%AC/ 下拉是视频列表，目标数据是单个视频的url，评论（fiddler可获取） 关于工具使用 主要是以fiddler为主，可配合appium或者Airtest自动化控制手机下拉刷视频（主要是为了获取单个视频的url，这个视频是无水印的），可参考 https://www.cnblogs.com/stevenshushu/p/9635097.html 重点来了，爬虫的算法实现： 首选appium自动化控制手机，找到NBA首页，fiddler抓包开始，（2,3可同时进行，将所有url都保存下来，可以多线程采集） 1：抓api-eagle.amemv.com开头的主页信息url，保存至本地或数据库，可获取未加密的关注数，点赞数和粉丝数， 2

第一步：使用charles进行https抓包 https://www.jianshu.com/p/7a88617ce80b 使用charles进行https抓包 使用Charles进行HTTPS抓包（包括安装信任证书以及抓包 出现无法抓包unknown和证书无效解决方案） 因为微信小程序都是https的请求，所以必须要能解析https，要解析https，就要证书 最近很多同行使用第一步所说的配置之后，发现获取的https响应数据依然是乱码。所以，请进行第二步设置。 第二步：Android 7.0 之后抓包 unknown 和证书无效的解决方案（无需改代码） https://blog.csdn.net/ShadowySpirits/article/details/79756274 其中那个把用户证书改成系统证书的命令太风骚了，我忍不住要记下来： 系统证书目录：/system/etc/security/cacerts/ 其中的每个证书的命名规则如下： <Certificate_Hash>.<Number> 文件名是一个Hash值，而后缀是一个数字。 文件名可以用下面的命令计算出来： openssl x509 -subject_hash_old -in <Certificate_File> 这个< Certificate_File > 就是你下载的证书的名字，你计算出hash值以后

引言 HTTP应用层的抓包已经成为日常工作测试与调试中的重要一环，最近接触新项目突然之间发现之前的抓包手段都不好使了，顿时模块与模块之间的前端与服务之间的交互都变成了不可见，整个人都好像被蒙住了眼睛。 其实自己也很早就发现平时使用的支付宝等APP使用Fiddler 或 Charles这类代理抓包软件默认情况下就无法抓取请求的，但使用Wireshark这类网卡抓包软件可以看到这些APP的流量，而已这些流量也表明这些APP使用的主要应用层协议仍然是HTTP（https），不过我们的代理抓包工具却失效了。如今终于在实际工作中遇到了，也不得不解决了，毕竟眼前有东西挡住会让我浑身不适。 代理抓包原理 为了弄明白为什么Fiddler 或 Charles对这些APP无效，我们有必要先了解代理抓包我原理（当然您不想了解也是完全可以的，直接看后面的 实际操作 就可以完成，原理分析什么的可以有兴趣随时回来看） Fiddler 或 Charles 这类使用的代理的抓包软件与Wireshark是完全不同的（Wireshark 使用的网卡数据复制，只要是经过指定网卡都会被抓取），其只能对使用代理的应用层网络协议生效，比如常见的HTTP（https），Websocket 。 这里以HTTP为例简单说明下 客户端需要完成一次HTTP请求，通常需要先找到服务器，客户端会根据http请求中url的主机名

1 引言 在编写网络爬虫时，第一步（也是极为关键一步）就是对网络的请求（request）和回复（response）进行分析，寻找其中的规律，然后才能通过网络爬虫进行模拟。浏览器大多也自带有调试工具可以进行抓包分析，但是浏览器自带的工具比较轻量，复杂的抓包并不支持。且有时候需要编写手机APP爬虫，这时候就必须需要用到其他的专业抓包工具，例如本篇介绍的Fiddler。 2 Fiddler简介 Fiddler是位于客户端和服务器端的HTTP代理，也是目前最常用的http抓包工具之一,它能够记录客户端和服务器之间的所有 HTTP请求，可以针对特定的HTTP请求，分析请求数据、设置断点、调试web应用、修改请求的数据，甚至可以修改服务器返回的数据，功能非常强大，是web调试的利器。 当然，除了Fiddler之外，抓包工具还有Firebug、Wireshark、Httpwatch等，为什么我们要选择fiddler呢？原因如下： （1）Firebug虽然可以抓包，但是对于分析http请求的详细信息，不够强大。模拟http请求的功能也不够，且firebug常常是需要“无刷新修改”，如果刷新了页面，所有的修改都不会保存。 （2）Wireshark是通用的抓包工具，但是比较庞大，对于只需要抓取http请求的应用来说，似乎有些大材小用，总有一点杀鸡用牛刀的感觉。 （3

fidder是会占用 jupyter 端口的，在fidder里边最上边找到tools---》options--》connections里边的8888改成别的重启jupyter就好了 来源： https://www.cnblogs.com/kuck/p/11363604.html

在上一篇中介绍了Fiddler的基本使用方法。通过上一篇的操作我们可以直接抓取浏览器的数据包。但在APP测试中，我们需要抓取手机APP上的数据包，应该怎么操作呢？ Andriod配置方法： 1）确保手机和Fiddler所在主机在同一个局域网中 2）获取Fiddler所在主机的ip地址，通过cmd命令进入命令编辑器，输入ipconfig -all，找到IPv4地址，记下该地址 3）对手机所连接的无线网络进行设置，点击WLAN，长按与Fiddler所在主机在同一个局域网的wifi，长按点击【修改网络】，选中【显示高级选项】，代理设置为手动，输入代理服务器的主机名和端口后保存。代理服务器的主机名即2）中的IPv4地址，端口为Fiddler上配置的端口（默认为8888），可以到Fiddler菜单栏中【Tool】-【Fiddler Option】的【Connections】中查看。 4）在手机浏览器上输入：http://IPv4地址:端口（例如：http://192.168.11.29:8888），点击【FiddlerRoot certificate】下载安装Fiddler证书。 5）若在浏览器上无法打开该地址，需要做两项检查：一、确保在浏览器、wifi中配置的代理与Fiddler所在主机地址和Fiddler中配置的端口，三者保持一致；二、确保在Fiddler-【Tools】-

台式机fiddler手机抓包 因为兴趣，最近研究了一下，如何对手机抓包，自己做个笔记，方便以后查看，现在简单说一下操作流程及操作中遇到的问题。 一、设备 1.无线USB网卡，电脑、手机。 因为手机用fiddler抓包的时候，需要电脑和手机要在同一个局域网，我自己的电脑是台式机，所以就买了一个无线USB网卡（这个在某宝上很多，根据自己需求，选择一款即可，我自己买了一个不到30rmb），如果是笔记本就不需要了。 二、配置 1.电脑参数配置 电脑端打开Fiddler菜单项Tools->TelerikFiddler Options->HTTPS， 勾选CaptureHTTPS CONNECTs, 勾选Decrypt HTTPS traffic和Ignore servercertificate errors两项,点击OK（首次点击会弹出是否信任fiddler证书和安全提示，直接点击yes就行，具体见下图） 2.设置手机 打开手机的WLAN，长按需要连接的wifi，修改网络，代理选择手动，服务器主机名填写电脑的ip，端口填写8888，这里需要特别注意，电脑要和手机要连同一个wifi，且电脑的ip应该填如下这个（无线对应的Ip），这里填写不对的话，后面手机设置好以后不能上网。 3.手机下载证书 打开手机浏览器，地址栏输入http://192.168.1.104：8888

点开网页，显示 404，告诉我们404.php的存在，我们先试试404.php，打开是haha四个字母，源码和抓包都没看到什么，然后其抓包，也没什么，无功，返回原网页，抓包，没发现什么的感觉，go一遍，在response中发现了刚刚看到的haha四个字母 百度一下 没搜到什么。。。。据别的 wp 里说的好像是提示我们要注意 http 的请求方法。。。（具体原因也没说） 这里就继续接着写吧 据菜鸟教程， http 有 9 种请求方法 而这里就在抓到的包种逐个修改 http 请求类型进行尝试 发现当 http 以 options 的形式进行请求时出现了文件查询的操作 去 url 中试试访问 /1.php ，结果 not here plz trying ， 意思是不在这里，请尝试其他方法。 。。。。无果，在 url 中加入 /?f=1.php 试试，没什么显示，查源码，没东西，抓包 正常返回了，也许这里能读取文件，就试试 将 OPTIONS 后面的文件改为 flag.php 。。。。。不行 据别的 wp 里说这里是 apache 搭建的网页所以根目录里通常有 .htaccess 配置文件。。。 反正我是没找到哪里说的是 apache 搭建的。。。 百度了一下，似乎是通过 HEAD 来判断的，这个操作我还不会 好吧，先展示不管，继续做题 直接 ?f=.htaccess 又是两个文件