fiddler

定向爬取网页的内容 1.所谓定向爬取网页，我们首先要知道自己需要干什么，明确目标。 2.根据目标过滤自己的网址，说白了就是要找到自己想要目标的关键地址。比如网址中加载更多，这样的接口是没法浏览器上显示的。这时候我们就需要抓包工具fiddler、charles等 3.根据抓去的网址的加载信息，从信息中过滤自己想要的内容。 例子： 抓取腾讯视频中视频评论信息。 import ssl def getComment(url): head = {"Host": "video.coral.qq.com", "User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:61.0) Gecko/20100101 Firefox/61.0", "Accept": "*/*", "Accept-Language": "zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2", "Referer": "https://page.coral.qq.com/coralpage/comment/video.html", "Connection": "keep-alive"} cooker = http.cookiejar.CookieJar() opener = urllib.request

https://www.cnblogs.com/zhaoyanjun/p/7156748.html 来源： https://www.cnblogs.com/li9club/p/12381814.html

配置Fiddler 首先下载安装Fiddler，运行后选择菜单Tools->Fiddler Options。 选中"Decrpt HTTPS traffic"，Fiddler就可以截获HTTPS请求： 选中"Allow remote computers to connect"，是允许别的机器把HTTP/HTTPS请求发送到Fiddler上来： 配置完成后重启Fiddler。 iPhone上安装Fiddler证书 获取当前电脑的IP地址，例如我这里是：10.241.13.110 则在iPhone中打开safari并访问地址 http://10.241.13.110:8888 ，点"FiddlerRoot certificate"然后安装证书： 在iPhone上设置Fiddler为代理 在iPhone上打开设置->无线局域网，点击当前WIFI后面的i图标查看当前连接信息，滚动到底部的HTTP代理，切换为“手动”： 服务器输入电脑的ip地址，端口输入8888。 所有配置完成，随便在手机上操作应用程序，发生网络请求的都会被Fiddler拦截到。 来源： https://www.cnblogs.com/Darrenblog/p/9044581.html

一、fiddler状态栏的操作 1、控制台： 2、控制fiddler是否工作 3、控制会话的来源 4、记录当前会话展示的数量 Fiddler监控面板的使用 监控面板是fiddler最核心的功能之一。记录了来自于服务器端（webServer）的请求会话。包括页面的请求和静态文件的请求。状态面板主要显示的是会话及会话的状态。 会话的状态包括：状态码、协议、网站的域名、请求的服务器。 1、（Statistics）数据统计： 显示一些性能指标，这些性能指标有助于分析和优化web性能。 RTT（往返时间）：一个请求从发送时间到返回来的时间。是衡量一个请求的性能的一个重要的数据指标。 2、 Show chart ：把请求的数据以饼图的形式显示。 4、（Inspectors）对请求解包： 可以对抓到的请求包查看一些详细的内容，例如： 请求头（Header）：包括用户的使用的浏览器、请求携带的cookies、以及发送请求的域名。 5、（ AutoResponder）文件代理 ：可以把想要的服务器上返回的文件使用本地的文件做代理。可以定位线上bug。 6、 （Composer）前后端接口联调 ：可以伪造数据进行请求。可以不介入写任何JavaScript代码的情况下就可以实现与服务器之间的接口调试。 7、记录log日志： 8、（ Timeline）网站性能分析 ：需要选中网站的多条请求才有意义

结合自己的工作经验，谈谈问题为什么会产生，已经定位后端问题的一些经验总结。这个只是本人的一点想法而已，大家有啥想补充的都可以留言说明。 01 — Bug是如何产生的？ 计算机是精确的，而人是非理性的。这是Bug之所以会产生，且一直烧之不尽的本质原因。如果将编程比喻成施咒，一个字符、一个停顿，没有与正确的形式一致，咒语就不会生效。 另外还有一个次要原因：开发目标、所需资源往往都是 由 他人提供的， 程序员很少能够自己控制工作环境和工作目标。 综上，程序员能做的只是不断逼近完美，但是并没有办法将Bug从软件中彻底清除。 02 — 后端开发的现状 目前，搭建若干套环境是目前技术公司都会采用的方案。这里抽象为开发环境、测试环境、线上环境，三者之间共用一套程序，但是数据是隔离的。 开发环境由开发人员维护，主要用于验证方案，调试程序，变更频繁但是数据单一。由于开发能够直接介入，这个阶段出现的问题往往都能够被很快的解决。开发自测通过后，程序会被发布到测试环境。 测试环境相较于开发环境更加稳定，数据也更接近线上环境。开发收到的问题反馈大量的集中在这一阶段，而且由于不能直接介入，定位与解决问题的难度开始提升。测试人员测试通过后，程序正式向用户发布。 线上环境是直接面向用户的，流量大且请求多样。请求多样意味着正式环境能够暴露前两个阶段未能发现的问题，流量大意味着出现问题往往就会造成重大影响

1. 浏览器输入地址： http://pszx.nng.hnw.cn/DXC/index.jsp 2. 使用 fiddler ，选择 Rules->Automatic Breakpoints->Before Request 3. 输入账号 … 和密码 … ，点登录，请求会被 fiddler 截取 4. 在 fiddler 左侧请求列表中，双击 / DXC /ruser/getUserType.jsp?logname=…&0.2924573172384845 5. 点 Run to Completion ，到下个请求截取 6. 双击请求： / DXC /userLoginAuthentication.login ，修改 TextView 值 7. 点 Run to Completion 来源： https://www.cnblogs.com/273286078up/p/12355347.html

有没有感觉这一年过的很快,转眼就到了和2019将要分手的季节. 1.当做一件事,付出很多努力行不通的时候,不妨换一种途径 记得很久前去面试,面试官也是做软件测试的,聊得就是测试工作当中他比较关心的话题,其中抛出一个问题,问我使用抓包工具fiddler抓手机的包,不管使用什么办法就是不能抓取到数据! 我先梳理了几种方法: 　　首先保证电脑和手机使用的是同一个wifi,也要确保fiddler可以正常工作. 　　在手机端设置好代理之后,还需要安装证书,假如是ios,还需要打开信任证书开关. 　　当使用某种机型确实抓不到数据的时候,有没有更换机型,是否还会出现同样的问题. 他说,不管使用什么样的办法就是不行,我只能提议到,有没有想过更换一种抓包工具,比如charles,也比较不错的.虽然最后我不知道他有没有去尝试. 2.在工作中肯定都遇到同样的问题,后续的工作中我也被我的手机给'忽悠'过,手机设置代理之后,直接抛无法连接网络,能尝试的办法都尝试后也无济于事,后来只能使用模拟器来代替,把打包好的APK直接拖进去,模拟器会自动完成安装,只要在设置中整好代理配置,就可以愉快的工作了. 　fiddler和Charles有很多相似之处,假如你不想抓取很多不相干的数据,都可以抓取指定地址数据; fiddler的在filters 选项设置,点击User filters 选项后,在HOSTS选项列表中

chrome浏览器抓取HTTPS包 1、options>HTTPS 2. 勾选Capture HTTPS CONNECTS 3.勾选Decrypt Https traffic 4.若还是不行，则手动点击Actions->Reset all certificate，进行重装即可 火狐浏览器 抓取HTTPS包 1、打开火狐浏览器->选项->高级->网络->设置，选择使用系统代理，或者手动设置代理 2、安装fiddler证书 1)首先打开fiddler->options>HTTPS->Actions->export Root Certificate to Desktop 2)打开火狐浏览器->选项->高级->证书->查看证书->导入，刚才从fiddler中导出到桌面的证书，重启浏览器即可 app抓包： 手机代理设置，需在同一个局域网下 wifi设置代理 端口号8888 打开fiddler->options>connections->勾选Allow remote computes connect 其实还有一个坑，那就是手机安装fiddler证书，代理设置完成后，在浏览器中打开网页输入IP:端口 例如：http://192.168.1.173:8888 点击下载 Fiddler Root Certificate，下载完成后，转到wifi设置处安装证书， 找到下载该证书的目录下，点击安装即可。

一、copy菜单 1.Ctrl+U 拷贝选中session的URL 2.Ctrl+Shif+S 拷贝整个Session，包括请求/返回方式、请求地址、请求参数 3.Ctrl+C 拷贝session列表中显示的信息 二、remove菜单 1.Ctrl+X 删除全部的web session 2.Delete 删除选中的web session 3.Shift+Delete 删除未选中的web session 三、mark菜单 1.Ctrl+1/2/3/4/5/6 将选中的web session 标记未红色、蓝色、金黄色、绿色、橙色、紫色 2.Ctrl+0 取消标记 四、replay菜单 1.Shift+R 选中的web session 以原来的请求重新发送 五、其他快捷键 1.Ctrl+I 反向选中；取消选中的session，选中之前未选中的session 2.Alt+Enter 查看当前session的属性 3.Shift+Enter 在新的Fiddler窗口中启动该session的Inspectors 4.M 给选中的session添加描述 来源： https://www.cnblogs.com/tiffany2020/p/12329729.html

是想传json格式的数据，请求头可以这样写：（应该先勾选 post,然后写上正确滴请求地址） User-Agent: Fiddler Host: localhost:1455 <span style="color:#ff6666;"> 当然这个地方应该是你本地滴服务</span> Content-Type: application/json; charset=utf-8 Content-Length: 38 request body这样写： {"参数名":"参数值","参数名":"参数值"，...} 若是传的不是json数据，请求头可以这样写： User-Agent: Fiddler Host: localhost:1455 Content-Type: application/x-www-form-urlencoded; Content-Length: 38 request body这样写： name1=valule1&name2=value2... 注意事项： 在Fiddler2模拟POST请求的时候，在请求头的输入框里面，需要设置 ContentType:application/x-www-form-urlencoded Content-Type设置的很重要，设置的和request body里面的数据类型不一致，就不能传 若是上传的是文件直接选择文件就行 　 来源： https