抓包

爬虫学习 09.移动端数据爬取

£可爱£侵袭症+ 提交于 2020-01-28 05:00:30
爬虫学习 09.移动端数据爬取 前言 随着移动市场的火热,各大平台都陆陆续续的推出了自己的移动端APP来拉拢吸引和便捷其广大的用户。那么在移动端的平台当时势必会出现大量有价值的信息和数据,那这些数据我们是否可以去享用一下呢?那么接下来就进入我们的移动端APP数据的爬虫中来吧。 今日概要 fiddler简介 手机APP抓包设置 fiddler设置 安装证书下载 安全证书安装 局域网设置 fiddler手机抓包测试 今日详情 1 什么是Fiddler? Fiddler是位于客户端和服务器端的HTTP代理,也是目前最常用的http抓包工具之一 。 它能够记录客户端和服务器之间的所有 HTTP请求,可以针对特定的HTTP请求,分析请求数据、设置断点、调试web应用、修改请求的数据,甚至可以修改服务器返回的数据,功能非常强大,是web调试的利器。 既然是代理,也就是说:客户端的所有请求都要先经过Fiddler,然后转发到相应的服务器,反之,服务器端的所有响应,也都会先经过Fiddler然后发送到客户端,基于这个原因,Fiddler支持所有可以设置http代理为127.0.0.1:8888的浏览器和应用程序。使用了Fiddler之后,web客户端和服务器的请求如下所示:[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-VLJF8Tnr-1578575735709)

wireshark抓包实战(二),第一次抓包

你说的曾经没有我的故事 提交于 2020-01-26 10:16:07
1.选择网卡。 因为wireshark是基于网卡进行抓包的,所以这时候我们必须选取一个网卡进行抓包。选择网卡一般有三种方式 (1)第一种 当我们刚打开软件是会自动提醒您选择,例如: (2)第二种 这时候大家根据自己的需求选择一个网卡就行了,还有一种是进入软件后想要切换,该怎么办呢? 依次选择“编辑”==>“首选项”==>"捕获"菜单,就可以选择自己要操作的网卡了 (3)第三种 点击 "捕获" ==> "选项"菜单,即可选取自己需要的接口 2.开始/停止抓包 即最左上角的蓝色和红色按钮即开始/停止抓包 3.栏目详解 (1)第一栏为标题栏 (1)第二层为主菜单栏 (2)第三层为工具/快捷操作栏 (3)第四层为过滤栏 (4)第五层为数据包列表区 (5)第六层为解包栏(针对某个包的详细) (6)第七层为详细字节数据 (7)第八层为全局统计 来源: CSDN 作者: IT-蓝月 链接: https://blog.csdn.net/ITlanyue/article/details/104017206

喜马拉雅FM抓包之旅

这一生的挚爱 提交于 2020-01-26 01:44:26
一、概述 最近学院组织安排大面积实习工作,今天刚刚发布了喜马拉雅FM实习生招聘的面试通知。通知要求:公司采用开放式题目的方式进行筛选,申请的同学须完成如下题目 写程序输出喜马拉雅FM上与“卓老板”相关(相关指用“卓老板”作关键词可以在喜马拉雅上搜索到)的所有专辑的信息,按总播放量倒序排列,每行是一个字符串,形如{"title" : "该专辑的名称", "anchorman" : "该专辑所属的账号名称", "info" : "该专辑的简介", "totalPlayCount" : 该专辑的总播放量}。可以只输出信息,不用下载专辑中的音频mp3文件。可以用C/C++、JavaScript、Java、Python、Go等语言编写。 二、分析 2.1 题目分析 数据要求就是JSON数据,很容易想到:要么去写爬虫,从喜马拉雅的官网页面上爬取数据;要么在app上进行抓包,分析接口。 2.2 说干就干 首先,我去了喜马拉雅的官网进行了操作。发现,在第一个页面上可以搜索,也能查看到一些数据,但是数据并没有按照播放量排序以及数据中无播放量这一数据。同时,对整个页面访问的过程进行抓包分析,发现好像并没有类似Json数据的传输。因此,解决方案只有进入每个专辑页面的详情页去获取播放量,再把这些数据汇总。 使用到的技术:用Python语言解析html页面

kali配置burp进行抓包

南笙酒味 提交于 2020-01-25 21:46:25
先配置好浏览器的代理 在kali打开浏览器后的步骤 按照如图所做 接着打开burp 按以下配置 我的靶机是win的环境,需要在这里找下内网的地址 接着kali中访问dvwa靶场 调节难度系数,最后点击submit保存,我们要用于测试burp 再点击选项卡切换到Brute Force(暴力破解)来测试burp 首先确定burp的抓包按钮打开了 回到靶场测试 我们填入账号密码测试 简单使用burp爆破密码 接着去payload模块 我们这里可以一个个添加密码,也可以直接导入一个字典 配置完成点击strat attack 来源: https://www.cnblogs.com/lcyzblog/p/12233356.html

vulnhub靶机Me and My Girlfriend : 1-Writeup渗透测试

柔情痞子 提交于 2020-01-25 00:59:12
一、信息收集 打开靶机后,先用netdiscover进行IP扫描: 确定靶机IP为192.168.1.106后,扫描它的端口开放情况: namp -sV -A -p 0-65535 192.168.1.106 发现靶机只开放了22和80端口,打开80端口看一下: 这段话的意思是:你是谁?黑客吗?对不起,本网站只能在本地访问! 然后试着先扫描一下目录: dirb http://192.168.1.106 发现一个robots.txt文件,打开一看又发现一个heyhoo.txt文件,再打开看后发现一句话,并没有什么用: 然后回到刚刚的那句话,查看页面源码可知: (也许你可以搜索如何使用x-forward -for) 了解完x-forward -for以后就开始利用它。 二、抓包改包 使用bp抓包: 添加上这一行,然后放回去: 会发现url上多了些东西,然后再继续抓包改包: 发现页面有4个超链接,经过尝试并没有发现什么其他漏洞,既然有个注册页面,就先注册一个账户进去看一下,在这里需要注意的是,再访问每个页面的时候都得进行抓包改包。 三、漏洞利用 先注册一个admin用户,看看注册得的这个用户进去以后是啥样的 进来以后是这样的,这句话并没有什么用,然后发现有一个配置文件的超链接,打开看一下: 再联想url中的id,好像是可以查看用户的,尝试修改抓包修改一下, 果然和我们猜想的一样

Sqli-Labs less20-22

≡放荡痞女 提交于 2020-01-23 21:50:21
less-20 第20关成功登陆之后会产生一个cookie,作为下次登陆的凭证(可以用于登陆其他人的qq空间) 这里我依然使用burp suite,其实火狐和谷歌上有许多插件可以改http头和cookie(例如 chrome工具: Cookie Editor ),掌握一个即可 抓包后发送到repeater: 改cookie:uname=admin',报错,说明存在注入漏洞 之后构造语句还是老步骤 查看列数:uname=' order by 4 # (注意闭合sql语句) 判断回显位置:uname='union select 1,2,3# 爆库:uname='union select 1,2,group_concat(schema_name)from information_schema.schemata# 爆表:uname='union select 1,2,group_concat(table_name)from information_schema.tables where table_schema='security'# 爆列:uname='union select 1,2,group_concat(column_name)from information_schema.columns where table_name='users'# 爆信息:uname='union

使用电脑或手机对App应用抓包(安卓测试有效)

元气小坏坏 提交于 2020-01-22 12:31:11
在电脑上对App抓包 首先,为什么选择fiddler,与charles优缺点对比 fiddler可以通过修改FiddlerScript达到更多的目的,charles不能 fiddler免费。charles要花钱,否则每半个小时就要重启一次,还要延时 平台性,charles是跨平台的(Windows、mac、Linux),fiddler只能在Windows、Linux中使用 其次,下载fiddler及证书生成插件 英文官方最新版下载地址 老版汉化版百度网盘链接 密码:8r11 推荐使用英文最新版,方便证书安装以及使用FiddlerScript功能 之后,配置fiddler 可参考: 使用fiddler实现手机抓包 手机app通常使用http协议,不用选择https协议解密。在我的使用中,https协议解密与http协议抓包冲突,不选择https协议解密的时候,手机app联网才正常并可正常使用http协议抓包 添加证书的时候,第二项“设置证书用途”我选成了WALN,改成“VPN和应用” 若证书有问题,需删除电脑端和手机端的证书,在官网下载 证书生成插件 ,并重新生成根证书 参考文章: fiddler小技巧 ; fiddler对安卓APP进行抓包 ; Fiddler在抓取https数据包时如何解决Tunnel to 443的问题 ; Python爬虫抓取手机APP的数据 ;

oscp——five86: 2

☆樱花仙子☆ 提交于 2020-01-22 09:02:39
0x00 前言 这个是练习的第9个机子。接着做five86: 2,实际上由于各种原因,我是在并行做两个机子。 0x01 实验 1.信息收集 1.1 ip 1.2 端口 2.攻击尝试 2.1 端口攻击尝试 21可以爆破,但是这里不优先进行爆破这个 2.2 web攻击尝试 打开访问之后(hosts绑定了的),发现是一个wp的站。之前做过,所以直接上wpscan 扫出来了几个用户 使用字典跑一下,找到了两个用户的密码 然后登录到后台,可以看到运行了这个插件 搜索一下漏洞,发先有RCE 然后传一个一句话上去 这里可以看到是一个web权限 为了方便操作,我们弹一个shell回来 但是发现这个弹回来的shell不舒服,再换一个,然后切换一下用户 在 stephen home目录下看了一下发现没有什么收获 用脚本跑一下,可以看到有ftp的进程。 传一个pspy跑一下 也同样可以看到ftp的连接,由于ftp是明文的,所以可以进行抓取 看一下网卡,然后准备抓包 这里我们抓包抓 veth035ca38的包 然后Wireshark分析一下,拿到一个账号密码paul esomepasswford 使用su进行权限变更,然后sudo -l一下 有一个service,使用sudo -u peter service …/…/bin/sh进行权限变更 然后这里看到有root的passwd的权限,修改密码

tcpdump实现和run_filter

梦想的初衷 提交于 2020-01-21 20:05:47
一、tcpdump 对于本机中进程的系统行为调用跟踪,strace是一个很好的工具,而在网络问题的调试中,tcpdump应该说是一个必不可少的工具,和大部分linux下优秀工具一样,它的特点就是简单而强大。 默认情况下,tcpdump不会抓取本机内部通讯的报文。根据网络协议栈的规定,对于报文,即使是目的地是本机,也需要经过本机的网络协议层,所以本机通讯肯定是通过API进入了内核,并且完成了路由选择。 二、linux下抓包原理 linux下的抓包是通过注册一种虚拟的底层网络协议来完成对网络报文(准确的说是网络设备)消息的处理权。当网卡接收到一个网络报文之后,它会遍历系统中所有已经注册的网络协议,例如以太网协议、x25协议处理模块来尝试进行报文的解析处理,这一点和一些文件系统的挂载相似,就是让系统中所有的已经注册的文件系统来进行尝试挂载,如果哪一个认为自己可以处理,那么就完成挂载。 当抓包模块把自己伪装成一个网络协议的时候,系统在收到报文的时候就会给这个伪协议一次机会,让它来对网卡收到的报文进行一次处理,此时该模块就会趁机对报文进行窥探,也就是把这个报文完完整整的复制一份,假装是自己接收到的报文,汇报给抓包模块。 先看一下网络层对于接收到的报文的处理方法 static int process_backlog(struct net_device *backlog_dev, int

Charles-抓包https请求

五迷三道 提交于 2020-01-20 21:10:00
Charles-抓包https请求 前言 使用Charles来获取请求结果进行调试也有一段时间了,但是每次的接口都是测试接口,也就是http协议的。http协议的接口抓包很容易,直接获取就行。 但是就在刚刚,上级突然叫我抓一下包,我爽快的答应了,拿来一看,一抓。是https的,https的接口可以抓取到,但是显示的是unknown,如下图 所以接下来让我来看一下怎么抓取https协议的接口。 开始前准备 确保手机跟电脑连接同一个WiFi,手机连接的WiFi必须配置HTTP代理。 开始 1、下载手机描述文件 打开Charles->help->SSL Proxying,选择图中的选项 弹出来这个界面,在手机浏览器输入这个地址即可 输入网址之后下载,下载完安装 信任证书,打开设置->通用->关于手机->证书信任设置 2、配置Charles 弹出SSL Proxying Setting之后,点击add,host输入*,port输入443 点击OK,重启Charles,然后发现可以愉快的抓包了 结束 以前我就想过要试一下抓https,但是一直没行动。直到上级交代任务才去做。做这行的怎么能这么懒呢! 来源: CSDN 作者: 卓敦 链接: https://blog.csdn.net/qq_34203367/article/details/104053043