App抓包原理 1.客户端向服务器发起HTTPS请求 2.抓包工具拦截客户端的请求,伪装成客户端向服务器进行请求 3.服务器向客户端(实际上是抓包工具)返回服务器的CA证书 4.抓包工具拦截服务器的响应,获取服务器证书公钥,然后自己制作一张证书, 将服务器证书替换后发送给客户端。(这一步,抓包工具拿到了服务器证书的公钥) 5.客户端接收到服务器(实际上是抓包工具)的证书后,生成一个对称密钥, 用抓包工具的公钥加密,发送给“服务器”(抓包工具) 6.抓包工具拦截客户端的响应,用自己的私钥解密对称密钥,然后用服务器证书公钥加密, 发送给服务器。(这一步,抓包工具拿到了对称密钥) 7.服务器用自己的私钥解密对称密钥,向客户端(抓包工具)发送响应 8.抓包工具拦截服务器的响应,替换成自己的证书后发送给客户端 爬虫的本质就是「骗」过服务器,各种反反爬手段就是增强信任的过程,不停的让服务器相信你是自己人 如果你被反爬了,就是你骗术不精,被发现了。 App数据好抓吗? App数据有易有难,目前我还是停留在简单的部分,这里简单说下我理解的(如果说错求放过): 简单: app的数据比web端数据更容易抓取,基本都是http、https协议,返回的数据格式也相对规整, 大多是json格式 困难: 1.需要反编译的知识,需要分析加密算法 2.需要脱壳+反编译 3.需要破解各式各类的签名,证书。。