Charles

背景：以前公司的业务情况，很少用到app抓包工具。这边app比较火，app上的问题也比较多；测试、开发都比较熟练的运用抓包，作为运维，当然也不能落后啦。 工具： Charles 当前收费；在做移动开发时，调试与服务器端的网络通讯协议，截取网络封包来分析。 charles 官网： https://www.charlesproxy.com/ 安装：我临时下载的是一个破解版本 v4.0.1 我的电脑系统：mac 10.14 如何使用Charles： 打开软件： Charles 主要提供两种查看封包的视图，分别名为 “Structure” 和 “Sequence”。 ①. Structure 视图将网络请求按访问的域名分类。 ②. Sequence 视图将网络请求按访问的时间排序。 设置抓移动设备上的网络请求包 Proxy→Proxy Settings 查看默认是8888端口 查看本机IP地址：Help -> Local IP Addresses 查看到本机IP 192.168.0.6 配置手机代理 无线局域网→点进wifi→最下面HTTP代理，配置代理→手动； 填写 上两步查询到的IP和端口，点击右上角存储。 打开要调试的APP，请求就会先发送到Charles，然后验证是否允许访问。 点击允许 Proxy→Access Control Settings 可以查看到允许的ip

在 大前端时代的安全性 一文中讲了 Web 前端和 Native 客户端如何从数据安全层面做反爬虫策略，本文接着之前的背景，将从 API 数据接口 的层面讲一种技术方案，实现数据安全。 一、 API 接口请求安全性问题 API 接口存在很多常见的安全性问题，常见的有下面几种情况 即使采用 HTTPS，诸如 Charles、Wireshark 之类的专业抓包工具可以扮演证书颁发、校验的角色，因此可以查看到数据 拿到请求信息后原封不动的发起第二个请求，在服务器上生产了部分脏数据（接口是背后的逻辑是对 DB 的数据插入、删除等） 所以针对上述的问题也有一些解决方案： HTTPS 证书的双向认证解决抓包工具问题 假如通过网络层高手截获了 HTTPS 加证书认证后的数据，所以需要对请求参数做签名 「防重放策略」解决请求的多次发起问题 请求参数和返回内容做额外 RSA 加密处理，即使截获，也无法查看到明文。 关于 HTTPS 证书双向认证和 Web 端反爬虫技术方案均在 大前端时代的安全性 一文中有具体讲解。接下来引出本文主角：防重放 二、 请求参数防篡改 在之前的文章也讲过，HTTPS 依旧可以被抓包，造成安全问题。抓包工具下数据依旧是裸奔的，可以查看 Charles 从入门到精通 文中讲的如何获取 HTTPS 数据。 假如通过网络层高手截获了 HTTPS 加证书认证后的数据

Charles 是一个 HTTP 代理服务器 ,HTTP监视器,反转代理服务器，当浏览器连接Charles的代理访问互联网时，Charles可以监控浏览器发送和接收的所有数据。它允许一个开发者查看所有连接互联网的HTTP通信，这些包括request, response和HTTP headers （包含cookies与caching信息）。 来自百度百科 将 Charles 设置成系统代理 Charles是通过将自己设置成代理服务器来完成封包截取的，所以使用 Charles 的第一步是将其设置成系统的代理服务器。选择菜单中的 “Proxy” -> “Windows Proxy” 来将 Charles 设置成系统代理。如下所示： 之后，你就可以看到源源不断的网络请求出现在 Charles 的界面中。 注意： Chrome 和 Firefox 需要设置成使用系统的代理服务器，或者直接将代理服务器设置成127.0.0.1:8888。 Charles 主界面介绍 Charles 主要提供两种查看封包的视图，分别名为 “Structure” 和 “Sequence”。可以根据具体的需要在这两种视图之前来回切换。 Structure ： 视图将网络请求按访问的域名分类。 Sequence ： 视图将网络请求按访问的时间排序。 Charles 提供了简单的 Filter 功能

charles的主页面介绍 手机连上代理之后，每在手机上进行操作我们便会在charles上接收到请求。此时的charles页面将会变成如下密密麻麻的内容，故这节课我们来讲解一下Charles的主页面 一：紫色区（工具的主导航栏） 从左至右的图标解释： 扫把按钮 ：点击之后可清除抓取到的所有请求 图标按钮 ：红点亮起说明正在抓取请求，红点展示为灰色说明目前不在抓取请求状态 乌龟按钮 ：灰色乌龟是网速设置正常，绿色乌龟指慢速网速开启了 六角形图标 ：断点图标，灰色说明断点未开启，红色说明在使用断点 钢笔图标 ：编辑请求，点击之后可以修改请求的内容 刷新图标 ：重复发送请求的图标，先选定某一请求点击该图标则请求会被再次发送 对号图标 ： 扳手图标 ：对应于导航栏中的tools图标，有些许功能 设置图标 ：设置charles中的情况 二：红色区（抓取连接该代理的所有手机所有的请求） 红色区展示的是我们抓取的所有的请求，点击+之后便可以展开该host 域名下的所有请求。点击请求之后即可在黄色区域看见该请求所对应的相应内容。 导航栏右边的sequence是请求展示的另一种形式。其实内容都是一样的，只不过将所有的请求按照时间排序展示，不再是分域名展示。 三：黄色区（在绿色区指定的某一个api的请求内容） 黄色区展示的是某一制定请求的请求内容，可以切换导航栏查看请求的各种详细情况。例如

Charles介绍： Charles 是在Mac下常用的截取网络封包的工具，在做iOS开发时，有时为了调试与服务器端的网络通讯协议，常常需要服务端原因一起调试。有了Charles客户端人员自娱自乐了，想怎么搞就怎么搞。 　 1.主要功能： 　　[1].支持SSL代理。可以截取分析SSL的请求。 　　[2].支持流量控制。可以模拟慢速网络以及等待时间（latency）较长的请求。 　　[3].支持AMF调试。可以将Flash Remoting 或 Flex Remoting信息格式化，方便查看。 　　[4].支持重发网络请求，方便后端调试。支持修改网络请求参数。 　　[5].支持AJAX调试。可以自动将json或xml数据格式化，方便查看。 　　...... 2.主要界面与设置： Charles提供2种视图用来查看封包，分别名为"Structure"和"Sequence"。 　　[1].Structure视图将网络请求按访问的域名分类。 　　[2].Sequence视图将网络请求按访问的时间排序。 3.截获iPhone上的网络数据包： 　　[1].获取电脑WiFi的IP地址（按住option键，点击WiFi图标） 　　 　　[2].iPhone网络连接设置 　　　　a.设置-》Wi-Fi-》WiFi名称 点击感叹号。 　　b.设置代理，服务器填写电脑WiFi IP地址

sed一次处理一行文件并把输出送往屏幕。sed把当前处理的行存储在临时缓冲区中，称为模式空间(pattern space)。一旦sed完成对模式空间中的行的处理，模式空间中的行就被送往屏幕。行被处理完成之后，就被移出模式空间，程序接着读入下一行，处理，显示，移出......文件输入的最后一行被处理完以后sed结束。通过存储每一行在临时缓冲区，然后在缓冲区中操作该行，保证了原始文件不会被破坏。 1. sed的命令和选项： 命令功能描述 a\ 在当前行的后面加入一行或者文本。c\ 用新的文本改变或者替代本行的文本。d 从pattern space位置删除行。i\ 在当前行的上面插入文本。h 拷贝pattern space的内容到holding buffer(特殊缓冲区)。H 追加pattern space的内容到holding buffer。g 获得holding buffer中的内容，并替代当前pattern space中的文本。G 获得holding buffer中的内容，并追加到当前pattern space的后面。n 读取下一个输入行，用下一个命令处理新的行而不是用第一个命令。p 打印pattern space中的行。P 打印pattern space中的第一行。q 退出sed。w file 写并追加pattern space到file的末尾。!

定向爬取网页的内容 1.所谓定向爬取网页，我们首先要知道自己需要干什么，明确目标。 2.根据目标过滤自己的网址，说白了就是要找到自己想要目标的关键地址。比如网址中加载更多，这样的接口是没法浏览器上显示的。这时候我们就需要抓包工具fiddler、charles等 3.根据抓去的网址的加载信息，从信息中过滤自己想要的内容。 例子： 抓取腾讯视频中视频评论信息。 import ssl def getComment(url): head = {"Host": "video.coral.qq.com", "User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:61.0) Gecko/20100101 Firefox/61.0", "Accept": "*/*", "Accept-Language": "zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2", "Referer": "https://page.coral.qq.com/coralpage/comment/video.html", "Connection": "keep-alive"} cooker = http.cookiejar.CookieJar() opener = urllib.request

当我使用Kdiff3（以及我尝试的其他合并工具）进行合并冲突解决时，我注意到在解析时创建了一个 *.orig 文件。 有没有办法让它不创建额外的文件？ #1楼 我用它来清理所有以“.orig”结尾的文件： function git-clean-orig { git status -su | grep -e"\.orig$" | cut -f2 -d" " | xargs rm -r } 如果你是一个scaredy-cat :)你可以离开最后一部分只是为了列出它们（或者如果你想批准每次删除，请不要使用 -r ）： function git-show-orig { git status -su | grep -e"\.orig$" | cut -f2 -d" " } #2楼 来自 git config 可能解决方案： git config --global mergetool.keepBackup false 执行合并后，带有冲突标记的原始文件可以保存为扩展名为 .orig 的文件。 如果此变量设置为 false 则不保留此文件。 默认为 true （即保留备份文件）。 另一种方法是不添加或忽略这些文件，如本 gitguru文章所述 ， git mergetool 使用“ .orig ”后缀保存文件的合并冲突版本。 确保在添加和提交合并之前删除它，或者将 *.orig 添加到

简介 Charles for Mac是应用在Mac上的一款简单易用的信息抓包工具，可以为您记录并显示发送和接收的所有数据，在Web和Internet开发中，您无法看到Web浏览器/客户端和服务器之间发送和接收的内容。没有这种可见性，确定错误在哪里是困难和耗时的。Charles很容易看到发生了什么，所以你可以快速诊断和解决问题。 charles抓包工具mac功能介绍 SSL代理 - 以纯文本格式查看SSL请求和响应 带宽限制以模拟较慢的Internet连接，包括延迟 AJAX调试 - 将XML和JSON请求和响应视为树或文本 AMF - 将Flash Remoting / Flex Remoting消息的内容查看为树 重复请求以测试后端更改 编辑请求以测试不同的输入 截断和编辑请求或响应的断点 使用W3C验证器验证记录的HTML，CSS和RSS / atom响应 更新日志 序列过滤器现在可以过滤任何列 序列视图中的自定义列 macOS：暗模式支持 macOS Catalina支持 突出显示用于匹配请求的规则，并在结构或序列视图中突出显示它们 升级到Java 11 Charles for Mac下载安装 下载地址：https://www.macdown.com/mac/4467.html charles mac 破解版软件包下载完成后打开，将左侧的【Charles

破解之后进行设置 设置代理端口8888 ssl代理设置 允许所有地址连接 手机获取证书之前，先在电脑安装证书，需要信任。 help-->ssl-proxying-->Install Charles Root Certificate help-->ssl-proxying-->Install Charles Root Certificate on Mobile Device or Remote Browser... 手机访问：chls.pro/ssl 若出现如下错误： Charles Error Report Name lookup failed for remote host Charles failed to resolve the name of the remote host into an IP address. Check that the URL is correct. The actual exception reported was: java.net.UnknownHostException: http: unknown error Charles Proxy, http://www.charlesproxy.com/ 需要在电脑上加上DNS：114.114.114.114 然后访问，下载证书，证书是pem格式，需要把后缀改成crt。 也可以选择导入证书