流量

参考链接： https://www.linuxprobe.com/chapter-08.html 防火墙管理工具 众所周知，相较于企业内网，外部的公网环境更加恶劣，罪恶丛生。在公网与企业内网之间充当保护屏障的防火墙虽然有软件或硬件之分，但主要功能都是依据策略对穿越防火墙自身的流量进行过滤。防火墙策略可以基于流量的源目地址、端口号、协议、应用等信息来定制，然后防火墙使用预先定制的策略规则监控出入的流量，若流量与某一条策略规则相匹配，则执行相应的处理，反之则丢弃。这样一来，就可以保证仅有合法的流量在企业内网和外部公网之间流动了。 在RHEL 7系统中，firewalld防火墙取代了iptables防火墙。 iptables与firewalld都不是真正的防火墙，它们都只是用来定义防火墙策略的防火墙管理工具而已，或者说，它们只是一种服务。iptables服务会把配置好的防火墙策略交由内核层面的netfilter网络过滤器来处理，而firewalld服务则是把配置好的防火墙策略交由内核层面的nftables包过滤框架来处理。 iptables 策略与规则链 防火墙会从上至下的顺序来读取配置的策略规则，在找到匹配项后就立即结束匹配工作并去执行匹配项中定义的行为（即放行或阻止）。如果在读取完所有的策略规则之后没有匹配项，就去执行默认的策略。一般而言，防火墙策略规则的设置有两种：一种是“通”

对象存储 OSS考点梳理 OSS 概念及功能概述 OSS 管理功能 OSS 功能详解 OSS 安全 OSS API OSS 控制台及调用演示 使用限制 存储空间（ bucket ） 同一阿里云账号在同一地域内创建的存储空间总数 不能超过 30 个 。 存储空间一旦创建成功，其 名称、所处地域、存储类型不能修改。 单个存储空间的 容量不限制。 上传/下载文件 通过 控制台 上传、简单上传、表单上传、追加上传的文件大小 不能超过 5GB ，要上传大小 超过 5GB 的文件必须使用 断点续传 方式。 断点续传方式上传的文件大小不能超过 48.8TB 。 同一账号在同一地域内上传或下载带宽缺省阈值：中国 大陆 10Gb it/s、其他 5Gb it/s。达到该阈值会收到 DownloadTrafficRateLimitExceeded 或 UploadTrafficRateLimitExceeded 错误响应。如您的业务（如大数据离线处理等）有更大的带宽需求（如 10Gbit/s~100Gbit/s），请联系 售后技术支持 。 OSS 支持上传同名文件，但会覆盖已有文件。 删除文件 文件删除后 无法恢复 。 控制台批量删除文件的上限为 1000 个，更大批量的删除必须通过 API 或 SDK 实现。 域名绑定 账号 必须 在 阿里云 官网完成 实名 认证。 中国大陆地域绑定的域名

工具：proxifier 目前很多安卓客户端会设置多种方式来验证客户端是否使用了代理，来防止抓包 比如： 1.检查客户端是否使用了代理，如果使用了代理，客户端就不再发送网络请求 2.通过Okhttp设置默认代理 3.使用okhttp实现SSL双向认证 如果在APP请求网络之前先判断下手机网络是否使用了代理，如果使用了代理就不请求接口，那么我们就无法抓取数据包进行分析了。 设置全局代理客户绕过APP对客户端的检测 1.设置Proxifier代理服务器 找到模拟器进程 代理服务器设置为burp监听端口。 2.设置Proxifier代理规则 将模拟器进程对应的应用程序文件加入代理规则。 需要将localhost和Default设置为Block阻断，只转发Nox模拟器的流量 3.抓取流量包 配置之后，即可在proxifier中获取到模拟器内对应app的流量 安装证书之后，即可在burp中看到proxifier转发过来的流量 同样的道理，该流量转发方法同样适用C/S客户端测试 来源： https://www.cnblogs.com/micr067/p/11396184.html

“ 本书先诠释一下什么是“私域流量”:它是指以个人为主体所连接到的人的关系数量,又称好友数量。常见的私域流量有微信个人号粉丝、微信公众号粉丝、淘宝微淘粉丝、微博粉丝、抖音粉丝、线下店的客户及会员等 ” 私域流量 作者: 冯平 / 刘焱飞 / 朱中域 出版社: 机械工业出版社 出版年: 2019-7-10 页数: 280 定价: 89.00元 装帧: 平装 ISBN: 9787111630180 01 — 实际内容是一些微商运营入门技巧，和许多微商励志故事。 所谓的私域流量，主要指微信朋友圈获取的流量。 作者主要的运营技巧就是请顾客扫码加微信，通过微信来营销。 讲了许多不知真假的做微商非常成功的励志故事。比如提到东青莜面村，看内容是指西贝莜面村，说西贝的老板请作者给营销建议，作者建议让员工用朋友圈来营销，后面含含糊糊说了西贝的一些营销活动，暗示是作者负责的。 后面还提到一个秦妈妈的故事，但是下文又多次说“包妈”，显然是指那个母婴类大号。暗示这个大号的成功多亏了所谓的私域流量。 还有不少问答接近应对潜在的微商客户的话术。 实际有用的内容最多两三页能说明白。 总体评价2星，不推荐阅读。 02 — 以下是书中一些内容的摘抄： 1：本书先诠释一下什么是“私域流量”:它是指以个人为主体所连接到的人的关系数量,又称好友数量。常见的私域流量有微信个人号粉丝、微信公众号粉丝、淘宝微淘粉丝、微博粉丝

使用 tcpdump 监控 http 流量，具体内容包括： http request , http response , http headers 以及 http message body . 监控本机 http 流量 tcpdump -A -s 0 'tcp port 80 and (((ip[2:2] - ((ip[0]&0xf)<<2)) - ((tcp[12]&0xf0)>>2)) != 0)' 监控指定源地址的 http 流量 tcpdump -A -s 0 'tcp port 80 and (((ip[2:2] - ((ip[0]&0xf)<<2)) - ((tcp[12]&0xf0)>>2)) != 0)' 监控本地至本地的 http 流量 tcpdump -A -s 0 'tcp port 80 and (((ip[2:2] - ((ip[0]&0xf)<<2)) - ((tcp[12]&0xf0)>>2)) != 0)' -i lo 仅监控 http request 将上述执行语句中的 'tcp port 80 修改为 tcp dst port 80 即可。 捕获本地至本地的所有流量 tcpdump -i lo 上述代码均是监控80端口的 http 流量，如果需要监控指定端口，将80替换为指定端口即可实现相应功能。 来源： https://www.cnblogs

高并发场景下的限流策略: 　　在开发高并发系统时，有很多手段来保护系统：缓存、降级、限流。 　　当访问量快速增长、服务可能会出现一些问题（响应超时），或者会存在非核心服务影响到核心流程的性能时， 仍然需要保证服务的可用性，即便是有损服务。所以意味着我们在设计服务的时候，需要一些手段或者关键数据进行自动降级，或者配置人工降级的开关。 缓存的目的是提升系统访问速度和增大系统处理的容量，可以说是抗高并发流量的银弹；降级是当服务出问题或者影响到核心流程的性能则需要暂时屏蔽掉某些功能，等高峰或者问题解决后再打开；而有些场景并不能用缓存和降级来解决，比如秒杀、抢购；写服务（评论、下单）、频繁的复杂查询，因此需要一种手段来限制这些场景的并发/请求量性能调优是针对于代码本身的不规范性和系统资源的瓶颈的，当计算机的硬件资源达到瓶颈的时间已经无法调优了。高并发场景下一方面通过缓存，异步化，服务化，集群去增加整个系统的吞吐量，另一方面通过限流，降级来保护系统。 限流的作用： 　　在各大节假日旅游高峰期，各大旅游景点都是人满为患。所有有些景点为了避免出现踩踏事故，会采取限流措施。那在架构场景中，是不是也能这么做呢？针对这个场景，能不能够设置一个最大的流量限制，如果超过这个流量，我们就拒绝提供服务，从而使得我们的服务不会挂掉。当然，限流虽然能够保护系统不被压垮，但是对于被限流的用户，就会很不开心

原文出自: https://yq.aliyun.com/articles/69704?utm_campaign=wenzhang&utm_medium=article&utm_source=QQ-qun&utm_content=m_10737 (转载请务必注明该地址!!!) 摘要： 《秒杀系统架构优化思路》 上周参加Qcon，有个兄弟分享秒杀系统的优化，其观点有些赞同，大部分观点却并不同意，结合自己的经验，谈谈自己的一些看法。 一、为什么难 秒杀系统难做的原因：库存只有一份，所有人会在集中的时间读和写这些数据。 例如小米手机每周二的秒杀，可能手机只有1万部，但瞬时进入的流量可能是几百几千万。 又例如12306抢票，亦与秒杀类似，瞬时流量更甚。 《秒杀系统架构优化思路》 上周参加Qcon，有个兄弟分享秒杀系统的优化，其观点有些赞同，大部分观点却并不同意，结合自己的经验，谈谈自己的一些看法。 一、为什么难 秒杀系统难做的原因：库存只有一份，所有人会在集中的时间读和写这些数据。 例如小米手机每周二的秒杀，可能手机只有1万部，但瞬时进入的流量可能是几百几千万。 又例如12306抢票，亦与秒杀类似，瞬时流量更甚。 二、常见架构 流量到了亿级别，常见站点架构如上： 1）浏览器端，最上层，会执行到一些JS代码 2）站点层，这一层会访问后端数据，拼html页面返回给浏览器 3）服务层

一、秒杀业务为什么难做 1）im系统，例如QQ或者微博， 每个人都读取自己的数据 （好友列表、群列表、个人信息）； 2）微博系统，每个人读关注人的数据， 一个人读多个人的数据 ； 3）秒杀系统，库存只有一份，所有人会在集中的时间读和写这些数据， 多个人读一个数据。 例如：小米手机每周二的秒杀，可能手机只有1万部，但瞬间进入的流量可能是几百几千万。 又例如：12306抢票，票是有限的，库存一份，瞬间流量非常多，都读相同的库存。 读写冲突，锁非常严重，这是秒杀业务难的地方。 二、优化方向 优化的方向有两个： （1） 将请求尽量拦截在系统上游 （不要让锁冲突到数据库上去） 传统秒杀系统之所以挂，请求都压到了后端数据库，数据读写锁冲突严重，并发高相应慢，几乎所有请求都超时， 流量虽大，下单成功的 有效流量 甚小。以12306为例，一趟火车其实只有2000张票。200W个人来买， 基本没有人能买成功，请求有效率为0. （2） 充分利用缓存 ， 秒杀买票，这是一个典型的 读多写少 的应用场景，读：（大部分请求时车次查询，票查询），写（下单和支付才是写请求。）一趟火车只有2000张票，200W个人来买，最多只有2000个人下单成功，其他人都是查询库存， 写比例0.1%,读比例占99.9%.这种场景就非常合适使用缓存来优化 。 三、常见秒杀架构 常见的站点架构基本是这样的 （1）浏览器端，最上层

一、为什么难 秒杀系统难做的原因： 库存只有一份，所有人会在集中的时间读和写这些数据 。 例如小米手机每周二的秒杀，可能手机只有1万部，但瞬时进入的流量可能是几百几千万。 又例如12306抢票，亦与秒杀类似，瞬时流量更甚。 二、常见架构 流量到了亿级别，常见站点架构如上： 1） 浏览器端 ，最上层，会执行到一些JS代码 2） 站点层 ，这一层会访问后端数据，拼html页面返回给浏览器 3） 服务层 ，向上游屏蔽底层数据细节 4） 数据层 ，最终的库存是存在这里的，mysql是一个典型 三、优化方向 1） 将请求尽量拦截在系统上游 ：传统秒杀系统之所以挂，请求都压倒了后端数据层，数据读写锁冲突严重，并发高响应慢，几乎所有请求都超时，流量虽大，下单成功的有效流量甚小【一趟火车其实只有2000张票，200w个人来买，基本没有人能买成功，请求有效率为0】 2） 充分利用缓存 ：这是一个典型的 读多写少 的应用场景【一趟火车其实只有2000张票，200w个人来买，最多2000个人下单成功，其他人都是查询库存，写比例只有0.1%，读比例占99.9%】 ，非常适合使用缓存 四、优化细节 4.1）浏览器层请求拦截 点击了“查询”按钮之后，系统那个卡呀，进度条涨的慢呀，作为用户，会不自觉的再去点击“查询”，继续点，继续点，点点点。。。有用么？平白无故的增加了系统负载（一个用户点5次，80

需要注意的是Firewalld中的区域与接口 一个网卡仅能绑定一个区域。比如: eth0-->A区域 但一个区域可以绑定多个网卡。比如: B区域-->eth0、eth1、eth2 可以根据来源的地址设定不同的规则。比如：所有人能访问80端口，但只有公司的IP才允许访问22端口 trusted 允许所有的数据包流入与流出 白名单 public 拒绝流入的流量，除非与流出的流量相关；而如果流量与ssh、dhcpv6-client服务相关，则允许流量 drop 拒绝流入的流量，除非与流出的流量相关 黑名单 1.获取当前默认的区域 [root@m01 ~]# firewall-cmd --get-default-zone public 2.查看当前活动的区域 [root@m01 ~]# firewall-cmd --get-active-zones public interfaces: eth0 eth1 3.查看firewalld规则明细 [root@m01 ~]# firewall-cmd --list-all public (active) target: default icmp-block-inversion: no interfaces: eth0 eth1 sources: services: ssh dhcpv6-client ports: protocols: