流量

服务治理

↘锁芯ラ 提交于 2019-11-29 11:58:48
服务治理 微服务 微服务架构是一种架构模式,它提倡将单一应用程序划分成一组小的服务,服务之间相互协调、互相配合,为用户提供最终价值。每个服务运行在其独立的进程中,服务和服务之间采用轻量级的通信机制相互沟通(通常是基于HTTP的Restful API).每个服务都围绕着具体的业务进行构建,并且能够被独立的部署到生产环境、类生产环境等。 服务发现 服务发现是指使用一个注册中心来记录分布式系统中的全部服务的信息,以便其他服务能够快速的找到这些已注册的服务。服务发现是支撑大规模 SOA 和微服务架构的核心模块,它应该尽量做到高可用。 流量削峰 如果观看抽奖或秒杀系统的请求监控曲线,你就会发现这类系统在活动开放的时间段内会出现一个波峰,而在活动未开放时,系统的请求量、机器负载一般都是比较平稳的。为了节省机器资源,我们不可能时时都提供最大化的资源能力来支持短时间的高峰请求。所以需要使用一些技术手段,来削弱瞬时的请求高峰,让系统吞吐量在高峰请求下保持可控。削峰也可用于消除毛刺,使服务器资源利用更加均衡和充分。常见的削峰策略有队列,限频,分层过滤,多级缓存等。 版本兼容 在升级版本的过程中,需要考虑升级版本后,新的数据结构是否能够理解和解析旧数据,新修改的协议是否能够理解旧的协议以及做出预期内合适的处理。这就需要在服务设计过程中做好版本兼容。 过载保护 过载是指当前负载已经超过了系统的最大处理能力

稳定性整理方法论总结

蹲街弑〆低调 提交于 2019-11-29 11:07:37
1,关键接口梳理 2,流量评估 (主要是大促活动期间比如双十一流量评估,如果只是日常发布,就评估日常流量以及高峰期峰值等) 3,数据量评估 4,上下游流量、数据信息同步(跨部门协同) 5,稳定性和整理降级预案 a, 关键接口限流(防止DB压垮、以及下游被压垮) b, 关键接口SQL review,慢SQL治理(慢SQL特别容易造成雪崩,如果是特别核心的业务需要好好考虑降级预案 比如应急走缓存,至少业务不会跪,给线上排查问题留足时间) c, 日志检查降级(关键错误入参出参异常要详细、to C的接口以及一些流量大的接口一定不要乱打日志,这样磁盘很容易爆的) d, 监控告警配置(相关接口错误率监控、关键逻辑程序异常业务异常告警、接口各项指标大盘监控、DB监控 CPU、内存、SQL耗时、磁盘,系统服务器 内存、磁盘、CPU、网络等) e, 参考降级方向 ① 系统降级 ② 缓存降级 ③ 业务降级 ④ 分支业务降级 来源: https://my.oschina.net/xiaoshushu/blog/3105669

双十一秒杀实战系统架构设计解决方案

Deadly 提交于 2019-11-29 10:07:34
概念 秒杀 什么是秒杀?通俗一点讲就是网络商家为促销等目的组织的网上限时抢购活动 比如说京东秒杀,就是一种定时定量秒杀,在规定的时间内,无论商品是否秒杀完毕,该场次的秒杀活动都会结束。这种秒杀,对时间不是特别严格,只要下手快点,秒中的概率还是比较大的。 淘宝以前就做过一元抢购,一般都是限量 1 件商品,同时价格低到「令人发齿」,这种秒杀一般都在开始时间 1 到 3 秒内就已经抢光了,参与这个秒杀一般都是看运气的,不必太强求 业务特点 瞬时并发量大 秒杀时会有大量用户在同一时间进行抢购,瞬时并发访问量突增 10 倍,甚至 100 倍以上都有。 库存量少 一般秒杀活动商品量都很少,这就导致了只有极少量用户能成功购买到商品。 业务简单 流程相对比较简单,一般都是下订单、扣库存、支付订单 技术难点 现有业务的冲击 秒杀是营销活动中的一种,如果和其他营销活动应用部署在同一服务器上,肯定会对现有的其他活动造成冲击,极端情况下可能导致整个电商系统服务宕机 直接下订单 下单页面是一个正常的 URL 地址,需要控制在秒杀开始前,不能下订单,只能浏览对应活动商品的信息。简单来说,需要 Disable 订单按钮 页面流量突增 秒杀活动开始前后,会有很多用户请求对应商品页面,会造成后台服务器的流量突增,同时对应的网络带宽增加,需要控制商品页面的流量不会对后台服务器、DB、Redis 等组件造成过大的压力

网站被劫持到底是何意思?

强颜欢笑 提交于 2019-11-29 09:52:12
  如何知道自己的网站是不是出现了劫持类问题?iis7网站监控   网站是否被劫持、DNS是否被污染、网站打开速度测试的检查。   在谈流量劫持之前,首先我们来了解一下什么叫做流量劫持。对于互联网的最终用户来说,用户对上网的直观感受就是我打开浏览器,输入一个网址,然后我立刻就能看到网页。这是站在用户的角度来看上网,但在这个“上网”的过程中,隐藏了非常多的技术细节。   我们国内用户,一般是在家用路由器后面,要访问一个网站的话,会有三个步骤:   首先访问 DNS 服务器,将域名转换为 IP 地址。   访问这个 IP 地址,这样用户就访问了目标网站。   如果是一个建设良好的网站,一般会把静态资源放在 CDN 上。   流量劫持就是在这些环节当中,对数据进行偷窃、篡改,甚至转发流量进行攻击的这样一类行为。从危害上来说,互联网上最可怕的攻击也莫过于此了。那互联网发展这么多年了,为什么流量劫持还能够横行呢?流量劫持能够发生,无非是两个原因:   网络链路本身不安全。网络链路牵扯到具体的网络协议,这些协议当中,有些从设计上就没有考虑安全问题,贻害至今;另有一些,在当时可能是安全的,但正所谓“没有绝对的安全”,随着计算力和攻击手段的发展,当时安全的协议如今可能已经变得不再安全。   干扰安全链路,迫使链路降级到不安全的方案上。这一点可以归结到前面,但单独拿出来说

9.2 Iptables

我是研究僧i 提交于 2019-11-29 05:38:15
iptables   ip 的 tables ip的表格   iptables只是netfilter的前端管理工具;netfilter是linux内核提供的数据流量管理模块;   iptables/netfilter数据流量管理框架;   普遍认为iptables就是一个防火墙;   作用:流量过滤;(1、流量过滤 2、接vpn) 1、网络防护墙   首先,网络防火墙一般处于外网出口处,主要对于内外网交互的流量进行监控与过滤;   ASA   USG   Juniper   checkpoint   山石网科   天融信   绿盟 2、主机防火墙 (并不提到360、xx管家)   主机有内核空间和用户空间,netfilter的过滤模块运行在内核空间,但是它又无法提供数据匹配,所以我们需要使用函数来调用netfilter模块,匹配数据流量;   匹配数据流量:Chain (钩子)   五个钩子:   PREROUTING   INPUT   FORWARD   OUTPUT   POSTROUTING   三种流量:   1、到达主机的流量   2、通过主机的流量   3、主机发起的流量   四张表决定行为:   1、raw 保持链接 -- 默认关闭(建议不要开启)   2、mangle 数据包修改   3、nat nat映射,包括SNAT和DNAT(源地址映射、目标地址映射)  

网站防止流量劫持的最佳途径是安装ssl证书

安稳与你 提交于 2019-11-29 04:10:42
在互联网的世界里,流量就等于金钱。而流量劫持是指,利用各种恶意软件、木马病毒,修改浏览器、锁定主页或不停弹出新窗口等方式,强制用户访问某些网站,从而造成用户流量损失的情形。 在流量劫持者的眼中,明文传输也就是http是一大块肥肉。它的基数很大,漏洞百出,是最佳的下手目标。利用明文传输自身的缺陷,网络黑客们不费吹灰之力,就可以对信息内容进行窃听、篡改和劫持。 流量劫持并不是想象中的防不胜防,是可以通过技术手段去解决,即https的加密方式。 相比于通信方身份和数据完整性无法验证的http协议,https是一个基于http的安全通信通道,它运用安全套接字层(ssl)进行信息交换,具有身份验证、信息加密和完整性校验的功能,可以保证传输数据的机密性和完整性,乃至服务器身份的真实性,进而有效避免http被劫持的问题。 在移动端,微信小程序要求同步小程序的网站,必须使用https协议;在PC端,谷歌、火狐、百度、360等搜索引擎均公开宣布,对https网站给予优先收录。在互联网巨头的全力助推下,http将成为过去式,构建全网https加密的时代正加速到来,让流量劫持再无可能。 为网站部署ssl证书便可将http网站升级到https。在这里,安信证书要提醒大家的是,这个ssl证书必须是由国际知名的权威ca机构颁发,因为权威ca机构的证书通常存在大多数浏览器和操作系统中

互联网江湖的绝世武功——“独孤九剑”

拈花ヽ惹草 提交于 2019-11-29 01:52:33
马云说过,很多人一生输就输在对新生事物的看法上:第一,看不见;第二,看不起;第三,看不懂;第四,来不及。 传统企业互联网化,即将成为最主流的商业旋律。无论你是互联网人,还是传统企业从业者,无论你是创业者,还是投资者,这是时代给予我们的机遇。 对于传统企业互联网转型来说,绝不仅仅是在天猫开个店、在微信开个公众账号这么简单,而是基于互联网影响下的产业发展、消费行为变迁,对于整个企业的商业模式重新思考,对内部管理体系、业务流程的再造和升级。这是一项系统工程,其背后贯穿的是一整套的商业思维,我们称之为互联网思维。互联网思维的本质,是商业回归人性。 互联网思维,是指在(移动)互联网、大数据、云计算等科技不断发展的背景下,对市场、对用户、对产品、对企业价值链乃至对整个商业生态进行重新审视的思考方式。 更换组织基因,用互联网的思维去重构原来的商业模式,非常不容易、非常痛苦,但必须要这么做。 互联网思维如何改造传统企业价值链?互联网思维改造传统企业价值链的模型——“独孤九剑”隆重推出。 (1) 用户思维 用户思维指的是对经营理念和消费者的理解。用户思维贯穿于企业运营的始终。在“以厂商为中心”的工业经济的背景下,往往是厂商主导,传播方式是厂商自说自话,消费者无法参与产品研发。在“以用户为中心”的互联网时代,消费者的话语权日益增大,并且影响着企业各环节的决策,以小米为代表的新经济企业

说说我们为什么需要lstio

邮差的信 提交于 2019-11-29 01:29:33
本文来自lstio的中文社区: https://istio.cn/t/topic/18 我最近没有多少时间去玩k8s,并承认Istio到底给k8s带来了什么方面有点迷失了。这是否会增加更多的运营开销?它是否简化了我们通常需要做的事情?这些问题都浮现在我的脑海里。 (我怀疑在发布了这些内容之后,我的团队中比我更懂k8s的人可能会想找我谈谈……虽然我讲会跟团队中的成员辩论,但那将是我最喜欢的对话) 那么Istio究竟是什么? Istio网站 4上说: Istio带给你: HTTP、gRPC、WebSocket和TCP流量的自动负载均衡。 通过丰富的路由规则、重试、故障转移和故障注入对流量行为进行细粒度控制。 支持访问控制、速率限制和配额的可拔插策略层和配置API。 自动指标、日志和集群内所有流量的跟踪,包括集群入口和出口。 通过集群中的服务之间的强身份断言来实现服务间的身份验证。 通过在整个环境中部署一个特殊的sidecar代理(辅助容器),您可以将Istio支持添加到服务中(这给我留下了深刻的印象,如果您想做到这一点,请参阅后面的内容)。安装了sidecar代理之后,(微)服务之间的所有网络通信都通过这个代理。此外,所有的网络通信都是使用Istio的控制平面功能进行配置和管理的。 Istio是 Service Mesh(服务网格) 。我认为的service mesh定义就是

云控系统有哪些优势呢?

♀尐吖头ヾ 提交于 2019-11-29 00:48:24
云控系统优势一:节省成本——一个人就能管理成百上千个手机账号操作,所有设备云端连接,确保数据的统一,轻轻一点,粉丝收入、推广即成,抛开低效的地推团队,避免人与人之间直接接触带来的尴尬和误解,绕开费时费力的传统营销的同时,效率成倍增加,高能低耗。 云控系统优势二:提高质量——不需要操心推广人员的操作同步问题,不需要操心信息的同步问题,营销推广从未如此简单,同质同量的文章图片轻松出现在所有设备的朋友圈中,避免员工素质参差不齐带来的麻烦;同时避免因为不同人操作带来的文章图片前后矛盾,从而令推广对象有不良印象的风险。 云控系统优势三:避免封号——完全模拟人工操作,规避一切平台违规风险,避免耗时耗力最终仍被封号的窘境,有效提升营销推广效率,避免将宝贵的时间浪费在账号问题上,实现使用者效益最大化。 1、一台电脑上可以控制最多千部万部手机; 2、用键盘输入互动聊天内容,回复简便迅速; 3、朋友圈内容定时自动发送,图文视频随意编辑,精准呈现、安全合规; 4、手机云控界面,简捷功能按钮,调动千部手机同时执行操作; 5、集中刷圈界面,自动排列千部手机朋友圈,一屏纵览,点赞或评论后自动刷新; 6、设有对应的关键词回复话术库,甚至可以做到客服只负责聊天运营只负责加人的前沿式工作流程化分配; … 流量是一切生意的本质,没有流量,就无法谈生意,做生意,开店创业就是为了买流量、留客户,有了客户,何愁产品无销路

istio

爷,独闯天下 提交于 2019-11-29 00:46:43
Istio 功能与作用 Istio服务管控包括下列的典型应用场景: 分布式调用追踪在微服务架构中,业务的调用链非常复杂,一个来自用户的请求可能涉及到几十个服务的协同处理。因此需要一个跟踪系统来记录和分析同一次请求在整个调用链上的相关事件,从而帮助研发和运维人员分析系统瓶颈,快速定位异常和优化调用链路。Istio通过在Envoy代理上收集调用相关数据,实现了对应用无侵入的分布式调用跟踪分析。 Envoy收集一个端到端调用中的各个分段的数据,并将这些调用追踪信息发送给Mixer,Mixer Adapter将追踪信息发送给相应的服务后端进行处理。整个调用追踪信息的生成流程不需要应用程序介入,因此不需要将分布式跟踪相关代码注入到应用程序中。注意:应用仍需要在进行出口调用时将收到的入口请求中tracing相关的header转发出去,传递给调用链中下一个边车进行处理。 度量收集 Istio 实现度量收集的原理如下图所示: Envoy收集指标相关的原始数据,如请求的服务、HTTP状态码、调用时延等,这些收集到的指标数据被送到Mixer,通过Mixer Adapters将指标信息转换后发送到后端的监控系统中。由于Mixer使用了插件机制,后端监控系统可以根据需要在运行期进行动态切换。 灰度发布当应用上线以后,运维面临的一大挑战是如何能够在不影响已上线业务的情况下进行升级。 无论进行了多么完善的测试