分布式缓存

Redis：简述Redis 的概念及各项功能 一、Redis简介 官方简介：Redis是一个基于BSD开源的项目，是一个把结构化的数据放在内存中的一个存储系统，你可以把它作为数据库，缓存和消息中间件来使用。 同时支持strings，lists，hashes，sets，sorted sets，bitmaps，hyperloglogs和geospatial indexes等数据类型。 它还内建了复制，lua脚本，LRU，事务等功能，通过redis sentinel实现高可用，通过redis cluster实现了自动分片。以及事务，发布/订阅，自动故障转移等等。 综上所述，Redis提供了丰富的功能，这些功能都是干嘛用的？都解决了什么问题？什么情况下才会用到相应的功能？那么下面来粗略的解释下。 二、面临的需求（问题）及解决方案 需求（问题） ：我们有一个提供热点新闻列表的api接口，api的消费者抱怨说每次请求都要2秒左右才能返回结果。随后我们就着手于如何提升一下api消费者感知的性能。 基于HTTP的缓存控制 很快最简单粗暴的第一个方案就出来了：为API的响应加上基于HTTP的缓存控制 cache-control:max-age=600 ，即让消费者可以缓存这个响应十分钟。如果api消费者如果有效的利用了响应中的缓存控制信息，则可以有效的改善其感知的性能（10分钟以内）。

01分布式缓存概览 使用原因 为什么要使用分布式缓存，很简单的一点你当前的系统性能已经不适用于你的业务量就不得不升级你的系统提高系统性能，从哪几个方面提高，优化代码，优化数据库，使用静态数据，只有在单机已经没有办法满足业务的情况下才会去考虑集群然后才是分布式 分布式意味着你要将原来的系统拆分成多个服务，这就涉及到服务之间的调用以及数据的一致性问题。将单机变为分布式以后，系统的性能并发有了足够的提升但是数据库的压力大了起来大量的数据库I/O操作消耗大量的资源。怎么减轻数据库的压力，把从磁盘读的 数据放到内存减少磁盘I/O操作也就是缓存，把缓存分到多台服务器就是分布式缓存。 应用场景 01-页面缓存 我们在访问某一个网站的时候，请求发送到后台，后台从数据库查询到数据后并进行渲染之后返回，这个过程的资源消耗在数据的读取和渲染，所以需要在进入读数据之前从缓存中找缓存中没有再从数据库查询渲染并存入缓存 02-状态缓存 解决分布式Web部署的session同步问题，状态缓存.缓存包括Session 会话状态及应用横向扩展时的状态数据等,这类数据一般是难以恢复的,对可用性要求较高。 03-并行处理 分布式计算中，中间数据的共享问题 04-事务处理 分布式事务的数据在缓存与数据库中的一致性问题 06-热点数据 在并发量大的系统中，访问频率高的热点数据 应用技术 07-Ehcache

前言 Apache Flink（下简称Flink）项目是大数据处理领域最近冉冉升起的一颗新星，其不同于其他大数据项目的诸多特性吸引了越来越多人的关注。本文将深入分析Flink的一些关键技术与特性，希望能够帮助读者对Flink有更加深入的了解，对其他大数据系统开发者也能有所裨益。本文假设读者已对MapReduce、Spark及Storm等大数据处理框架有所了解，同时熟悉流处理与批处理的基本概念。 文章转载自： 深入理解Flink核心技术 一.Flink简介 Flink核心是一个流式的数据流执行引擎，其针对数据流的分布式计算提供了数据分布、数据通信以及容错机制等功能。基于流执行引擎，Flink提供了诸多更高抽象层的API以便用户编写分布式任务： DataSet API， 对静态数据进行批处理操作，将静态数据抽象成分布式的数据集，用户可以方便地使用Flink提供的各种操作符对分布式数据集进行处理，支持Java、Scala和Python。 DataStream API，对数据流进行流处理操作，将流式的数据抽象成分布式的数据流，用户可以方便地对分布式数据流进行各种操作，支持Java和Scala。 Table API，对结构化数据进行查询操作，将结构化数据抽象成关系表，并通过类SQL的DSL对关系表进行各种查询操作，支持Java和Scala。 此外，Flink还针对特定的应用领域提供了领域库

架构的本质 一个软件系统随着功能越来越多，调用量急剧增长，整个系统逐渐碎片化，越来越无序，最 终无法维护和扩展，所以系统在一段时间的野蛮生长后，也需要及时干预，避免越来越无序。 架构的本质就是对系统进行有序化重构，使系统不断进化 那架构是如何实现无序到有序的呢？ 基本的手段就是分和合，先把系统打散，然后重新组合。 分的过程是把系统拆分为各个子系统 / 模块 / 组件，拆的时候，首先要解决每个组件的定 位问题，然后才能划分彼此的边界，实现合理的拆分。合就是根据最终要求，把各个分离的 组件有机整合在一起，相对来说，第一步的拆分更难。 拆分的结果使开发人员能够做到业务聚焦、技能聚焦，实现开发敏捷，合的结果是系统变得 柔性，可以因需而变，实现业务敏捷 架构的分类 架构一般可分业务架构、应用架构、技术架构 1. 业务架构从概念层面帮助开发人员更好的理解系统，比如业务流程、业务模块、输入输出、 业务域 2. 应用架构从逻辑层面帮助开发落地系统，如数据交互关系、应用形式、交互方式，是的整 个系统逻辑上更容易理解，步入大家熟知的 SOA 就属于应用架构的范畴 3. 技术架构主要解决技术平台选型、如操作系统、中间件、设备、多机房、水平扩展、高可 用等问题 需要注意的是，系统或者架构首先都是为人服务的，系统的有序度高，用用逻辑合理，业务 概念清晰是第一位。现在大家讨论更多的是技术架构，如高并发设计

一、缓存概述 缓存是分布式系统中的重要组件，主要解决高并发，大数据场景下，热点数据访问的性能问题。提供高性能的数据快速访问。 1.1缓存的原理 （1） 将数据写入/读取速度更快的存储（设备）； （2） 将数据缓存到离应用最近的位置； （3） 将数据缓存到离用户最近的位置。 1.2缓存分类 在分布式系统中，缓存的应用非常广泛，从部署角度有以下几个方面的缓存应用。 （1） CDN缓存； （2） 反向代理缓存； （3） 分布式Cache； （4） 本地应用缓存； 1.3缓存媒介 常用中间件：Varnish，Ngnix，Squid，Memcache，Redis，Ehcache等； 缓存的内容：文件，数据，对象； 缓存的介质：CPU，内存（本地，分布式），磁盘（本地，分布式） 1.3缓存设计 缓存设计需要解决以下几个问题： （1） 缓存什么？ 哪些数据需要缓存：1.热点数据；2.静态资源； （2） 缓存的位置？ CDN，反向代理，分布式缓存服务器，本机（内存，硬盘） （3） 如何缓存的问题？ 过期策略 1.固定时间：比如指定缓存的时间是30分钟； 2.相对时间：比如最近10分钟内没有访问的数据； 同步机制 实时写入；（推） 异步刷新；（推拉） 二、CDN缓存 CDN主要解决将数据缓存到离用户最近的位置，一般缓存静态资源文件（页面，脚本，图片，视频，文件等）。国内网络异常复杂

Redis 的应用场景非常广泛。虽然Redis是一个key-value的内存数据库，但在实际场景中，Redis经常被作为缓存来使用，如面对数据高并发的读写、海量数据的读写等。 举个例子，A网站首页一天有100万人访问，其中有一个“积分商城”的板块，要直接从数据库查询，那么一天就要多消耗100万次数据库请求。如果将这些数据储存到Redis（内存）中，要用的时候，直接从内存调取，不仅可以大大节省系统直接读取磁盘来获得数据的IO开销，提高服务器的资源利用率，还能极大地提升速度。 随着日益增长的用户量以及业务高峰期剧增的访问量，通过扩容一次资源就能够解决问题的方式已不再有显著成效，并且运维Redis也比之前更易出现差错。而华为云分布式缓存Redis就很好地解决了自建Redis的一些问题，应用场景也十分丰富。比如很多大型电商网站、视频网站和游戏应用等，存在大规模数据访问，对数据查询效率要求高。使用华为云 分布式缓存Redis服务 可实现页面缓存、应用缓存、状态缓存、事件并行处理，能够有效减少数据库磁盘IO，提高数据查询效率，减轻管理维护工作量，降低数据库存储成本。对传统磁盘数据库是一个重要的补充，成为了互联网应用，尤其是支持高并发访问的互联网应用必不可少的基础服务之一。 具体而言，分布式缓存Redis可用于以下场景： 1、页面缓存 Redis可将Web页面的内容片段，包括HTML

什么是NOSQL NoSQL是不同于传统的关系数据库的数据库管理系统的统称。其两者最重要的区别是NoSQL不使用SQL作为查询语言。 NoSQL数据存储可以不需要固定的表格模式。NoSQL是基于键值对的，可以想象成表中的主键和值的对应关系。 NoSQL：redis、memcached、mongodb、guava（loadingCache） 什么是Redis Redis 是一个开源（BSD许可）的，内存中的数据结构存储系统，它可以用作数据库、缓存和消息中间件。 它支持多种类型的数据结构，如 字符串（strings）、散列（hashes）、 列表（lists）、 集合（sets）、 有序集合（sorted sets）等。 从mysql出发来认识redis 概念 关系型数据库的一个常见用法是存储长期的报告数据，并将这些报告数据用作固定时间范围内的聚合数据。 收集聚合数据的常见做法是：先将各个行插入一个报告表里面， 之后再通过扫描这些行来收集聚合数据， 并更新聚合表中巳有的那些行。 图解redis为什么出现 详细图解 查询优化器：join,left join,子查询，依赖子查询进行复杂sql及排序的优化。 Redis和memcached和mysql之间的区别 redis和memcached各有什么优势 内存管理机制进行比较 Memcached默认使用Slab

一、什么样的数据适合缓存 二、缓存穿透 缓存穿透是指查询一个一定不存在的数据，由于缓存是不命中时需要从数据库查询，查不到数据则不写入缓存，这将导致这个不存在的数据每次请求都要到数据库去查询，造成缓存穿透。在流量大时，可能DB就挂掉了，要是有人利用不存在的key频繁攻击我们的应用，这就是漏洞。 解决方案： 1）有很多种方法可以有效地解决缓存穿透问题，最常见的则是采用布隆过滤器，将所有可能存在的数据哈希到一个足够大的bitmap中，一个一定不存在的数据会被这个bitmap拦截掉，从而避免了对底层数据库的查询压力。 2）另外也有一个更为简单粗暴的方法，如果一个查询返回的数据为空（不管是数据不存在，还是系统故障），仍然把这个空结果进行缓存，但它的过期时间会很短，最长不超过五分钟。 三、缓存雪崩： 缓存雪崩是指在设置缓存时采用了相同的过期时间，导致缓存在某一时刻同时失效，导致所有的查询都落在数据库上，造成了缓存雪崩。 解决方案： 1）在缓存失效后，通过加锁或者队列来控制读数据库写缓存的线程数量。比如对某个key只允许一个线程查询数据和写缓存，其他线程等待。 2）可以通过缓存reload机制，预先去更新缓存，在即将发生大并发访问前手动触发加载缓存。 3）不同的key，设置不同的过期时间，让缓存失效的时间点尽量均匀。 4）做二级缓存，或者双缓存策略。A1为原始缓存，A2为拷贝缓存，A1失效时

前言 题目有点大，所以不可能说得非常具体，笔者也不能驾驭全部。 前面介绍过 网站发展过程中架构的演化过程 ,本文主要针对网站架构各个方面的建设进行简单介绍。 架构模式 先来说说模式： 每一个模式描述了一个在我们周围不断重复发生的问题及该问题解决方案的核心。这样，你就能一次又一次地用该方案而不必做重复工作 。 先来说说常见的网站架构模式。这里没有涉及具体实现过程，只是简单介绍其思想和原理，方便日后有用到再深入了解。 分层 分层是企业应用系统中最常见的一种架构模式，将系统在 横向维度 上切分成几个部分，每个部分负责一部分相对比较单一的职责，然后 通过上层对下层的依赖和调用 组成一个完整的系统。 分层 功能 应用层 负责具体业务和视图展示，如网站首页以及搜索输入和结果展示 服务层 为应用层提供服务支持，如用户管理服务，购物车服务 数据层 提供数据存储访问服务，如数据库、缓存、文件、搜索引擎等 分层架构 还可以细分下去 ，比如说应用层可以细分为视图层和业务逻辑层。服务层可以细分为数据接口层和逻辑处理层。 分层结构对网站支持高并发向分布式发展至关重要，所以 在网站规模很小的时候就应该采用分层的架构，这样将来网站做大时才能有更好地应对 。 所以说我们在设计一个新项目的架构时，就需要考虑到分层。不能等到日后项目做大了，再重构就耗时耗力了。 分割 上面的分层是将软件在横向方面进行切分，而分割是在

　　一个大型稳健成熟的分布式系统的背后，往往会设计众多的支撑组件，将这些支撑系统成为分布式系统的基础设施。进行系统架构设计所依赖的基础设施，还包括分布式协作及配置管理组件、分布式缓存组件、持久化存储组件、分布式消息系统、搜索引擎、以及CDN系统、负载均衡系统、运维自动化系统等，还有实时计算系统、离线计算系统、分布式文件系统、日志收集系统、监控系统、数据仓库等。此处主要讲讲缓存系统组件。 缓存组件层 缓存系统带来的好处： 加速读写。缓存通常是全内存的，比如Redis、Memcache。对内存的直接读写会比传统的存储层如MySQL，性能好很多。由于单台机器的内存资源和承载能力有限，并且如果大量使用本地缓存，也会使相同的数据被不同的节点存储多份，对内存资源造成较大的浪费，因此才催生出了分布式缓存。 降低后端的负载。在高并发环境下，大量的读、写请求涌向数据库，磁盘的处理速度与内存显然不在一个量级，从减轻数据库的压力和提供系统响应速度两个角度来考虑，一般都会在数据库之前加一层缓存。 缓存系统带来的成本： 数据不一致性：在分布式环境下，数据的读写都是并发的，上游有多个应用，通过一个服务的多个部署(为了保证可用性，一定是部署多份的)，对同一个数据进行读写，在数据库层面并发的读写并不能保证完成顺序，也就是说后发出的读请求很可能先完成(读出脏数据) 代码维护成本：加入缓存后