数据持久化

　　由于 Redis 是一个内存数据库，所谓内存数据库，就是将数据库中的内容保存在内存中，这与传统的MySQL，Oracle等关系型数据库直接将内容保存到硬盘中相比，内存数据库的读写效率比传统数据库要快的多（内存的读写效率远远大于硬盘的读写效率）。但是保存在内存中也随之带来了一个缺点，一旦断电或者宕机，那么内存数据库中的数据将会全部丢失。 　　为了解决这个缺点，Redis提供了将内存数据持久化到硬盘，以及用持久化文件来恢复数据库数据的功能。Redis 支持两种形式的持久化，一种是 RDB快照（snapshotting），另外一种是 AOF（append-only-file）。 rdb rdb是redis用来进行持久化的一种方式，是把当前内存中的数据快照写入磁盘，也就是Snapshot 快照（数据库中所有键值对数据）。恢复时将快照文件直接读到内存里。 1.触发方式 自动触发，手动触发 自动触发 redis.conf配置文件中snapshotting save：用来配置触发redis的RDB持久化，也就是什么时候将内存中的数据保存到硬盘中。 比如 save m n，表示在m秒内数据集存在n次修改时自动触发 bgsave 不需要持久化，那么你可以注释掉所有的 save 行来停用保存功能。可以直接一个空字 符串来实现停用：save " " 默认配置： save 900 1：表示900

作者：TD李 链接：https://zhuanlan.zhihu.com/p/57473266 来源：知乎 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 1、什么是Redis? Redis 是完全开源免费的，遵守BSD协议，是一个高性能的key-value数据库。 Redis 与其他 key - value 缓存产品有以下三个特点： Redis支持数据的持久化，可以将内存中的数据保存在磁盘中，重启的时候可以再次加载进行使用。 Redis不仅仅支持简单的key-value类型的数据，同时还提供list，set，zset，hash等数据结构的存储。 Redis支持数据的备份，即master-slave模式的数据备份。 Redis 优势 性能极高 – Redis能读的速度是110000次/s,写的速度是81000次/s 。 丰富的数据类型 – Redis支持二进制案例的 Strings, Lists, Hashes, Sets 及 Ordered Sets 数据类型操作。 原子 – Redis的所有操作都是原子性的，意思就是要么成功执行要么失败完全不执行。单个操作是原子性的。多个操作也支持事务，即原子性，通过MULTI和EXEC指令包起来。 丰富的特性 – Redis还支持 publish/subscribe, 通知, key 过期等等特性。

iOS数据持久化之二——归档与设计可存储化的数据模型基类 一、引言 在上一篇博客中，我们介绍了用plist文件进行数据持久化的方法。虽然简单易用，但随着开发的深入，你会发现，这种方式还是有很大的局限性。试想，如果我们可以将用户的登录返回信息模型，游戏中角色的属性信息模型进行直接的持久化存取，那是不是非常爽的事，幸运的是，我们可以通过归档，来设计一个这样的数据模型。 二、先来精通归档吧 归档也是iOS提供给开发者的一种数据存储的方式，事实上，几乎所有的数据类型都可以通过归档来进行存取。其存储与读取的过程，主要封装在两个类中：NSKeyedArchiver和NSKeyedUnarchiver。 1、归档的原理 归档是将一种或者多种数据类型进行序列化，解归档的过程就是将序列化的数据进行反序列化的解码，这里需要注意一点，归档的核心并非是数据的持久化处理，而是数据的序列化处理，持久化的处理依然是通过文件存取来实现的。因此，被归档的数据类型都必须遵守一个相同的协议，才能在这个协议的约束下进行正确的归档与解归档，这个协议就是NSCoding协议，我们可以先来看一下NSCoding中的内容： @protocol NSCoding - (void)encodeWithCoder:(NSCoder *)aCoder; - (id)initWithCoder:(NSCoder *)aDecoder;

持久化方案分类： 1.RDB全量持久化，数据快照： RDB会把内存中的所有数据存放到硬盘的文件中，这个文件也称为RDB快照。 2.AOF增量持久化，命令日志： AOF会把对数据库的所有读写操作命令记录下来，放到AOF命令日志中。 两种持久化方案的区别： 1.RDB占用的存储空间比AOF要小。 2.AOF恢复数据的速度比RDB要快。 3.如果文件损坏，RDB的数据全部作废，AOF只损失一小部分数据。 4.RDB是fork一个新的线程进行数据加载，最大限度使用系统资源，如果数据量过大，就会造成服务器卡顿。 AOF是一部分一部分地进行加载，不会影响服务器的其他应用。 5.AOF可以回滚误操作。 RDB持久化策略（默认持久化方案） save 900 1 save 300 10 save 60 10000 # after 900 sec (15 min) if at least 1 key changed # after 300 sec (5 min) if at least 10 keys changed # after 60 sec if at least 10000 keys changed AOF持久化策略（需要手动开启） # appendfsync always 每一次操作都持久化（会极大影响redis性能） # appendfsync everyse 每秒进行一次持久化 #

1、什么是Redis？ Redis本质上是一个Key-Value类型的内存数据库，很像memcached，整个数据库统统加载在内存当中进行操作，定期通过异步操作把数据库数据flush到硬盘上进行保存。因为是纯内存操作，Redis的性能非常出色，每秒可以处理超过 10万次读写操作，是已知性能最快的Key-Value DB。 Redis的出色之处不仅仅是性能，Redis最大的魅力是支持保存多种数据结构，此外单个value的最大限制是1GB，不像 memcached只能保存1MB的数据，因此Redis可以用来实现很多有用的功能，比方说用他的List来做FIFO双向链表，实现一个轻量级的高性 能消息队列服务，用他的Set可以做高性能的tag系统等等。另外Redis也可以对存入的Key-Value设置expire时间，因此也可以被当作一 个功能加强版的memcached来用。 Redis的主要缺点是数据库容量受到物理内存的限制，不能用作海量数据的高性能读写，因此Redis适合的场景主要局限在较小数据量的高性能操作和运算上。 2、Redis相比memcached有哪些优势？ (1) memcached所有的值均是简单的字符串，redis作为其替代者， 支持更为丰富的数据类型 (2) redis的速度比memcached快很多 (3) redis可以持久化其数据 3、Redis支持哪几种数据类型

本文首发于： https://mp.weixin.qq.com/s/WVUGWuNrGoyY_7aDf7NNmA 微信公众号：后端技术指南针 0.前言 通俗讲持久化就是将内存中的数据写入非易失介质中，比如机械磁盘和SSD。 在服务器发生宕机时，作为内存数据库Redis里的所有数据将会丢失， 因此Redis提供了持久化两大利器：RDB和AOF。 1 RDB:Redis Dump Binary #全量二进制导出 2 AOF: Append-Only File #增量文件追加 RDB 将数据库快照以二进制的方式保存到磁盘中。 AOF 以协议文本方式，将所有对数据库进行过写入的命令和参数记录到 AOF 文件，从而记录数据库状态。 1.RDB的配置 查看RDB配置 1 [redis@abc]$ cat /abc/redis/conf/redis.conf 2 save 900 1 3 save 300 10 4 save 60 10000 5 dbfilename "dump.rdb" 6 dir "/data/dbs/redis/rdbstro" 上图为Redis配置文件里默认的RDB设置： 前三行都是对触发RDB的一个条件， 如第一行表示每900秒钟有一条数据被修改则触发RDB，依次类推；只要一条满足就会进行RDB持久化；

篇文章主要讨论一下我们经常会用到的一些对象：VO、DTO、DO和PO。 由于不同的项目和开发人员有不同的命名习惯，这里我首先对上述的概念进行一个简单描述，名字只是个标识，我们重点关注其概念： 概念： VO （View Object ）： 视图对象，用于展示层，它的作用是把某个指定页面（或组件）的所有数据封装起来。 DTO （Data Transfer Object ）： 数据传输对象，这个概念来源于J2EE的设计模式，原来的目的是为了EJB的分布式应用提供粗粒度的数据实体，以减少分布式调用的次数，从而提高分布式调用的性能和降低网络负载，但在这里，我泛指用于展示层与服务层之间的数据传输对象。 DO （Domain Object ）： 领域对象，就是从现实世界中抽象出来的有形或无形的业务实体。 PO （Persistent Object ）： 持久化对象，它跟持久层（通常是关系型数据库）的数据结构形成一一对应的映射关系，如果持久层是关系型数据库，那么，数据表中的每个字段（或若干个）就对应PO的一个（或若干个）属性。 模型： 下面以一个时序图建立简单模型来描述上述对象在三层架构应用中的位置 用户发出请求（可能是填写表单），表单的数据在展示层被匹配为VO。 展示层把VO转换为服务层对应方法所要求的DTO，传送给服务层。 服务层首先根据DTO的数据构造（或重建）一个DO

7. Redis持久化有哪几种方式？不同的持久化机制都有什么优缺点？持久化机制具体底层是如何实现的？ 为什么要持久化？ 如果只是存在内存里，如果redis宕机再重启，内存数据就丢失了，所以要用持久化机制。 将数据写入内存的同时，异步的慢慢将数据写入磁盘文件，定期同步或备份到云存储服务上，进行持久化。 如果redis宕机重启，自动从磁盘加载之前持久化的一些数据，也许会丢失少量数据，但至少不会丢所有数据。 Redis 持久化的两种方式: RDB 和 AOF RDB(Redis Database) : 是对redis中的数据执行 周期性 的持久化。 简单说就是每个几分钟或几个小时，生成redis内存中数据的一份全量快照副本。 AOF(Append-Only-File) ：是对每条写入命令作为日志，以append-only的模式写入一个日志文件中，在redis重启的时候，可以通过回放AOF日志中的写入指令来重新构建整个数据集。 现在操作系统中，写文件不是直接写磁盘，会先写os cache(linux)，然后到一定时间从os cache写到磁盘文件。 如果同时使用 RDB 和 AOF 两种持久化机制，那么在 redis 重启的时候，会使用 AOF 来重新构建数据，因为 AOF 中的数据更加完整。 RDB 优缺点： 优点： 1. 非常适合做冷备份。 RDB生成多个文件

常用的 SQL 数据库的数据都是存在磁盘中的，虽然在数据库底层也做了对应的缓存来减少数据库的 IO 压力。 由于数据库的缓存一般是针对查询的内容，而且粒度也比较小，一般只有表中的数据没有发生变动的时候，数据库的缓存才会产生作用。 但这并不能减少业务逻辑对数据库的增删改操作的 IO 压力，因此缓存技术应运而生，该技术实现了对热点数据的高速缓存，可以大大缓解后端数据库的压力。 主流应用架构 客户端在对数据库发起请求时，先到缓存层查看是否有所需的数据，如果缓存层存有客户端所需的数据，则直接从缓存层返回，否则进行穿透查询，对数据库进行查询。 如果在数据库中查询到该数据，则将该数据回写到缓存层，以便下次客户端再次查询能够直接从缓存层获取数据。 缓存中间件 Memcache 和 Redis 的区别 Memcache 的代码层类似 Hash，特点如下： 支持简单数据类型 不支持数据持久化存储 不支持主从 不支持分片 Redis 特点如下： 数据类型丰富 支持数据磁盘持久化存储 支持主从 支持分片 为什么 Redis 能这么快 Redis 的效率很高，官方给出的数据是 100000+QPS，这是因为： Redis 完全基于内存，绝大部分请求是纯粹的内存操作，执行效率高。 Redis 使用单进程单线程模型的（K，V）数据库，将数据存储在内存中，存取均不会受到硬盘 IO 的限制，因此其执行速度极快。

>>Memcached Memcached的优点： Memcached可以利用多核优势，单实例吞吐量极高，可以达到几十万QPS（取决于key、value的字节大小以及服务器硬件性能，日常环境中QPS高峰大约在4-6w左右）。适用于最大程度扛量。 支持直接配置为session handle。 Memcached的局限性： 只支持简单的key/value数据结构，不像Redis可以支持丰富的数据类型。 无法进行持久化，数据不能备份，只能用于缓存使用，且重启后数据全部丢失。 无法进行数据同步，不能将MC中的数据迁移到其他MC实例中。 Memcached内存分配采用Slab Allocation机制管理内存，value大小分布差异较大时会造成内存利用率降低，并引发低利用率时依然出现踢出等问题。需要用户注重value设计。 >>Redis Redis的优点： 支持多种数据结构，如 string（字符串）、 list(双向链表)、dict(hash表)、set(集合）、zset(排序set)、hyperloglog（基数估算） 支持持久化操作，可以进行aof及rdb数据持久化到磁盘，从而进行数据备份或数据恢复等操作，较好的防止数据丢失的手段。 支持通过Replication进行数据复制，通过master-slave机制，可以实时进行数据的同步复制，支持多级复制和增量复制，master