存储快照

Redis详解（一）——RDB 前言 由于 Redis 是一个内存数据库，所谓内存数据库，就是将数据库中的内容保存在内存中，这与传统的MySQL，Oracle等关系型数据库直接将内容保存到硬盘中相比，内存数据库的读写效率比传统数据库要快的多（内存的读写效率远远大于硬盘的读写效率）。但是保存在内存中也随之带来了一个缺点，一旦断电或者宕机，那么内存数据库中的数据将会全部丢失。 　　为了解决这个缺点，Redis提供了将内存数据持久化到硬盘，以及用持久化文件来恢复数据库数据的功能。Redis 支持两种形式的持久化，一种是RDB快照（snapshotting），另外一种是AOF（append-only-file）。本篇博客先对 RDB 快照进行介绍。 1、RDB 简介 　　RDB是Redis用来进行持久化的一种方式，是把当前内存中的数据集快照写入磁盘，也就是 Snapshot 快照（数据库中所有键值对数据）。恢复时是将快照文件直接读到内存里。 2、触发方式 　　RDB 有两种触发方式，分别是自动触发和手动触发。 ①、自动触发 　　在 redis.conf 配置文件中 　　 ①、save： 这里是用来配置触发 Redis的 RDB 持久化条件，也就是什么时候将内存中的数据保存到硬盘。比如“save m n”。表示m秒内数据集存在n次修改时，自动触发bgsave（这个命令下面会介绍

通过前面的学习，了解了redis的各个数据类型后，知晓了为何使用redis 它的优势主要是数据存储和查询比关系型数据库快， 这是因为redis的数据都是存储在内存中的原因，并且具有较多的数据类型， 使得在访问查询高频数据时我们可以放置在redis进行缓存，进而减小mysql的访问压力， 而正因为redis存储在内存中的原因， 导致在redis服务关闭前，如果未将内存中的数据存在磁盘上会导致数据的丢失 redis也在这方面进行了处理，尽最大可能的减少数据丢失的概率 这章也主要学习的就是redis的数据持久化方面的处理操作 主要分两类处理:RDB 和 AOF 前者将根据指定的规则"定时"将内存中的数据存储在硬盘上 后者则是在每次执行命令后将命令本身记录下来 首先学习第一种 RDB RDB方式的持久化是通过快照完成的， 当符合一定条件时Redis会自动将内存中的所有数据生成一份副本并存储在硬盘上 ，这个过程即为"快照" 那么什么为其符合的条件呢： · 根据配置规则进行自动快照 · 用户执行SAVE 或 BGSAVE命令 · 执行FLUSHALL 命令 · 执行复制时 1》 根据配置规则进行自动快照 首先找到配置文件 该配置是用户自定义其快照条件，规则：时间窗口M 和 改动键的个数N 即当在M的时间段内更改键的个数大于N，即为符合自动快照的条件，如： save 900 1 save 300

1.默认为RDB存储方式，每次修改数据库，需要输入指令save才会存入磁盘的 dump.rdb文件里，相当于备份快照，下次开启服务后会自动缓存于内存里。当然，满足下面几个条件 也会自动保存到磁盘： save 开头的一行就是持久化配置，可以配置多个条件（每行配置一个条件），每个条件之间是“或”的关系，“save 900 1”表示15分钟（900秒钟）内至少1个键被更改则进行快照，“save 300 10”表示5分钟（300秒）内至少10个键被更改则进行快照。 2.使用AOF存储方式，每次执行一次会更改数据库的指令就会将命令写入磁盘里的appendonly.aof文件里，万无一失，当然，这不是最安全的方式，但是最稳妥的。 3.开启AOF方式：在redis.windows-service.conf文件里第561行代码将参数no改为yes，然后重启redis服务即可 。 来源： https://www.cnblogs.com/c2g5201314/p/12234704.html

启动一个ceph进程 #启动mon进程 service ceph start mon.node1 #启动msd进程 service ceph start mds.node1 #启动osd进程 service ceph start osd.0 #查看机器的监控状态 ceph health #查看ceph的实时运行状态 ceph -w #检查信息状态信息 ceph -s #查看ceph存储空间 ceph df #删除一个节点的所有的ceph数据包 ceph-deploy purge node1 ceph-deploy purgedata node1 创建管理用户 #为ceph创建一个admin用户并为admin用户创建一个密钥，把密钥保存到/etc/ceph目录下： ceph auth get-or-create client.admin mds 'allow' osd 'allow *' mon 'allow *' > /etc/ceph/ceph.client.admin.keyring 或 ceph auth get-or-create client.admin mds 'allow' osd 'allow *' mon 'allow *' -o /etc/ceph/ceph.client.admin.keyring #为osd.0创建一个用户并创建一个key ceph auth

备份的作用 灾难恢复 回滚 审计 测试 创建备库 难点 在线备份（热备份），即不停机备份 RTO（恢复时间目标）和 PRO（恢复点目标） 越来越严格 FTWRL 导致的锁表 快照备份 快照备份是指通过文件系统支持的快照功能对数据库进行备份。 备份的原理是将所有的数据库文件放在同一分区中，然后对该分区执行快照工作，对于Linux而言，需要通过 LVM(Logical Volumn Manager)来实现。LVM 使用写时复制(copy-on-write)技术来创建快照，对整个卷的某个瞬间的逻辑副本。 LVM有一个快照预留区域，如果原始卷数据有变化时，LVM保证在任何变更写入之前，会复制受影响块到快照预留区域。简单来说，快照区域内保留了快照点开始时的一致的所有old数据。对于更新很少的数据库，快照也会非常小。 对于MySQL而言，为了使用快照备份，需要将数据文件，日志文件都放在一个逻辑卷中，然后对该卷快照备份即可。 由于快照备份，只能本地，因此，如果本地的磁盘损坏，则快照也就损坏了。快照备份更偏向于对误操作防范，可以将数据库迅速恢复到快照产生的时间点，然后结合二进制日志可以恢复到指定的时间点。 Mysqldump 关键参数： –single-transaction：在开始备份前，执行start transaction命令，以此来获取一致性备份，该参数仅对innodb存储引擎有效

1. 工作机制 一个数据块在 DataNode 上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。 DataNode 启动后向 NameNode 注册，通过后，周期性（1小时）的向 NameNode 上报所有的块信息。 心跳是每3秒一次，心跳返回结果带有 NameNode 给该 DataNode 的命令如复制块数据到另一台机器，或删除某个数据块。如果超过 10 分钟没有收到某个 DataNode 的心跳，则认为该节点不可用。 ============================== 2. 数据完整性 当 DataNode 读取 Block 的时候，它会计算 CheckSum。 如果计算后的 CheckSum, 与 Block 创建时值不一样， 说明 Block 已经损坏。 Client 读取其他 DataNode 上的 Block。 DataNode 在其他文件创建后周期验证 CheckSum； 奇偶校验示例（实际使用的是CRC校验）： ============================== 3. 掉线时限参数设置 DataNode 进程死亡或者网络故障造成 DataNode 无法与 NameNode 通信； NameNode 不会立即把该节点判定为死亡，要经过一段时间，这段时间暂称作 超时时长 ; HDFS

事务 指作为单个逻辑工作单元执行的一系列操作，要么完全地执行，要么完全地不执行。 简单的说，事务就是并发控制的单位，是用户定义的一个操作序列。 而一个逻辑工作单元要成为事务，就必须满足ACID属性。 事务的四大特性(ACID): 原子性(atomicity) 事务开始后所有操作，要么全部做完，要么全部不做，不可能停滞在中间环节。事务执行过程中出错，会回滚到事务开始前的状态，所有的操作就像没有发生一样。也就是说事务是一个不可分割的整体，就像化学中学过的原子，是物质构成的基本单位. 事务中的操作要么都不做，要么就全做。 一致性(consistency) 一致性是指事务必须使数据库从一个一致性状态变换到另一个一致性状态，也就是说一个事务执行之前和执行之后都必须处于一致性状态。 例:拿转账来说，假设用户A和用户B两者的钱加起来一共是5000，那么不管A和B之间如何转账，转几次账，事务结束后两个用户的钱相加起来应该还得是5000，这就是事务的一致性。 事务执行的结果必须是从数据库从一个一致性状态转换到另一个一致性状态。 隔离性(Isolation) 一个事务的执行不能被其他事务干扰 隔离性是当多个用户并发访问数据库时，比如同时操作同一张表时，数据库为每一个用户开启的事务，不能被其他事务的操作所干扰，多个并发事务之间要相互隔离。关于事务的隔离性数据库提供了多种隔离级别 脏读 不可重复读 幻读

redis支持RDB和AOF两种持久化机制，持久化可以避免因进程退出而造成数据丢失。 两种持久化可以单独使用其中一种，但更多情况下是将二者结合使用。 一、RDB持久化 RDB持久化把当前进程数据生成快照（.rdb）文件保存到硬盘的过程，有手动触发和自动触发。 redis会在以下几种情况下对数据进行快照。 a）根据配置规则进行自动快照； b）用户执行save或bgsave命令； c）执行flushall命令； d）执行复制（replication）时； 1、根据配置规则进行自动快照 允许用户自定义快照条件，当符合快照条件时，redis会自动执行快照操作。进行快照的题哦啊键可以由用户在配置文件中自定义，由两个参数构成：时间窗口M和改动的键的个数N。每当时间M内被更改的键的个数大于N时，即符合自动快照条件。 如redis安装目录中包含的样例配置文件中预置的3个条件： save 900 1 save 300 10 save 60 10000 每条快照条件占一行，并且以save参数开头，同时可以存在多个条件，条件之间是“或”的关系。上例中，save 900 1的意思是在15分钟（900秒）内有一个或一个以上的键被更改则进行快照，同理，save 300 10表示子啊300秒内至少有10键被修改进行快照。 2、手动触发有save和bgsave两命令 除redis自动进行快照外，服务重启

一、概念 一）redis提供了不同级别的持久化方式： RDB持久化方式能够在指定的时间间隔能对你的数据进行快照存储。 AOF持久化方式记录每次对服务器写的操作，当服务器重启的时候会重新执行这些命令来恢复原始的数据，AOF命令以redis协议追加保存每次写的操作到文件末尾，redis还能对AOF文件进行后台重写，使得AOF文件的体积不至于过大。 如果你只希望你的数据在服务器运行的时候存在，你也可以不适用任何持久化方式。 也可以同时开启两种持久化方式，在这种情况下，当redis重启的时候会有限载入AOF文件来恢复原始的数据，因为在通常情况下AOF文件保存的数据集比RDB文件保存的数据集要完整 二）RDB的优缺点 优点： RDB是一个非常紧凑的文件，它保存了某个时间点的数据集，非常适用于数据集的备份，这样即使出了问题你也可以根据需求恢复到不同版本的数据集。 RDB是一个紧凑的单一文件，很方便传送到另一个远端数据中心或者亚马逊的S3（可能加密），非常适用于灾难恢复。 RDB在保存RDB文件时父进程唯一需要做的就是fork出一个子进程，接下来的工作全部由子进程来做，父进程不需要再做其他IO操作，所以RDB持久化方式可以最大化redis的性能。 与AOF相比，在恢复大的数据集的时候，RDB方式会更快一些。 缺点： 如果希望在redis意外停止工作的情况下丢失的数据最少的话，那么RDB不适合

LiveQing云端直播点播流媒体软件 ： 提供设备接入； RTMP推流服务、RTMP分发、HLS分发、HTTP-FLV分发； 云端录像、云端录像检索、云端录像点播、云端录像下载； RTMP转推、推流鉴权验证、推流信息统计、播放信息统计； 直播分享、开放直播、拉转直播； 视频上传、视频转码、视频分享、视频下载； 后台管理、二次开发接口、防盗链、播放地址加密、播放器集成等。 在实际的业务场景中，我们需要了解直播的动态，但却不需要消耗大量的存储来持久化；LiveQing流媒体服务中，提供的直播快照功能，可以很好的解决这一需求。 直播配置-直播快照配置 新建 直播快照规则 关联直播： 该规则可以下拉选择适配到一个或多个直播； 截取快照时间：可以设置具体的一段时间内才执行该快照规则； 快照保存（天）： 可以保存几天或一直保存； 快照间隔（秒）：设置每张快照的间隔时间； 分辨率（宽x高）：每张截取快照的分辨率； 查看 直播快照 直播快照二次开发接口 01 新建/编辑快照配置 02 获取快照配置列表 03 获取单条快照配置信息 04 快照开关 05 删除快照配置 07 快照查询接口 08 获取最新快照 来源： https://www.cnblogs.com/kumukim/p/11006624.html