增量备份

ceph中rbd的增量备份和恢复 ceph的文档地址： Ceph Documentation ​ 在调研OpenStack中虚机的备份和恢复时，发现OpenStack和ceph紧密结合，使用ceph做OpenStack的后端简直是不要太爽，于是调研了使用ceph中的块设备rbd来对虚机进行增量备份和恢复。以下是虚机备份和恢复的实验步骤： 1. 前言： ​ 快照 的功能一般是基于时间点做一个标记，然后在某些需要的时候，将状态恢复到标记的那个点，这个有一个前提是 底层的数据没有破坏 ，举个简单的例子， Vmware 里面对虚拟机做了一个快照，然后做了一些系统的操作，想恢复快照，前提是存储快照的存储系统没用破坏，一旦破坏了是无法恢复的。 ​ ceph也有快照功能，同样，在这里的快照是用来保存存储系统上的状态的，数据的快照能成功恢复的前提是存储系统是好的，而一旦存储系统坏了，快照同时会失效的，所以最好是能够将数据备份下来。本篇博客主要是调研使用ceph的rbd命令来对存储设备进行基于快照的增量备份。 2. ceph中rbd的常用命令： 2.1列出存储池 ceph osd pool ls 2.2 查看存储池的内容 rbd ls --pool pool_name 例子 rbd ls --pool volumes 2.3 打快照 rbd snap create {pool-name}/

Xtarbackup简介 Xtrabackup是由percona开源的免费数据库热备份软件，它能对InnoDB数据库和XtraDB存储引擎的数据库非阻塞地备份（对于MyISAM的备份同样需要加表锁）；mysqldump备份方式是采用的逻辑备份，其最大的缺陷是备份和恢复速度较慢，如果数据库大于50G，mysqldump备份就不太适合。 Xtrabackup优点 1）备份速度快，物理备份可靠 2）备份过程不会打断正在执行的事务（无需锁表） 3）能够基于压缩等功能节约磁盘空间和流量 4）自动备份校验 5）还原速度快 6）可以流传将备份传输到另外一台机器上 7）在不增加服务器负载的情况备份数据 Xtrabackup备份原理 备份开始时首先会开启一个后台检测进程，实时检测mysql redo的变化，一旦发现有新的日志写入，立刻将日志记入后台日志文件xtrabackup_log中，之后复制innodb的数据文件一系统表空间文件ibdatax，复制结束后，将执行flush tables with readlock,然后复制.frm MYI MYD等文件，最后执行unlock tables,最终停止xtrabackup_log。 Xtrabackup增量备份介绍 xtrabackup增量备份的原理是： 1)、首先完成一个完全备份，并记录下此时检查点LSN； 2)、然后增量备份时

　　关于MySQL数据库的备份的工具和方式也比较多，本文只简单介绍一些我司一个平台的备份方案。Xtrabackup是由percona开源的免费数据库热备份软件，但是只能对InnoDB数据库和XtraDB存储引擎的数据库进行非阻塞的备份，但是对于MyISAM（比如MySQL）的备份同样在备份过程中会锁表。更多的关于Xtrabackup介绍请度娘之。 1，安装Xtrabackup 　　到官网https://www.percona.com下载tar进行安装，由于我司服务器部分可连公网，直接在服务商下载并传到目标主机即可 　　 [root@host1 tmp]#wget https://www.percona.com/downloads/XtraBackup/Percona-XtraBackup-2.4.9/binary/redhat/6/x86_64/Percona-XtraBackup-2.4.9-ra467167cdd4-el6-x86_64-bundle.tar [root@host1 tmp]#tar -xvf Percona-XtraBackup-2.4.9-ra467167cdd4-el6-x86_64-bundle.tar [root@host1 tmp]#rpm -ivh percona-xtrabackup-24-debuginfo-2.4.9-1.el6.x86_64

数据备份的重要性 1、在生产环境中，数据的安全性是至关重要的，任何数据的丢失都可能产生严重的后果 2、造成数据丢失的原因 程序错误 人为错误 计算机失败 磁盘失败 灾难(如地震等)和偷窃 数据库备份的分类 一、从物理与逻辑的角度，备份可分为： 1、物理备份:对数据库操作系统的物理文件(如数据文件、日志文件等)的备份 物理备份又可以分为脱机备份(冷备份)和联机备份(热备份)： -冷备份:是在关闭数据库的时候进行的 -热备份:数据库处于运行状态，这种备份方法依赖于数据库的日志文件 2、逻辑备份:对数据库逻辑组件(如表等数据库对象)的备份 二、从数据库的备份策略角度， 备份可分为： 1、完全备份:每次对数据进行完整的备份 2、差异备份:备份那些自从上次完全备份之后被修改过的文件 3、增量备份:只有那些在.上次完全备份或者增量备份后被修改的文件才会被备份 注意点:差异备份与增量备份相辅相成 MySQL完全备份(全量备份) 1、完全备份是对整个数据库的备份、数据库结构和文件结构的备份 2、完全备份保存的是备份完成时刻的数据库 3、完全备份是增量备份的基础 完全备份的优点 备份与恢复操作简单方便 完全备份的缺点 1.数据存在大量的重复 2.占用大量的备份空间 3.备份与恢复时间长 mysqldump备份库 一、MySQL数据库的备份可以采用用多种方式 1.直接打包数据库文件夹，如/usr

数据备份的重要性 在生产环境中，数据的安全性是至关重要的，任何数据的丢失都可能产生严重的后果 造成数据丢失的原因 程序错误 人为错误（常事） 计算机失败 磁盘失败 灾难 数据库备份的分类 物理备份 对数据库操作系统的物理文件（如数据文件，日志文件等）的本份 物理备份又可以分为脱机备份（冷备份）和联机备份（热备份） 冷备份：实在关闭数据库的时候进行的 热备份：数据库处于运行状态，这种备份方法依赖于数据库的日志文件 逻辑备份 ：对数据库逻辑组件（如表等数据库对象）的备份 从数据库的备份策略角度，备份可分为 完全备份：每次对数据进行完整的备份 差异备份：备份那些自从上次完全备份之后被修改的文件 增量备份 ：只有那些在上次完全备份或者增量备份后被修改的文件才会被备份 增量备份 ，第一点在完全备份基础之上，a,b,c增量修改之后会就b+,c+增量备份。在这两个文件增量备份之后，再备份修改，b+b+ 完全备份 完全备份是对整个数据库的备份，数据库结构和文件结构的备份 完全备份保存的是备份完成时刻的数据库 完全备份是增量备份的基础 完全备份的优缺点 优点：备份与恢复操作简单方便 缺点：数据存在大量的重复，占用大量的备份空间，备份与恢复时间长 mysqldump备份库 Mysql数据库的备份可以采用多种方式 直接打包数据库文件夹，如/usr/local/mysal/data

数据备份的重要性 1、在生产环境中，数据的安全性是至关重要的，任何数据的丢失都可能产生严重的后果 2、造成数据丢失的原因 程序错误 人为错误 计算机失败 磁盘失败 灾难(如地震等)和偷窃 数据库备份的分类 一、从物理与逻辑的角度，备份可分为： 1、物理备份:对数据库操作系统的物理文件(如数据文件、日志文件等)的备份 物理备份又可以分为脱机备份(冷备份)和联机备份(热备份)： -冷备份:是在关闭数据库的时候进行的 -热备份:数据库处于运行状态，这种备份方法依赖于数据库的日志文件 2、逻辑备份:对数据库逻辑组件(如表等数据库对象)的备份 二、从数据库的备份策略角度， 备份可分为： 1、完全备份:每次对数据进行完整的备份 2、差异备份:备份那些自从上次完全备份之后被修改过的文件 3、增量备份:只有那些在.上次完全备份或者增量备份后被修改的文件才会被备份 注意点:差异备份与增量备份相辅相成 一、MySQL完全备份(全量备份) 1、完全备份是对整个数据库的备份、数据库结构和文件结构的备份 2、完全备份保存的是备份完成时刻的数据库 3、完全备份是增量备份的基础 完全备份的优点 备份与恢复操作简单方便 完全备份的缺点 1.数据存在大量的重复 2.占用大量的备份空间 3.备份与恢复时间长 备份方法 一、MySQL数据库的备份可以采用用多种方式 1.直接打包数据库文件夹，如/usr/local

一. 全量备份恢复： 查看原表内容： MariaDB [(none)]> select * from testdb.students; +----+------------+------+--------+ | id | name | age | gender | +----+------------+------+--------+ | 1 | zhangsan | 15 | f | | 2 | lisi | 15 | m | | 3 | wanger | 25 | m | | 4 | liuwu | 24 | f | | 5 | wangermazi | 28 | f | +----+------------+------+--------+ 5 rows in set (0.00 sec) 1. 备份： [root@jenkins ~]# innobackupex --user=lxk --host=localhost --password=lxkpass /tmp 180916 11:56:18 innobackupex: Starting the backup operation IMPORTANT: Please check that the backup run completes successfully. At the end of a successful