XtraBackup

备份的重要性 数据备份是一个程序员，嗯，很重要的操守！想一想，哪天数据库所在的服务器挂了，数据库文件被毁了，哭都来不及啊，或者不小心删库了，更是mmp。 因此，作为一名优秀的程序员，要掌握一定的数据备份技能。它上可按需求转移数据到安全的地方，下可保证数据丢失后便于及时恢复。 备份概况 备份有很多种，按存储方式分为物理备份（备份具体数据）和逻辑备份（备份SQL语句，这个可以通过查看导出的SQL文件看到），按备份过程分为冷备（需要服务停机，这个时候MySQL实例是停止的，再进行数据导出）和热备（服务器不停机）。 冷备 我们一般玩游戏会出现停机维护的情况，一般凌晨3点到8点的样子，大概就是冷备吧，（虽说大多是系统升级，但不排除会这个时候进行数据备份是吧，哈哈）。 对于MySQL而言，可以有物理和逻辑两种： 物理备份 物理备份比较暴力，比如直接把整个MySQL服务所有文件copy一份到另一台机子上，也可以只将MySQL服务文件夹下的data文件copy一份到另一台服务器上，不过这样对MySQL版本有要求，最好一致。 逻辑备份 重要的是逻辑备份，其实就是将执行的具体SQL语句copy一份，哪天不小心删表了，再执行一下这个SQL文件就可以恢复数据了，棒棒的。 我们最常用的就是MySQL自带的工具mysqldump,命令如下： mysqldump - h 192.168 .153 .128 -

前面介绍 mysqldump 备份方式是采用逻辑备份，其最大的缺陷就是备份和恢复速度都慢， 对于一个小于 50G 的数据库而言，这个速度还是能接受的，但如果数据库非常大，那再使 用 mysqldump 备份就不太适合了。 这时就需要一种好用又高效的工具，xtrabackup 就是其中一款，号称免费版的 InnoDB HotBackup。 Xtrabackup 实现是物理备份，而且是物理热备 目前主流的有两个工具可以实现物理热备：ibbackup 和 xtrabackup；ibbackup 是商业软件， 需要授权，非常昂贵。而 xtrabackup 功能比 ibbackup 还要强大，但却是开源的。因此我们 这里就来介绍 xtrabackup 的使用。 Xtrabackup 提供了两种命令行工具： xtrabackup：专用于备份 InnoDB 和 XtraDB 引擎的数据； innobackupex：这是一个 perl 脚本，在执行过程中会调用 xtrabackup 命令， 这样用该命令即 可以实现备份 InnoDB，也可以备份 MyISAM 引擎的对象。 Xtrabackup 是由 percona 提供的 mysql 数据库备份工具，特点： (1)备份过程快速、可靠； (2)备份过程不会打断正在执行的事务； (3)能够基于压缩等功能节约磁盘空间和流量； (4)自动实现备份检验；

title: 1.percona-xtrabackup备份mysql date: 2016-04-10 23:19:12 tags: mysql categories: mysql --- 一、percona-xtrabackup 它是开源免费的支持MySQL 数据库热备份的软件，它能对InnoDB和XtraDB存储引擎的数据库非阻塞地备份。它不暂停服务创建Innodb热备份； 为mysql做增量备份；在mysql服务器之间做在线表迁移；使创建replication更加容易；备份mysql而不增加服务器的负载。 percona是一家老牌的mysql技术咨询公司。它不仅提供mysql的技术支持、培训、咨询，还发布了mysql的分支版本--percona Server。并围绕 percona Server还发布了一系统的mysql工具。 innobackupex比xtarbackup有更强的功能，它整合了xtrabackup和其他的一些功能，他不但可以全量备份/恢复，还可以基于时间的增量备份与恢复。 innobackupex备份原理 innobackupex首先调用xtrabackup来备份innodb数据文件，当xtrabackup完成后，innobackupex就查看文件 xtrabackup_suspended ；然后执行“FLUSH TABLES WITH READ LOCK

根据操作系统版本，下载对应版本的xtrabackup tar包。 注：选择版本时，不一定要选择最新的。---要根据我们Mysql的版本选择对应的xtrabackup软件版本 （我最开始选择的是2.1版本的xtrabackup，但是在执行的时候就有报错，所以最后才会选择到2.0.8版本的xtrabackup innobackupex: Error: Support for MySQL 5.1 with builtin InnoDB (not the plugin) was removed in Percona XtraBackup 2.1. The last version to support MySQL 5.1 with builtin InnoDB was Percona XtraBackup 2.0.） 根据我的环境，我下载的版本为 http://www.percona.com/downloads/XtraBackup/XtraBackup-2.0.8/binary/Linux/x86_64/ 之后安装， 将该软件放到Centos机器上/home/wison/ 之后执行sudo tar -zxvf percona-xtrabackup-2.0.8-587.tar.gz -C xtrabackup 注：这里最好不要解压到/usr下面，否则会报错 Error: not found

导航： 一、前提 1.版本信息-2.查看方法-3.查看k8s集群节点状态-4.配置docker仓库下载加速 二、安装部署helm 1.下载软件包-2.安装helm-3.初始化 三、使用helm安装mysql 1.搜索mysql的helm包-2.准备后端存储-3.准备docker image-4.配置集群内的kube-dns-5.安装mysql的helm包-6.查看mysql的有状态应用、pod、svc、pvc等k8s资源-7.客户端验证 四、故障排除 五、参考资料 一、前提 使用helm安装有状态应用mysql主备集群，首先确保你已经搭建好一个3节点的k8s集群(如何搭建k8s集群、k8s集群网络配置flannel请参考百度)。 1.版本信息 k8s: v1.5.2 docker: 1.13.1 flannel:0.7.1 helm: v3.0.0 2.查看方法 kubectl version docker version flanneld --version helm version 3.查看k8s集群节点状态 [root@master ~]# kubectl get node NAME STATUS AGE master Ready 4d node2 Ready 18h node3 Ready 4m [root@master ~]# 4.配置docker仓库下载加速

　　一、xtrabackup 简介 　　xtrabackup 是由percona公司开源免费的数据库热备软件，它能对InnoDB数据库和XtraDB存储引擎的数据库非阻塞地备份，对于myisam的备份同样需要加表锁。mysqldump备份方式是通过用户名密码连接到数据库，将其要备份的数据库用SQL语句的形式输出到标准输出，这种逻辑备份的方式最大的缺点是备份和恢复的速度较慢，如果数据库过大，mysqldump备份就显得力不从心了。这时选择用xtrabackup来备份就能很好解决数据库过大而导致备份过慢的问题。 　　xtrabackup的优点 　　　　1）备份还原过程快速、可靠 　　　　2）备份过程不会打断正在执行的事务 　　　　3）能够基于压缩等功能节约磁盘空间和流量 　　　　4）自动实现备份检验 　　　　5）开源，免费 　　xtrabackup2.2版本之前包括4个可执行文件： 　　　　innobackuppex：这个是一个perl脚本，它的主要作用是用来备份非innodb表，同时会调用xtrabackup命令来备份innodb表，还会和mysql server 发送命令进行交互，如家全局读锁（FTWRL）、获取位置点（show slave status）等。 　　　　xtrabackup:这个文件是用C/C++编译的二进制文件，它的主要作用用来备份Innodb表达

前言 Xtrabackup提供了两种命令行工具： xtrabackup：专用于备份InnoDB和XtraDB引擎的数据； innobackupex：是一个perl脚本，在执行过程中会调用xtrabackup命令，这个命令即可以实现备份InnoDB，也可以备份Myisam引擎的对象。 xtrabackup是由percona提供的MySQL数据库备份工具，其备份速度快并且可靠；备份过程不会打断正在执行的事务；能够基于压缩等功能节约磁盘空间和流量；自动实现备份检验；还原速度快。 若需要安装xtrabackup，可以移步其 官方网站 ，在其官网上提供了多种安装方式。 博文大纲： 一、安装xtrabackup及其插件 二、xtrabackup完全备份+binlog增量备份 三、xtrabackup完全备份+xtrabackup增量备份 四、innobackupex全库备份+innobackupex增量备份 注：二、三、四是三种不同的备份方案，在生产环境中选择合适的一种即可。 一、安装xtrabackup及其插件 1、yum安装xtrabackup 参考 官方文档 ，在官方文档上提供了各个版本的帮助说明。 [root@mysql ~]# yum -y install https://repo.percona.com/yum/percona-release-latest.noarch.rpm

xtrabackup shell脚本： https://gitee.com/ygqygq2/mytools/tree/master/xtrabackup 1. 使用说明 此脚本基于Percona XtraBackup 2.4 2. 备份用户权限 在mysql的root用户下，创建用户并给予下列权限 GRANT SUPER, RELOAD, LOCK TABLES, PROCESS, REPLICATION CLIENT ON *.* TO 'xtrabackup'@'localhost' identified by '12345678'; 没有SUPER权限，会在增量备份时报如下错误 Error: failed to execute query FLUSH NO_WRITE_TO_BINLOG CHANGED_PAGE_BITMAPS: Access denied; you need (at least one of) the SUPER privilege(s) for this operation 将备份使用的密码写入到以下文件中，因为脚本为读取此文件中的密码。 mkdir -p /data/save/ echo '12345678' > /data/save/mysql_xtrabackup 3. 脚本使用说明 脚本使用场景为一天中备份多次。 xtrabackup

##xtrabackup 选项详情 ###innobackupex 参数选项 --defaults-file=[MY.CNF] //指定配置文件：只能从给定的文件中读取默认选项。 且必须作为命令行上的第一个选项；必须是一个真实的文件，它不能是一个符号链接。 --databases=# //指定备份的数据库和表，格式为：--database="db1[.tb1] db2[.tb2]" 多个库之间以空格隔开，如果此选项不被指定，将会备份所有的数据库。 --include=REGEXP //用正则表达式的方式指定要备份的数据库和表，格式为 --include=‘^mydb[.]mytb’ ，对每个库中的每个表逐一匹配，因此会创建所有的库，不过是空的目录。--include 传递给 xtrabackup --tables。 --tables-file=FILE //此选项的参数需要是一个文件名，此文件中每行包含一个要备份的表的完整名称，格式为databasename.tablename。该选项传递给 xtrabackup --tables-file，与--tables选项不同，只有要备份的表的库才会被创建。 注意：部分备份（--include、--tables-file、--database）需要开启 innodb_file_per_table 。 --compact //创建紧凑型备份

xtrabackup备份（MySQL备份）与恢复 1. innobackupex参数选项 --no-timestamp: 不创建一个时间戳 --defaults-file=[MY.CNF] //指定配置文件：只能从给定的文件中读取默认选项。 且必须作为命令行上的第一个选项；必须是一个真实的文件，它不能是一个符号链接。 --databases=# //指定备份的数据库和表，格式为：--database="db1[.tb1] db2[.tb2]" 多个库之间以空格隔开，如果此选项不被指定，将会备份所有的数据库。 --include=REGEXP //用正则表达式的方式指定要备份的数据库和表，格式为 --include=‘^mydb[.]mytb’ ，对每个库中的每个表逐一匹配，因此会创建所有的库，不过是空的目录。--include 传递给 xtrabackup --tables。 --tables-file=FILE //此选项的参数需要是一个文件名，此文件中每行包含一个要备份的表的完整名称，格式为databasename.tablename。该选项传递给 xtrabackup --tables-file，与--tables选项不同，只有要备份的表的库才会被创建。 注意：部分备份（--include、--tables-file、--database）需要开启 innodb_file