XtraBackup

目录 如何将excel数据导入MySQL表中？ 用xtrabackup跑mysql物理备份，建议授予哪些权限？ select里用rand()，怎么优化效率？ 现在业内常用的MySQL高可用方案有哪些？ 什么时候MySQL的索引"失效"不可用？ MySQL从库show processlist出现system lock的原因以及解决方法有哪些？ 一、如何将excel数据导入MySQL表中？ 将excel导入MySQL表的方式有很多，这里列举几种平时常用的方法： 1、将excel另存为csv文件，再使用LOAD DATA导入表，命令参考如下： LOAD DATA INFILE 'c:/tmp/discounts.csv' INTO TABLE discounts FIELDS TERMINATED BY ',' ENCLOSED BY '"' LINES TERMINATED BY 'n' IGNORE 1 ROWS; 2、利用Navicat、MySQL Workbench等第三方工具进行导入 3、excel利用函数拼接成insert SQL进行数据插入(数据量大时不推荐，效率极低) 4、例行批量导入，安利python的xlwt模块 注意：进行数据导入时注意先执行set names设置字符集，以免造成乱码 二、用xtrabackup跑mysql物理备份，建议授予哪些权限？

Xtrabackup 是percona公司（mysqlperformanceblog）的开源项目，目的是实现类似innodb官方的热备份工具InnoDB Hot Backup的功能，可以帮助我们对MySQL InnoDB类型的数据库表进行在线热备份。 Xtrabackup中包含两个工具： * xtrabackup – 用于热备份innodb, xtradb表的工具，不能备份其他表； * innobackupex – 对xtrabackup封装的perl脚本，提供了myisam表备份的能力； 好东西大家支持，要用， 但要用好,在这里跟大家分享自己没用好的案例； 现象 ： 在进行备份过程中，MYSQL HANG起；所有操作不能进行（5分钟左右）； 导致重大故障。 分析：　当时就是在进行innobackupex 备份 ，所以突破点非常明确 ； 疑问：　xtrabackup 不是热备吗？ 怎么会导致整个库不能操作呢？ 日志： 用过innobackupex的同学肯定看到过备份过程中产生的日志文件； … … >> log scanned up to (2033 543788660) >> log scanned up to (2033 546355144) >> log scanned up to (2033 548568390) >> log scanned up to (2033

一、备份方式 1、备份：逻辑备份（mysqldump,mydumper）、物理备份（xtrabackup、tar、cp、rsync） 2、冗余：主备模式、数据库集群 二、备份对象 1、数据（库、表） 2、日志文件 三、物理备份（适合大型数据库，不受引擎的限制）实验用的是mariadb，步骤按mysql来 1、percona-xtrabackup 物理备份 + binlog 1.1下载软件包（超级慢 http://www.percona.com/software/percona-xtrabackup/ ） #wget http://www.percona.com/downloads/percona-release/redhat/0.1-3/percona-release-0.1-3.noarch.rpm（下载YUM源） #yum -y install percona-release-0.1-3.noarch.rpm（安装yum源） #yum -y install percona-xtrabackup-24.x86_64 （安装percona） 注意：需要进入仓库把gpgcheck改为0 #vim percona-release.repo # rpm -q percona-xtrabackup-24 （查看版本） percona-xtrabackup-24-2.4.16-1.el7

mysql 8.0.18 手工安装记录 　　为了日常方便，特记录如下。 一、安装系统依赖包 #1、系统依赖包安装 yum -y install make gcc-c++ cmake bison-devel ncurses-devel readline-devel libaio-devel perl libaio wget lrzsz vim libnuma* bzip2 xz 二、关闭防火墙和selinux #2、关闭selinux sed -i 's/SELINUX=enforcing/SELINUX=disabled/' /etc/selinux/config setenforce 0 #3、修改系统限制参数 cat >> /etc/security/limits.conf << EOF # ###custom # * soft nofile 20480 * hard nofile 65535 * soft nproc 20480 * hard nproc 65535 EOF 三、修改系统限制参数 修改系统限制参数 cat >>/etc/sysctl.conf <<"EOF" ################################## vm.swappiness=0 #增加tcp支持的队列数 net.ipv4.tcp_max_syn_backlog = 65535

基于gtid复制主要操作记录 一、安装系统依赖包 　　在主从上都要安装该依赖包。 yum -y install perl-DBI yum -y install perl-DBD-MySQL yum -y install perl-IO-Socket-SSL.noarch yum -y install perl-Time-HiRes yum -y install perl-TermReadKey yum -y install perl-ExtUtils-MakeMaker yum -y install perl-Digest-MD5 yum -y install cmake gcc gcc-c++ libaio libaio-devel automake autoconf bzr 二、安装xtrabackup工具 cd /opt/ wget https://www.percona.com/downloads/Percona-XtraBackup-LATEST/Percona-XtraBackup-8.0-7/binary/tarball/percona-xtrabackup-8.0.7-Linux-x86_64.libgcrypt145.tar.gz tar -zxf percona-xtrabackup-8.0.7-Linux-x86_64.libgcrypt145.tar.gz

一、mysqldump备份方式是采用逻辑备份。最大的缺陷就是备份和恢复的速度都慢，对于一个50G的数据库而言，这个速度还是可以接受的，但是如果数据库非常大，那在使用mysqdump备份就不是太合适了。。 这时候就需要一种很好用又高效的工具，xtraback 就是其中的一款，号称免费版的innodb hotbackup xtraback特点如下： 备份过程快速，可靠 备份过程不会打断正在执行的事务 能够基于压缩等功能节约磁盘空间和流量 自动实现备份检验 还原速度快 二、安装xtraback 1）下载xtraback wget https://www.percona.com/downloads/XtraBackup/Percona-XtraBackup-2.4.4/binary/tarball/percona-xtrabackup-2.4.4-Linux-x86_64.tar.gz 2）解压 [root @master ~]# tar zxf percona-xtrabackup-2.4.4-Linux-x86_64.tar.gz 3）进入解压目录复制bin下的所有程序到/usr/bin下即可 [root @master ~]# cd percona-xtrabackup-2.4.4-Linux-x86_64/ [root @master percona-xtrabackup-2.4

Percona XtraBackup是一款开放源码，免费的MySQL热备份软件，以非阻塞方式执行备份InnoDB和XtraDB为存储引擎的数据库，是商业备份工具InnoDB Hotbackup的一个很好的替代品。作者的前一家公司就花了不菲美元买了Hotbackup产品。 Percona XtraBackup官方地址： http://www.percona.com/software/percona-xtrabackup 可以实现以下优点： 快速，可靠地完成备份 在备份过程中不影响事务处理 节省磁盘空间和网络带宽 自动验证备份的数据库 快速恢复数据库，保证更高的正常运行时间 XtraBackup Percona服务器时，MySQL，MariaDB的，和小雨的所有版本MySQL的热备份。进行流式处理，压缩，增量MySQL备份。 下载最新版本， http://www.percona.com/downloads/XtraBackup/ 安装 perl mysql perl -MCPAN -e "install DBI" perl -MCPAN -e "install DBD::mysql" 文件解压后，目录里安装上两个有用的工具：xtrabackup，innobackupex-1.5.1： xtrabackup可以在不加锁的情况下备份innodb数据表，不过此工具不能操作myisam。

1.记录备份开始时，InnoDB存储引擎重做日志文件检查点的LSN 2.复制共享表空间文件以及独立共享表空间文件。 3.记录复制完表空间文件后，InnoDB存储引擎重做日志文件检查点的LSN。 4.复制在备份时产生的重做日志。 优点： 1.在线备份，不阻塞任何的SQL语句。 2.备份性能好，备份的实质是复制数据库文件和重做日志文件。 3.支持压缩备份，通过选项，可以支持不同级别的压缩。 下载地址： https://www.percona.com/downloads/XtraBackup/LATEST/ [root@zstedu bin]# ./xtrabackup --version xtrabackup: recognized server arguments: ./xtrabackup version 2.4.12 based on MySQL server 5.7.19 Linux (x86_64) (revision id: 170eb8c) 完全备份 xtrabackup: recognized server arguments: xtrabackup: recognized client arguments: --backup=1 --socket=/tmp/mysql3306.sock --user=root --password Enter password:

Xtrabackup是由percona提供的mysql数据库备份工具，据官方介绍，这也是 世界上惟一一款开源的能够对innodb和xtradb数据库进行热备的工。 Xtrabackup中主要包含两个工具： xtrabackup：是用于热备份innodb, xtradb表中数据的工具，不能备份其他类型的 表，也不能备份数据表结构； innobackupex：是将xtrabackup进行封装的perl脚本，可以备份和恢复MyISAM 表以及数据表结构 rpm包安装 rpm -Uvh https://www.percona.com/downloads/XtraBackup/LATEST/percona-xtrabackup-24-2.4.5-1.el6.x86_64.rpm yum install percona-xtrabackup 1)解压源码包 tar -xzvf percona-xtrabackup-2.1.7.tar.gz 2）安装perl环境(DBI/DBD) yum install perl-DBIx-Simple.noarch perl-DBD-MySQL.x86_64 perl* 3)Prerequisites yum install cmake gcc gcc-c++ libaio libaio-devel automake autoconf \ bison

备份和恢复 备份类型： 完全备份，部分备份 完全备份：整个数据集 1 部分备份：只备份数据子集，如部分库或表 完全备份、增量备份、差异备份 2增量备份：仅备份最近一次完全备份或增量备份（如果存在增量）以来变化的数据，备份较快，还原复杂 3差异备份：仅备份最近一次完全备份以来变化的数据，备份较慢，还原简单 注意：二进制日志文件不应该与数据文件放在同一磁盘 备份和恢复 冷、温、热备份 冷备：读写操作均不可进行 温备：读操作可执行；但写操作不可执行 热备：读写操作均可执行 MyISAM：温备，不支持热备 InnoDB：都支持 物理和逻辑备份 物理备份：直接复制数据文件进行备份，与存储引擎有关，占用较多的空间，速度快 逻辑备份：从数据库中“导出”数据另存而进行的备份，与存储引擎无关，占用空间少，速度慢，可能丢失精度 备份时需要考虑的因素 温备的持锁多久 备份产生的负载 备份过程的时长 恢复过程的时长 备份什么 数据 二进制日志、InnoDB的事务日志 程序代码（存储过程、函数、触发器、事件调度器） 服务器的配置文件 备份工具 cp, tar等复制归档工具：物理备份工具，适用所有存储引擎；只支持冷备；完全和部分备份 LVM的快照：先加锁，做快照后解锁，几乎热备；借助文件系统工具进行备份 mysqldump：逻辑备份工具，适用所有存储引擎，温备；支持完全或部分备份