mydumper

首先是替换yum 这里逻辑如下： 1. 清空yum； 2. 替换/etc/yum.repos.d； 3. 重新生成缓存； 详细过程如下： 1. 进入yum源配置文件 cd /etc/yum.repos.d 2. 备份一下当前的源，以防出错后可以还原回来 mv ./CentOS-Base.repo ./CentOS-Base-repo.bak 3. 下载网易163的源 wget http://mirrors.163.com/.help/CentOS7-Base-163.repo 4. 清理一下旧包 yum clean all 5. 把下载下来文件 CentOS7-Base-163.repo设置成为默认源 mv CentOS7-Base-163.repo CentOS-Base.repo 6. 生成缓存即可用163源了 yum makecache 下面是编译安装mydumper 安装依赖包 yum install glib2-devel mysql-devel zlib-devel pcre-devel openssl-devel cmake make 下载二进制包 wget https://launchpadlibrarian.net/225370879/mydumper-0.9.1.tar.gz 解压与安装 tar zxvf mydumper-0.9.1.tar.gz cd

关于删库跑路的事故现在已经屡见不鲜了，数据备份的必要性是企业数据管理极其重要的一项工作。关于数据备份、恢复也有很多场景及方法，本系列也会将主要的几种工具通过案例进行演示。 本系列将从逻辑备份及恢复开始讲起，逻辑备份的工具主要有mysqldump/mydumper等其中mydumper可以指定多线程工作，本文介绍的是mysqldump。 1. mysqldump 备份 mysqldump是MySQL数据库自带的逻辑备份工具，属于热备工具。它的备份结果是根据设置的参数将数据库中的信息通过生成创建库、表等对象以及对应表的insert语句组成。 mysqldump 参数选项特别多，可以通过mysqldump --help 查看对应的参数及说明（） [root@testdb ~]# mysqldump --help mysqldump Ver 10.13 Distrib 5.7.25-28, for Linux (x86_64) Copyright (c) 2009-2019 Percona LLC and/or its affiliates Copyright (c) 2000, 2019, Oracle and/or its affiliates. All rights reserved. Oracle is a registered trademark of Oracle

3 月，跳不动了？>>> 可以搞个存储过程： create table history_tmp like history; maxid=select max(id) from history; minid=select id from history where addtime>"2013-01-01 00:00" order by addtime asc limit 1; last=0; set autocommit=1; for(i=minid;i<maxid+1000;i+=1000) { insert into history_tmp select * from history where id>=last and id<i lock in share mode; last=i; } begin; lock table history_tmp write,history write; maxid=select max(id) from history; insert into history_tmp select * from history where id>=last and id<=maxid; alter table history rename to history_2012; alter table history_tmp rename to history;

1、 使用MySQLDump进行MySQL备份 mysqldump是MySQL内置的工具 ，允许用户将数据库指定不同的选项备份到文件、服务器，甚至是压缩gzip文件中。mysqldump实用程序灵活，快速，可执行高级备份，并接受各种命令行参数，用户可通过这些参数来更改备份数据库的方式。 Windows操作系统中的c:mysqlbin和Unix / Linux系统的/usr/local/mysql/bin中可找到mysqldump实用程序，将不同的参数传递给mysqldump实用程序，就可以以下形式使用。 mysqldump ---user [user name] ---password= [password] [database name] > [dump file] 手动备份，只需要MySQL数据库的密码，使用p选项作为密码，将命令发送到mysqldump。例如，要备份所有数据库，请使用all databases： Mysqldump –u USER –p –all-databases> /mnt/backups/all 2、 使用MySQLpump进行MySQL备份 MySQLpump类似于mysqldump，生成支持并行化的逻辑备份。MySQLpump以并行方式为多个数据库执行所有与转储相关的操作，这大大减少了执行逻辑备份所花费的时间。 但是

作者：杨非 本文为 DM 源码阅读系列文章的第四篇， 上篇文章 介绍了数据同步处理单元实现的功能，数据同步流程的运行逻辑以及数据同步处理单元的 interface 设计。本篇文章在此基础上展开，详细介绍 dump 和 load 两个数据同步处理单元的设计实现，重点关注数据同步处理单元 interface 的实现，数据导入并发模型的设计，以及导入任务在暂停或出现异常后如何恢复。 dump 处理单元 dump 处理单元的代码位于 github.com/pingcap/dm/mydumper 包内，作用是从上游 MySQL 将表结构和数据导出到逻辑 SQL 文件，由于该处理单元总是运行在任务的第一个阶段（full 模式和 all 模式），该处理单元每次运行不依赖于其他处理单元的处理结果。另一方面，如果在 dump 运行过程中被强制终止（例如在 dmctl 中执行 pause-task 或者 stop-task），也不会记录已经 dump 数据的 checkpoint 等信息。不记录 checkpoint 是因为每次运行 mydumper 从上游导出数据，上游的数据都可能发生变更，为了能得到一致的数据和 metadata 信息，每次恢复任务或重新运行任务时该处理单元会 清理旧的数据目录 ，重新开始一次完整的数据 dump。 导出表结构和数据的逻辑并不是在 DM 内部直接实现，而是 通过