数据迁移

由于Gitlab自身的兼容性问题，高版本的Gitlab无法恢复低版本备份的数据,需要注意在b服务器部署和a服务器一样版本的gitlab 查看gitlab版本的命令: [root@xxxx ~]# gitlab-rake gitlab:env:info System information System: CentOS 7.2.1511 Current User: git Using RVM: no Ruby Version: 2.3.5p376 Gem Version: 2.6.13 Bundler Version:1.13.7 Rake Version: 12.3.0 Redis Version: 3.2.11 Git Version: 2.14.3 Sidekiq Version:5.0.4 Go Version: unknown GitLab information Version: 10.3.4 Revision: 56dc722 Directory: /opt/gitlab/embedded/service/gitlab-rails DB Adapter: postgresql URL: http://192.168.0.246:7023 HTTP Clone URL: http://192.168.0.246:7023/some-group/some-project

1.时间格式问题 [Err] 1292 - Incorrect datetime value: '0000-00-00 00:00:00' for column 'start_datetime' at row 1 解决方案 # 1.进入数据库 select @@sql_mode; # 2. 把NO_ZERO_IN_DATE,NO_ZERO_DATE去掉，然后重新设置 SET GLOBAL sql_mode = 'ONLY_FULL_GROUP_BY,STRICT_TRANS_TABLES,ERROR_FOR_DIVISION_BY_ZERO,NO_ENGINE_SUBSTITUTION' # 这样关闭数据库客户端的连接，重新登录 来源： https://www.cnblogs.com/xvchengqi/p/11321622.html

使用 mydumper/loader 全量导出导入数据 将 MySQL 的数据迁移到 TiDB，TIDB完全兼容 MySQL 协议和生态，迁移便捷 使用官方提供的迁移工具 注：工具可以下载安装在两款数据库的任何一端，我这边是起了另一台机器，因为不仅要全量导出导入，还需要使用syncer工具不停机的数据同步 # 下载 tool 压缩包 wget http://download.pingcap.org/tidb-enterprise-tools-latest-linux-amd64.tar.gz wget http://download.pingcap.org/tidb-enterprise-tools-latest-linux-amd64.sha256 # 检查文件完整性，返回 ok 则正确 sha256sum -c tidb-enterprise-tools-latest-linux-amd64.sha256 # 解开压缩包 tar xzf tidb-enterprise-tools-latest-linux-amd64.tar.gz cd tidb-enterprise-tools-latest-linux-amd64 从 MySQL 导出数据 注：因为我们这边的MySQL是阿里云的RDS，因此需要ping一下内网地址才能得到IP地址 使用 mydumper 从 MySQL

host1为源zookeeper主机 host2为目的zookeeper主机 现在将host1的zookeeper数据迁移到host2 从host1中找到最新的zookeeper日志和快照文件 #登录到host1，切换到zookeeper数据目录，如下 #(可从zoo.cfg配置文件中得到数据目录位置) $> cd /var/lib/zookeeper/version-2 $> ls -alh -rw-r--r-- 1 root root 65M Jun 20 13:20 log.1f00059ce3 -rw-r--r-- 1 root root 65M Jul 5 15:33 log.1f0006b6ed -rw-r--r-- 1 root root 65M Jul 26 16:07 log.2100000001 -rw-r--r-- 1 root root 415K May 17 09:37 snapshot.1f000157ec -rw-r--r-- 1 root root 414K May 20 14:10 snapshot.1f000275b9 -rw-r--r-- 1 root root 416K May 23 07:02 snapshot.1f0003617e -rw-r--r-- 1 root root 467K May 26 10:04 snapshot

背景 由于历史原因，公司的缓存方案使用的是Codis，并且一个大部门公用一个集群，我们计划废弃Codis，用Redis原生的集群架构，为什么要废弃Codis呢，主要有两个原因：1、Codis官方已经很久没有更新维护了，Redis官方版本已经迭代到5.x.x了，codis-server还是3.x.x，Redis的一些新特性无法支持；2、基于风险均摊、鸡蛋不放一个篮子的原则，目前我们这样的用法违背了这一原则，如果一个集群出问题，那么整个部门的全部服务都受影响。在前期和业务部门调研的过程中发现，大家用Codis不仅仅是做缓存，有些业务场景还当储存用，比如计数器等；所以我们需要一个数据实时迁移方案，这样业务才能无感知的从Codis迁移到Redis。 方案选型 需求 1、支持从Codis到Redis Cluster做数据迁移 2、支持从Codis到哨兵集群做数据迁移 3、支持只迁移部分key 4、支持查看迁移进度 调研 1、redis-migrate-tool redis-migrate-tool是唯品会开源的一款Redis异构集群之间的数据实时迁移工具，不过已经有两年没有更新了，我个人觉得这是一款比较完善的工具，特别是数据校验，详细功能介绍见GitHub： https://github.com/vipshop/redis-migrate-tool 2、RedisShake

上项目的时候，遇见一次需求，需要把在线的 其中一个 collection 里面的数据迁移到另外一个collection下，于是就百度了看到好多文章，其中大部分都是使用导入的方法，没有找到在线数据的迁移方法。于是写了python脚本，分享出来。 思路： collection数据量比较大，所以一次性操作所有数据太大，于是分段执行操作。 先分段 按1000条数据量进行查询，处理成json数据 把处理后的json数据 发送到目的collection上即可 实现: 一、使用http的接口先进行查询 使用如下格式查询： 其中：collection_name 是你查询的collection的名称 rows 是需要查询多少行，这里设置为1000 start 从多少行开始进行查询，待会儿脚本里面就是控制这个参数进行循环查询 http://host:port/solr/collection_name/select?q=*:*&rows=1000&start=0 查询处理后会得到如下图片里面的数据格式，其中 在response里面，有两个键值数据是我们需要的，一个是numFound（总的数据条数），docs（所有json数据都在这里面） 在docs里面，每条数据都带有version 键值，这个需要给去掉 二、使用http的接口提交数据 wt：使用json格式提交 http://host:port