数据迁移

命令： redis-cli -n 2 keys '*' | xargs -I '{}' redis-cli -n 2 migrate 目标IP 6379 '' 2 10000 COPY keys '{}' 来源： https://www.cnblogs.com/wujinhong/p/11549795.html

opensuse linux环境下ibm_websphere和ibm_db2安装 ibm_websphere安装： 1、ibm官网下载免费版websphere,如下载文件名为BASETRIAL.agent.installer.linux.gtk.x86_64.zip的压缩文件。 2、在opensuse linux环境下使用unzip命令对压缩包进行解压。 3、cd命令进入解压后的文件目录以管理员身份运行install文件即可来到图形化的安装界面，之后按照提示一步步完成安装即可（另外也可以采用非图形化的静默安装方式）。 4、安装完成后会自动弹出“第一步”信息验证界面（若为自动弹出该界面，则需进入安装目录（一般为这个目录/opt/IBM/WebSphere/AppServer_1/profiles/AppSrv01）下的firststeps文件夹中的firststeps.sh，以管理员身份运行该文件来启动第一次验证界面） 5、在“第一步”信息验证界面点击“安装验证”选项则会弹出验证界面，此时“ 启动服务器”选项为不可用状态，待验证完成后即可启动服务器。 6、服务启动成功后即可在浏览器中访问https://localhost:9043/ibm/console来进入websphere控制台进行相应的管理操作（创建数据源、应用程序等）。 7

一、什么是 ETL ETL，是英文 Extract-Transform-Load 的缩写，用来描述将数据从来源端经过抽取（ extract ）、转换（ transform ）、加载（ load ）至目的端的过程。 ETL 一词较常用在数据仓库，但其对象并不限于数据仓库。 二、Kettle简单说明 Kettle是一款国外开源的 ETL 工具，纯 java 编写，可以在 Window 、 Linux 、 Unix 上运行，数据抽取高效稳定。 三、需求 1、 Mysql 5.X数据迁移到 DB2 8.X 2、 主键自增改成 32 位 UUID 三、准备工作 1、 源数据库： Mysql 5.6 2、 目标数据库： DB2 8.X 3、 数据迁移工具： Kettle6.0.0.0-353 四、实战开始 1、说明一下省略掉的步骤 在开始使用 Kettle 前，我使用了 PowerDesigner18.6 建立数据模型，然后导出对应数据库的建表脚本，这里我导出了 DB2 8.X 的建表脚本，然后首先在 DB2 中将目标表建立好。其实在 Kettle 中也可以在执行过程中来建立表，我也是初学 Kettle ，所以选择了一种相对简单的方式来操作，毕竟关注重点在于数据迁移这方面上。 2、安装 JDK 因为 Kettle 是纯 JAVA 写的，所以依赖 JDK ，至于 JDK 的安装不是本文的重点

--表空间 select dbms_metadata.get_ddl('TABLESPACE',TS.TABLESPACE_NAME) from DBA_TABLESPACES TS where TS.TABLESPACE_NAME not in ('SYSTEM','SYSAUX','UNDOTBS1','TEMP','UNDOTBS2','USERS'); select 'CREATE TABLESPACE '||TABLESPACE_NAME||q'[ DATAFILE '/data/oradata/orcl/test/]'||TABLESPACE_NAME||q'[_01.DBF' SIZE 100M AUTOEXTEND ON NEXT 100M MAXSIZE 30G;]' from DBA_TABLESPACES where TABLESPACE_NAME not in ('SYSTEM','SYSAUX','UNDOTBS1','TEMP','UNDOTBS2','USERS'); --用户 select dbms_metadata.get_ddl('USER',t.username)||';' from dba_users t where t.user_id >82 and t.username not in ('XS$NULL') order by user

Kubernetes改变了我们所有人对计算平台的看法。我们同样也需要改变现代应用程序存储数据的方式。企业越来越多地依赖数字服务来接触客户，传统企业正在Kubernetes上重新部署它们的IT应用和服务。容器的可移植性和Kubernetes自动化的好处意味着在整个IT开发/测试和生产生命周期中我们可以更快、更可靠地交付应用程序。与此同时，企业必须认识到多云部署不仅仅是一种供应策略，而且还是一种对客户最合理的应用程序交付方式。 传统的存储行业还没有做好足够的工作来解决K8S的问题：容器可移植性、K8S自动化和多云交付。Portworx企业版首先为K8S中大数据量的工作负载提供无缝的高可用性，无论这些工作负载是在本地系统还是在公共云中运行，都将提供无缝的高可用性。 通过Portworx，开发团队可以获得集成调度程序、完整的数据生命周期管理，以及核心生产功能，如BYOK加密和云备份。 通过与那些已经把应用部署在主要的公有云平台或自有硬件平台上的优秀客户合作，Portworx已经掌握了完整的数据可迁移性、操作自动化、以及将含有大量数据的应用交付到多云部署中的真正能力。 可迁移性和易操作性 通过控制与K8S的集成方式，PX-Motion为大量数据型工作负载带来了充分的可迁移性。现在，类似Kubernetes为无状态工作负载带来的方便一样，我们在有状态工作负载上为客户的数据库、分析堆栈

Redis面试题 一、缓存雪崩 1.1什么是缓存雪崩？ 首先为什么要使用缓存（Redis）： 优点： 提高性能：缓存查询速度比数据库查询速度快（内存vs硬盘） 提高并发能力：缓存分担了部分请求。支持更高的并发 Now 如果缓存宕机了，就意味着所有的请求就都要跑去数据库了。 Redis不可能把所有的数据都缓存起来（内存昂贵且有限）；所以Redis需要对数据设置过期时间，并采取采用的是惰性删除+定期删除两种策略对过期键删除。 如果缓存数据设置的时间是相同的，并且Redis恰好将在这部分数据全部删光了。这就导致了这段时间内，这些缓存同时失效，全部请求到数据库中。 这就是缓存雪崩： Redis挂掉了，请求全部走数据库。 对缓存数据设置相同的过期时间，导致某时间内缓存失效，请求全部数据库走数据。 1.2如何解决缓存雪崩 解决方法： 在缓存的时候给过期时间加上一个随机值，这样就会大幅的减少缓存在同一时间过期。 思路： 事发前：实现Redis高可用（主从架构+sentinel或者Redis Cluster），尽量避免Redis失效这种情况。 事发中：万一Redis失效了，我们可以设置本地缓存（ehcache）+限流（hystrix），尽量避免我们的数据库失效。 事发后：Redis持久化，重启后自动回复缓存数据。 二、缓存穿透 2.1什么是缓存穿透？ 我们有一张数据库表，ID都是从1开始的(正数)

1.概述 在实际的应用场景中，数据存储在HBase集群中，但是由于一些特殊的原因，需要将数据从HBase迁移到Kafka。正常情况下，一般都是源数据到Kafka，再有消费者处理数据，将数据写入HBase。但是，如果逆向处理，如何将HBase的数据迁移到Kafka呢？今天笔者就给大家来分享一下具体的实现流程。 2.内容 一般业务场景如下，数据源头产生数据，进入Kafka，然后由消费者（如Flink、Spark、Kafka API）处理数据后进入到HBase。这是一个很典型的实时处理流程。流程图如下： 上述这类实时处理流程，处理数据都比较容易，毕竟数据流向是顺序处理的。但是，如果将这个流程逆向，那么就会遇到一些问题。 2.1 海量数据 HBase的分布式特性，集群的横向拓展，HBase中的数据往往都是百亿、千亿级别，或者数量级更大。这类级别的数据，对于这类逆向数据流的场景，会有个很麻烦的问题，那就是取数问题。如何将这海量数据从HBase中取出来？ 2.2 没有数据分区 我们知道HBase做数据Get或者List<Get>很快，也比较容易。而它又没有类似Hive这类数据仓库分区的概念，不能提供某段时间内的数据。如果要提取最近一周的数据，可能全表扫描，通过过滤时间戳来获取一周的数据。数量小的时候，可能问题不大，而数据量很大的时候，全表去扫描HBase很困难。 3.解决思路

随着网站的成长，网站改版也是常事儿。有时候不得不对数据进行迁移，对于从A库转移到B库，从A表转移到B表。我们一般的想法就是写一个PHP脚本然后再浏览器窗口进行循环进行导入。但是浏览器执行php要走dns、http协议这些，无形中处理数据的效率会大打折扣。那何不在linux下面直接执行php脚本呢？ 遇到的问题 1.如何像在浏览器中那样获得$_GET参数呢？ 需要使用 $argv - 传递给脚本的参数数组 [root@bogon wwwroot]# php test.php page 1 cateid 120 Array ( [0] => test.php [1] => page [2] => 1 [3] => cateid [4] => 120 ) test.php源码 <?php print_r($argv); 2.如何记录php运行日志呢？ 一开始，我是在php中写脚本，将执行完的数据id存储到一个文本中，循环一次就是执行一次文本操作。这种方式虽然可以实现我的要求，但是不够灵活，需要考虑文本文件是否可写。现在的解决办法是让php脚本把记录id echo 出来然后用下面这个命令就可以实现日记记录啦。 /usr/local/php/bin/php /usr/local/src/work.php > id.log 是不是很方便呢？ 3.如何让php脚本后台执行呢？

1. 预先准备有效数据单号池，通过单号拉取数据处理 单号表默认为1 01 使用findAndModify 更新单号表状态为 2 读取单号 循环读取100 条 02 通过运单号批量查询 Aladin_WayBillStatus 表 获取数据 03 拼接 新增 SQL语句 04 批量提交给 Hbase 05 批量更新 单号表 状态 为 3 方式优点 简单粗暴，开发简单 不超过200行代码，应为findAndModify 的原子性可以部署N个节点。 方式缺点 　　执行效率不高，并且提升优化空间几乎没有，使用多线程获取单号反而会更加耗时。 　　执行效率得看获取数据的表的承受能力。 　　对现有数据库照成压力 2.预支时间段表，通过时间段刷数据。 01 使用findAndModify 随机获取一个时段 02 通过时间段拉取一批数据 03 拼接 新增 SQL语句 04 批量提交给 Hbase 05 批量更新 时间段表 状态 为 3 方式优点 效率会比方式01 提高不少。 由于findAndModify 可以多节点部署。 方式缺点 　　每次时间段获取的数据量都是不可控的，业务高峰期时间段数据量可能非常大，业务低峰期数据量非常小，时间段生成规则会非常麻烦 对现有数据库照成压力 3.通过mongodb查询游标扫描数据。 find查询默认是从最旧数据开始。 _id 可以使用 $gt 查询 _id是有序的

队列（queue）是一种采用先进先出(FIFO)策略的抽象数据结构，即最先进队列的数据元素，同样要最先出队列。队列跟我们排队买票一样，先来排队的肯定先买票，后来排队的的后买到票。队列如下图所示： 队列有两个重要的概念，一个叫队头，一个叫队尾，队头指向的是第一个元素，而队尾指向的是最后一个元素。队列跟栈一样也是访问受限制的，所以队列也只有两个主要的操作： 入队(enqueue)操作 和 出队(dequeue)操作 。入队操作就是将一个元素添加到队尾，出队操作就是从队头取出一个元素。 队列的底层实现可以用数组和链表，基于数组实现的队列叫作 顺序队列 ，基于链表实现的队列叫作 链式队列 ，下面我们分别用数组和链表来简单的实现这两种队列。 基于数组的队列 不管使用那种方式来实现队列，都需要定义两个指针分别指向队头和队尾，本文中我们用 head 指向队头， tail 指向队尾，后面的示例中这将默认使用这个，有特殊的地方我会进行说明，先来看看顺序队列的入队、出队操作。 图中可以看出，入队时，队尾往后移动，队头保持不变，出队是队头往后移动，队尾保持不变。入队、出队操作的逻辑都比较简单，可能你有疑问的地方是： 出队时为什么队头要往后移动而不是一直指向数组下标为 0 的位置？ 为什么呢？如果我们保持队头一直指向数组下标为 0 的位置，那每次出队操作后，后面的数据都需要往前挪一位