goldengate

-- Ogg 18 11 12 18 版本配置测试 -- 准备工作 create tablespace ogg logging datafile '/u01/app/oracle/oradata/orcl/ogg.dbf' size 20m autoextend on uniform size 2m; create tablespace ogg logging datafile '+DATA' size 20m autoextend on uniform size 2m; create user ogg identified by ogg default tablespace ogg temporary tablespace temp quota unlimited on ogg; grant unlimited tablespace to ogg; grant connect, resource, dba to ogg; grant create session, alter session to ogg; grant alter system to ogg; grant select any dictionary to ogg; grant flashback any table to ogg; grant select any table, insert any table,

从迁移方案的落地、迁移前准备、N次迁移演练、回归测试、性能调优整整用了四个月左右的时间（当然在此期间还包括其他项目及日常操作耗费工时）。正式迁移到迁移成功、以及上线开服后性能稳定这些操作已经过去了一个多月时间。由于异构迁移在业界是一个较为困难繁琐的问题，所以经过这么久的沉淀，今天给大家复盘并分享一下整个迁移流程，从前期方案、到最后迁移成功的整个流程，希望给对 ORACLE TO MYSQL 异构迁移流程不清晰的同学，一点思路！ 目录 一、迁移原由 二、迁移目标 三、迁移方案落地 1.协同高层确定项目目标 2.制定迁移计划 四、迁移工具选型（含功能实现原理） （1）SQL LOAD （2）OGG （3）KETTLE （4）DATAX （5）ADAM STUDIO （6）DTS 五、对象兼容性改写 1.oracle与mysql数据类型转换详情 2.大小写敏感参数 3.数据库对象不兼容改写方案 （1）view （2）物化视图 （3）Trigger、存储过程、package （4）分页语句 （5）JOIN （6）group by语句 （7）bitmap位图索引 （8）分区表（Partitioned table） （9）角色 （10）表情和特殊字符 六、全量数据校验方案 1.全量数据验证逻辑流图 2.全量数据验证脚本逻辑 3.数据验证注意事项 七、压力测试 八、迁移演练 九、正式迁移

【 OGG 】 OGG 的下载和安装篇 一.1 BLOG 文档结构图 一.2 前言部分 一.2.1 导读 各位技术爱好者，看完本文后，你可以掌握如下的技能，也可以学到一些其它你所不知道的知识，~O(∩_∩)O~： ① OGG的下载和安装 本文如有错误或不完善的地方请大家多多指正，ITPUB留言或QQ皆可，您的批评指正是我写作的最大动力。 一.2.2 实验环境介绍 11.2.0.3 RHEL6.5 一.2.3 本文简介 有个同事喊我解决 OGG 不能同步的问题，汗颜啊，我也就之前学过安装和简单的配置，当时是成功的，结果帮同事搭建的时候数据死活不能同步。于是下决心这几天好好再研究一下 OGG 的内容。 一.3 gg 安装 在 Linux 上安装 OGG 很简单，总体分为以下几个部分： 1. Downloading Oracle GoldenGate software. 2. Setting ORACLE_HOME and ORACLE_SID 3. Setting library paths for dynamic builds 4. Installing the Oracle GoldenGate software 一.3.1 Downloading Oracle GoldenGate software. 第一步，下载 gg 软件，可以有 2 种途径直接下载 一.3.1.1 第一种

1 、安装 GoldenGate 每个 GoldenGate 实例可支持 5000 个 Extract 和 Replicat 进程 每个 Extract 和 Replicat 需要 25-50M 或更多的内存，这取决于系统的事物量和事物大小 GoldenGate 实际使用的物理内存由操作系统控制和管理， GoladenGate 缓存管理器利用操作系统内存管理功能的优势，确保 GoladenGate 进程持续和有效的工作 1.1 Manager 　　 Manager 进程必须在源端和目标端运行，并且在 Extract 和 Replicat 进程之前启动，没有该进程 OGG 无法做其它的操作，它管理启动 Oracle GoldenGate 进程、启动动态进程、分配端口给 GoldenGate 进程、管理 trail file 、创建事件，错误和诊断报告工作； 1.2 Extract 　　 Extract 运行在源端或者根据系统和业务的需求可以同时运行在两端，抽取捕获系变更统数据；它可以配置为初始化数据加载 ( 直接从数据源中加载静态的数据 ) 和在某个时间点后源端与服务端变更数据同步 ( 从在线日志或归档日志抽取捕获变更的数据 ) ，它也可以在支持 DDL 变更的系统中抽取捕获 DDL ； 　　当配置为数据同步时， extract 进程抽取捕获 extract

今天通过最简单的一个例子，给大家讲解下 goldengate 实现两台 Oracle 数据库的同步。 内容如下: 1.配置数据库信息。 2.安装golden gate. 3.配置golden gate. 4.测试同步情况 首先我们看看实验环境 环境 源端是一个单实例 Oracle Enterprise 5 + ORACLE 10.2.0.4 IP ：10.4.128.100 目标端是一个单实例 Oracle Enterprise 5 + ORACLE 10.2.0.4 IP ：10.4.128.101 两台主机均已创建数据库，sid分别为devdb 和 emrep 配置devdb 到 emrep的数据同步 goldengate版本11.2.1.0 1.配置数据库信息 在源端数据库中打开归档模式 SQL> archive log list Database log mode Archive Mode Automatic archival Enabled Archive destination /u01/archive1 Oldest online log sequence 180 Next log sequence to archive 181 Current log sequence 181 若处于非归档模式，则改为归档模式： SQL> shutdown immediate

使用ogg数据初始化时，如果我们手工去启动初始化的复制进程， 如下： GGSCI (server2 as ogg@orcl) 63> start rini_1 会报以下错误： 2019-05-10T16:46:28.867+0800 INFO OGG-06604 Oracle GoldenGate Delivery for Oracle, rini_1.prm: Database ORCL CPU info: CPU Count 4, CPU Core Count 4, CPU Socket Count 2. 2019-05-10T16:46:28.867+0800 WARNING OGG-05673 Oracle GoldenGate Delivery for Oracle, rini_1.prm: CSN-based duplicate suppression is disabled because there is no checkpoint table for this Replicat. 2019-05-10T16:46:28.867+0800 ERROR OGG-02161 Oracle GoldenGate Delivery for Oracle, rini_1.prm: Failed to retrieve the trail file begin

ogg配置搭建之前需要在数据库中将enable_goldengate_replication参数打开 SYS@cphl> alter system set enable_goldengate_replication = true scope=both; goldgate错误日志地址：$GGS_HOME/ggserr.log 1、解压安装包 p23237964_1121033_Linux-x86-64.zip unzip ogg112101_fbo_ggs_Linux_x64_ora11g_64bit.zip Archive: ogg112101_fbo_ggs_Linux_x64_ora11g_64bit.zip inflating: fbo_ggs_Linux_x64_ora11g_64bit.tar ogg的tar包 inflating: OGG_WinUnix_Rel_Notes_11.2.1.0.1.pdf ogg自述文件 inflating: Oracle GoldenGate 11.2.1.0.1 README.txt inflating: Oracle GoldenGate 11.2.1.0.1 README.doc 解TAR，提醒解tar之后会产生N多文件最好提前放在一个文件夹中 tar xvf fbo_ggs_Linux_x64_ora11g_64bit.tar

/*--> */ /*--> */ 1 说明 1.1 下载和文档说明 下载地址: http://www.oracle.com/technetwork/middleware/goldengate/downloads/index.html 我下载的是Oracle GoldenGate 12.1.2.1.0版本的Oracle GoldenGate V12.1.2.1.0 for Oracle on Linux x86-64 (336 MB) 在线文档地址: http://www.oracle.com/technetwork/middleware/goldengate/documentation/index.html Oracle GoladenGate介绍: https://docs.oracle.com/goldengate/1212/gg-winux/GWUAD/wu_about_gg.htm#GWUAD110 Oracle 官方的安装教程: http://www.oracle.com/webfolder/technetwork/tutorials/obe/fmw/goldengate/12c/OGG12c_Installation/index.html Step by step GoldenGate configuration: https://sachinichake

配置环境： 建议在相同版本OGG（即Oracle GoldenGate）之间进行复制，我在这里之所以选择不同版本的OGG，便于后续的比较学习。 一、准备OGG的运行用户 在这里，我直接使用oracle用户作为OGG的运行用户。 二、确认OGG的安装目录 在源端，即Linux环境下，我选择/u01/app/goldengate作为OGG的安装目录，注意：/u01/app/goldengate目录的属主必须为OGG的运行用户，在这里，该目录的属主必须为oracle。 在目标端，即Win环境下，我选择G:\app\goldengate作为OGG的安装目录 三、打开数据库的归档模式 SQL> archive log list Database log mode No Archive Mode Automatic archival Disabled Archive destination USE_DB_RECOVERY_FILE_DEST Oldest online log sequence 5 Current log sequence 7 SQL> shutdown immediate SQL> startup mount SQL> alter database archivelog; SQL> alter database open; 四、打开源端数据库最小附加日志

一、GoldenGate实施环境 source database：oracle 11.2.0.3 target database：oracle 11.2.0.3 需要配置的进程如下： source database：extract、data pump target database：replicat 说明如下： 1、主提取进程首先将trail生成在本地，然后datapump读取本地trail再发送到目标服务器，即便网络故障，主提取进程仍然能随着事务生成trail文件，而datapump则会暂时停止传输，等待网络通畅后在将堆积的本地trail文件发送至目标服务器，从而实现了断点传输的功能。在实际应用中，每一个同步流程都应该配置datapump以应对网络问题。 2、配置进程检查点（checkpoint）：检查点记录了进程读写的位置信息用以数据恢复，目的是为了防止进程因系统、网络崩溃而导致的数据丢失。oracle推荐将复制进程的检查点信息存放到数据库表中进行管理： 首先在./globals参数文件中加入： CHECKPOINTTABLE [<owner>.<table>] --指定的检查点记录表 然后运行： GGSCI> DBLOGIN USERID <db_user>, PASSWORD <pw> GGSCI> ADD CHECKPOINTTABLE [<owner>.<table>]