goldengate

转载： http://edu.codepub.com/2010/0607/23329.php 一、前言 GoldenGate软件是一种基于日志的结构化数据复制软件，它通过解析源数据库在线日志或归档日志获得数据的增量变化，再将这些变化应用到目标数据库，从而实现源数据库与目标数据库同步。GoldenGate 可以在异构的IT基础结构（包括几乎所有常用操作系统平台和数据库平台）之间实现大量数据亚秒一级的实时复制,从而在可以在应急系统、在线报表、实时数据仓库供应、交易跟踪、数据同步、集中/分发、容灾等多个场景下应用。 同时，GoldenGate可以实现一对一、广播(一对多)、聚合(多对一)、双向、点对点、级联等多种灵活的拓扑结构 二、环境要求 1. 支持的平台 支持的Oracle Database 版本 在当前的Oracle GoldenGate 10.4版本中,支持如下Oracle Database版本 Oracle 8i (DML support only) Oracle 9.1 and 9.2 (DML and DDL support) Oracle 10.1 and 10.2 (DML and DDL support) Oracle 11g (DML and DDL support) 支持的操作系统平台 几乎所有主流的操作系统,GoldenGate都支持 Windows 2000,

一：环境介绍 --source端 ip地址：192.168.123.10 数据库版本：11.2.0.1.0 32 bit 操作系统版本：centos 4.5 32 bit ogg版本：fbo_ggs_Linux_x86_ora11g_32bit.tar --target端 ip地址：192.168.123.11 数据库版本：11.2.0.1.0 32 bit 操作系统版本：centos 4.5 32 bit ogg版本：fbo_ggs_Linux_x86_ora11g_32bit.tar 二：安装 GG 软件 2.1 安装GG [root@oracle ~]# su - oracle [oracle@oracle ~]$ ls awrrpt_1_259_276.html fbo_ggs_Linux_x86_ora11g_32bit.tar oradiag_oracle [oracle@oracle ~]$ mkdir /u01/GG [oracle@oracle ~]$ tar -xvf fbo_ggs_Linux_x86_ora11g_32bit.tar -C /u01/GG //将软件解压到/u01/GG 2.2 添加环境变量 在/home/oracle/.bash_profile文件里添加如下内容： export PATH=/u01/GG:$PATH export LD

GOLDENGATE安装 1. 下载与数据库对应版本的goldengate安装介质。 2. 创建goldengate系统用户，设置用户环境变量，如果是oracle，建议直接使用oracle作为用户安装。 3. 创建goldengate数据库用户，并授予足够权限，该用户至少应该有connect、resource、select any dictionary、select any table的权限。当然授予dba权限的话，那么就涵盖了所需的所有权限。 在此处使用的oracle数据库用户为 ggs 密码也是ggs。 提醒一天，ggs尽量使用自己的表空间。这样可以有效的进行维护。 建议脚本 SQL> grant connect, resource,unlimited tablespace,select any dictionary, select any table,insert any table,update any table,delete any table,alter any table,flashback any table to ggs; SQL>grant execute on dbms_flashback to ggs; SQL>grant execute on utl_file to ggs; 4. 将源端数据库设置为归档模式。 SQL>alter database

我之前在《 使用SQL计算宝宝每次吃奶的时间间隔(数据保障篇) 》中提到数据实时同步的方案，其中有一种是数据表通过OGG进行同步，当时没有详细展开测试，只给了之前学习OGG时的配置示例。由于之前很少接触OGG的管理运维，最近在进行实际测试时遇到些问题，虽然不难，但也是初学者常遇到的问题，所以记录下这个过程。 需求： 将TEST用户下的数据表T_BABY通过OGG进行同步。 环境： 源端：RHEL6.5, IP地址：192.168.1.61 Oracle 11.2.0.4 RAC（2 nodes）+ OGG 12.2.0.2 待同步数据表test.t_baby已有数据 目标端：OEL5.7, IP地址：192.168.1.11 Oracle 11.2.0.3 单实例 + OGG 12.2.0.2 数据表通过OGG配置同步： 1.源端和目标端软件安装部署 2.源端配置 3.目标端配置 4.实验中遇到的问题处理 1.源端和目标端软件安装部署 在源端和目标端都部署OGG 12.2.0.2，使用图形界面安装，默认选择安装完成后自动启动mgr进程，安装截图类似如下： 2.源端配置 首先确认数据库是否处于归档模式，是否开启force logging和数据库最小附加日志： select log_mode,supplemental_log_data_min,force_logging from v

一、系统概述 Oracle Golden Gate ( 简称 OGG) 是一种基于日志的结构化数据复制备份软件，它通过解析源数据库在线日志（ redo log ）或归档日志 (archive log) 获得数据的增量变化，再将这些变化应用到目标数据库，从而实现源端数据库与目标端数据库同步。 OGG 可以实现不通平台 ( 包括不通操作系统 , 数据库 ) 实现大量数据亚秒一级的实时复制 , 从而可以在业务连续性保障、在线报表、数据仓库、交易跟踪、数据同步、集中 / 分发、容灾备份、数据库升级和移植、异地或同城双活业务中心等多个场景下应用。同时， OGG 可以实现一对一、广播 ( 一对多 ) 、聚合 ( 多对一 ) 、双向、点对点、级联等多种灵活的拓扑结构。 二、系统逻辑架构 OGG 通过源数据库上的 extract 进程捕获 redo log 或者 archive log ，在本地或者目标端生产 trail 文件来存储捕获到的数据变化，将捕获的数据通过 TCP/IP 网络传输到目标。通过日志应用进程（ replicat ）将数据应用到目标端数据库。 Golden gate 主要包括 5 个关键组件，分别是： 1.manager 2.extract 3.pump data 4.trail 5.server collector 5. Replicat 三、进程作用 1.manager

参考学习博客地址： https://www.cnblogs.com/lanston/p/ogg_instrAndInstall.html# label3 软件下载地址： http://www.oracle.com/technetwork/middleware/goldengate/downloads/index.html 我这里下载的是 Oracle GoldenGate 18.1.0.0.0 for Oracle on Windows (64 bit) 因为下载其他版本在配置的时候报错，有些Orcale的内置包找不到。 GoldenGate由COLLECTOR后台进程、MGR进程、EXTRACT进程、DATA PUMP EXTRACT进程、Replicat等一系列进程组成；COLLECTOR后台进程负责接收和保存源端数据到trail；MGR进程管理启动Oracle GoldenGate进程、分配端口、管理trail file、创建事件，错误和诊断报告工作；EXTRACT进程负责抽取捕获变更数据信息并记录到trail；DATA PUMP EXTRACT是第二种GoldenGate extract 进程配置，它加强了源端和目标端抽取捕获数据的可用性，避免网络错误和目标端失败导致的数据丢失并提供了更复杂的数据过滤和转换功能，以及多源对单目标和单源对多目标的数据同步方式

Golden Gate（简称OGG）提供异构环境下交易数据的实时捕捉、变换、投递。 OGG支持的异构环境有： OGG的特性： 对生产系统影响小：实时读取交易日志，以低资源占用实现大交易量数据实时复制 以交易为单位复制，保证交易一致性：只同步已提交的数据 高性能 智能的交易重组和操作合并 使用数据库本地接口访问 并行处理体系 灵活的拓扑结构：支持一对一、一对多、多对一、多对多和双向复制等 支持数据过滤和转换 可以自定义基于表和行的过滤规则. 可以对实时数据执行灵活影射和变换. 提供数据压缩和加密：降低传输所需带宽，提高传输安全性. OGG的工作原理： OGG的进程： Manager进程是GoldenGate的控制进程，运行在源端和目标端上。它主要作用有以下几个方面：启动、监控、重启Goldengate的其他进程，报告错误及事件，分配数据存储空间，发布阀值报告等。在目标端和源端有且只有一个manager进程 Extract运行在数据库源端，负责从源端数据表或者日志中捕获数据。Extract的作用可以按照阶段来划分为： 初始时间装载阶段：在初始数据装载阶段，Extract进程直接从源端的数据表中抽取数据 同步变化捕获阶段：初始数据同步完成以后，Extract进程负责捕获源端数据的变化(DML和DDL) Data Pump进程运行在数据库源端，其作用是将源端产生的本地trail文件

1 GoldenGate简要说明 GoldenGate现在是业内成熟的数据容灾与复制产品，经过多年的发展与完善，现在已经成为业内事实上的标准之一。 GoldenGate软件是一种基于日志的结构化数据复制软件，它通过解析源数据库在线日志或归档日志获得数据的增删改变化，再将这些变化应用到目标数据库，实现源数据库与目标数据库同步。 1.1 Golden Gate技术结构 GoldenGate软件的技术结构如图1.1所示： 图1.1GoldenGate技术架构图 从图中可以看到：GoldenGate主要包含Manager进程、Extract进程、Pump进程、Replicat进程，下面对其一一说明： Manager进程是GoldenGate的控制进程，它主要作用有以下几个方面：启动、监控、重启GoldenGate的其他进程，报告错误及时间，分配数据存储空间，发布阀值报告等。 Extract进程运行在数据库源端，负责从源端数据表或日志中捕获数据。Extract进程利用其内在的checkpoint机制，周期性地检查并记录其读写的位置，通常是写入到本地的trail文件。这种机制是为了保证如果Extract进程终止或者操作系统宕机，我们重启Extract进程后，GoldenGate能够恢复到以前的状态，从上一个断点处继续往下运行，而不会有任何数据损失。 Pump进程运行在数据库源端，其作用非常简单

OGG进程 捕获进程（源端）：捕获online redo log或者archived log中增量事务日志 传输进程（源端）：把目标端落地的trail文件通过配置的路由信息传输到目标端 网络传输：tcp/ip协议，传输过程可以对传输的文件进行压缩、加密 投递进程（目标端）：把所接收的队列文件信息拼成SQL语句，并不是复制SQL，而是复制逻辑变化，并且在目标库提 交 源端配置：MGR、捕获进程、捕获进程参数、捕获进程本地队列、传输进程、传输进程、传输进程远程队列 目标端配置：MGR、投递进程、投递进程参数 1、源端，目标端分别安装数据库软件和dbca建库（源端、目标端） 2、源端数据库开启归档（源） SQL> shutdown immediate Database closed. Database dismounted. ORACLE instance shut down. SQL> startup mount ORACLE instance started. Total System Global Area 776646656 bytes Fixed Size 2257272 bytes Variable Size 507514504 bytes Database Buffers 264241152 bytes Redo Buffers 2633728 bytes Database

一.Introduction to Oracle GoldenGate 简介 （一）Oracle GoldenGate 　　Oracle GoldenGate支持在事务级别跨多个异构平台之间交换和操作数据。 　　它的模块化体系结构使您能够灵活地提取和复制选定的数据记录、事务更改以及DDL的更改。 　　通过这种灵活性，以及Oracle GoldenGate的过滤、转换和自定义处理特性，您可以支持许多业务需求: 　　●业务连续性和高可用性。 　　●初始加载和数据库迁移。 　　●数据集成。 　　●决策支持和数据仓库。 　　支持在源和目标不同字符集之间的转换，且目标字符集和客户端必须是源字符集的超集或者等价字符集。 （二）Oracle GoldenGate组成组件 　　1. Extract（提取） 　　初始化数据：直接从源对象中提取当前数据集。变更同步：inserts, updates, and deletes， DDL changes and sequences。 　　提取数据通过数据库恢复日志或者事务日志，具体依靠什么还要看数据库类型，还支持第三方捕获。 　　2. Data pump（数据泵） 　　第二中提取方式，防止网络和目标故障对作业影响，可分阶段，多个源到一个目标，一个源到多个目标。可进行山筛选 TABLE。 　　3. Replicat（复制） 　　分为初始化数据和变更同步