goldengate

OGG 从Oracle备库同步数据至kafka Table of Contents 1. 目的 2. 环境及规划 3. 安装配置JDK 3.1. 安装jdk 3.2. 配置环境变量 4. 安装Dataguard 4.1. 安装备库软件 4.2. 配置dataguard 4.2.1. 主库 4.2.2. 备库 4.3. 完成操作 4.4. 启动实时复制 5. zookeeper集群 5.1. 上传并解压 5.2. 配置 5.3. 创建myid文件 5.4. 配置环境变量 5.5. 启动和查看服务 6. kafka集群 6.1. 上传并解压 6.2. 配置 6.3. 配置环境变量 6.4. 服务管理 6.5. TOPIC 6.6. 测试集群 7. OGG 安装配置 7.1. 源端 7.1.1. 准备 7.1.2. 配置数据库 7.1.3. 配置OGG 7.2. 目标端(kafka) 7.3.1. 安装 7.3.2. 配置环境变量 7.3.3. 目标端OGG配置 7.3. 同步数据 8. 错误 8.1. OGG-01044 8.2. OGG-01389 8.3. OGG-06439 8.4. OGG-00060 8.5. OGG-00868 1 目的 测试物理standby 作为ogg 源端的可行性，效率及安全性。 2 环境及规划 以下数据库及OGG版本是实际目的的最低版本要求。 环境

要使用Replicat建立目标数据，可以使用初始加载Extract从源表中提取源记录，并将它们以规范格式写入提取文件。从该文件中，初始加载Replicat使用数据库接口加载数据。在加载过程中，更改同步组提取并复制增量更改，然后与加载结果进行协调。 在加载过程中，记录每次一个记录地应用于目标数据库，因此该方法比其他任何初始加载方法都要慢很多 。该方法允许在源系统或目标系统上完成数据转换。 将数据从文件加载到Replicat 确保您已满足初始加载的 先决条件 中的要求。 在源系统和目标系统上，运行GGSCI并启动Manager。 START MANAGER 在Windows群集中，从群集管理器启动Manager资源。 在源系统上，发出以下命令以创建初始加载Extract参数文件。 EDIT PARAMS initial - load_Extract 按所示顺序输入表15-1中列出的参数，为每个参数语句开始一个新行。以下是用于将数据从文件加载到Replicat的初始加载Extract参数文件的示例。 SOURCEISTABLE SOURCEDB mydb, USERIDALIAS ogg RMTHOSTOPTIONS ny4387, MGRPORT 7888 , ENCRYPT AES 192 KEYNAME mykey ENCRYPTTRAIL AES192 RMTFILE / ggs

--ogg同步基于表，会忽略目标端view的trigger和view对应的表的dbms_scheduler,若目标端view的关联trigger中有向其他非此视图关联的表操作则会忽略，所以只能同步到view而不能同步到表中 --配置view同步时只需要配view对应的表 --表名test.dep_ogg改变，不需要重新对标add trandata 2.1创建ogg操作系统用户： useradd -u 1003 -g oinstall -G dba ogg passwd ogg --源端开启归档，若归档路径不设置则pump进程启动报错 su - oracle mkdir archivelog sqlplus / as sysdba alter system set log_archive_dest_1='location=/home/oracle/archivelog'; shutdown immediate; startup mount; alter database archivelog; alter database open; alter system switch logfile; / archive log list; exit 2.2修改ogg操作系统用户环境变量,并链接oracle用户环境变量，修改实例名为jvm，配置任意目录登陆 vi /home/ogg/.bash

了解如何为与数据库交互的流程创建数据库用户，分配正确的权限并防止未经授权使用凭据。 主题： 为Oracle GoldenGate分配凭证 保护Oracle GoldenGate凭证 3.1 为Oracle GoldenGate分配凭证 Oracle GoldenGate进程需要一个或多个具有正确数据库权限的数据库凭证，以便使用数据库版本，数据库配置和Oracle GoldenGate功能。创建源数据库用户和目标数据库用户，每个用户专用于源系统和目标系统上的Oracle GoldenGate。所分配的用户可以是所有必须连接到源或目标Oracle数据库的Oracle GoldenGate进程的同一用户。 提取用户 复制用户 其他Oracle GoldenGate用户 授予适当的用户权限 3.1.1提取用户 Extract用户在源数据库上执行元数据查询，并在需要时从源表中提取数据。在集成捕获的本地挖掘部署中，此用户还创建，更改并连接到注册服务器，并从中接收逻辑更改记录（LCR）。 （请参阅决定使用哪种捕获方法以获取有关捕获模式的更多信息。） 如果源数据库是多租户容器数据库，则提取用户必须是普通用户，并且必须登录到根容器。有关更多信息，请参阅在多租户容器数据库中配置Oracle GoldenGate。 如果Extract将以集成捕获模式运行，并且您正在使用下游挖掘数据库

环境： 服务器一(RAC实例一的任意一个节点) IP地址： 10.19.100.91 Oracle数据库版本 11.2.0.4 Oracle数据库实例名 aegisdb Oracle数据库端口 1521 待同步数据库schema aegis OGG端口 7809 服务器二(RAC实例二的任意一个节点) IP地址： 10.19.100.92 Oracle数据库版本 11.2.0.4 Oracle数据库实例名 aegisdb Oracle数据库端口 1521 待同步数据库schema aegis OGG端口 7809 Oracle GoldenGate版本 12.2.0.1 数据库连接串(tnsname.ora文件，2台服务器配置上相同)： AEGISDB91 = (DESCRIPTION = (ADDRESS_LIST = (ADDRESS = (PROTOCOL = TCP)(HOST = 10.19 . 100.91 )(PORT = 1521 )) ) (CONNECT_DATA = (SERVICE_NAME = aegisdb) ) ) AEGISDB92 = (DESCRIPTION = (ADDRESS_LIST = (ADDRESS = (PROTOCOL = TCP)(HOST = 10.19 . 100.92 )(PORT = 1521 )) ) (CONNECT

Oracle Golden Gate (ogg) 安装使用说明 Golden Gate（简称OGG）提供异构环境下交易数据的实时捕捉、变换、投递 等功能。 OGG支持的异构环境有： OGG的特性： ① 对生产系统影响小：实时读取交易日志，以低资源占用实现大交易量数据实时复制 ② 以交易为单位复制，保证交易一致性：只同步已提交的数据 ③ 高性能 ④ 智能的交易重组和操作合并 ⑤ 使用数据库本地接口访问 ⑥ 并行处理体系 ⑦ 灵活的拓扑结构：支持一对一、一对多、多对一、多对多和双向复制等 ⑧ 支持数据过滤和转换 ⑨ 可以自定义基于表和行的过滤规则 . ⑩ 可以对实时数据执行灵活影射和变换 . 同时 提供数据压缩和加密：降低传输所需带宽，提高传输安全性 . OGG的工作原理： OGG的进程： Manager进程是GoldenGate的控制进程，运行在源端和目标端上。它主要作用有以下几个方面：启动、监控、重启Goldengate的其他进程，报告错误及事件，分配数据存储空间，发布阀值报告等。在目标端和源端有且只有一个manager进程 Extract运行在数据库源端，负责从源端数据表或者日志中捕获数据。Extract的作用可以按照阶段来划分为： 初始时间装载阶段：在初始数据装载阶段， Extract进程直接从源端的数据表中抽取数据 同步变化捕获阶段：初始数据同步完成以后，

1.生产中升级了11.2.0.3到12.2.0.1数据库之后，启动ogg目标端复制进程，发现报错。 ++++++++++++++++++++++++++++++++++++++++++++++++++++ 2018-03-21 15:41:39 INFO OGG-00996 Oracle GoldenGate Delivery for Oracle, reputest.prm: REPLICAT REPUTEST started. 2018-03-21 15:41:40 ERROR OGG-01082 Oracle GoldenGate Delivery for Oracle, reputest.prm: The call to the DBOCI_check_for_virtual_column: OCI error (1031-ORA-01031: insufficient privileges) determining if column is virtual. Table: SCOTT.EMP1, Column EMPNO function from get_odbc_table_def failed with return code 0. 2018-03-21 15:41:40 ERROR OGG-01668 Oracle GoldenGate Delivery for

1.配置数据库信息 在源端数据库中打开归档模式 SQL> archive log list Database log mode Archive Mode Automatic archival Enabled Archive destination /u01/archive1 Oldest online log sequence 180 Next log sequence to archive 181 Current log sequence 181 若处于非归档模式，则改为归档模式： SQL>shutdown immediate Database closed. Database dismounted. ORACLE instance shut down. SQL>startup mount; ORACLE instance started. SQL>alter database archivelog; Database altered. SQL>alter database open; Database altered. 在源端数据库中打开force logging SQL>select force_logging from v$database; FOR --- NO SQL>alter database force logging; Database altered. SQL

一. GoldenGate 概述 　　 GoldenGate现在是业内成熟的数据容灾与复制产品；GoldenGate是一种基于日志的结构化数据复制方式，它通过解析源数据库在线日志或归档日志获得数据的增删改变化（数据量只有日志的四分之一左右），再将这些变化应用到目标数据库，实现源数据库与目标数据库同步、双活。 二. GoldenGate 搭建 　　目标在linux系统下安装Oracle；利用GoldenGate 实现数据同步；可复制DML和DDL操作 环境如下：本环境目标端是源端的克隆；步骤请参考第8篇 源端 目标端 操作系统 linux6.5 linux6.5 IP 192.168.1.235 192.168.1.221 数据库版本 11.2.0.4.0 11.2.0.4.0 GoldenGate版本 11.2.1.0.1 11.2.1.0.1 2.1 创建 GoldenGate 操作系统用户 　　两台服务器都需要创建 ogg 操作系统用户(此步骤非必须，也可以使用ORACLE用户安装)。 useradd -u 1003 -g oinstall - G dba ogg passwd ogg 2.2 修改 GoldenGate 系统用户环境变量 source /home/oracle/ .bash_profile # or export ORACLE_BASE =/u01/ app

-- 日志记录模式(LOGGING 、FORCE LOGGING 、NOLOGGING) -- 三者的含义 LOGGING： -- 当创建一个数据库对象时将记录日志信息到联机重做日志文件，LOGGING实际上是对象的一个属性， -- 用来表示在创建对象时是否记录REDO日志，包括在做DML时是否记录REDO日志。 -- 一般表上不建议使用NOLOGGING，在创建索引或做大量数据导入时，可以使用NOLOGGING 。 FORCE LOGGING： -- 强制记录日志，即对数据库中的所有操作都产生日志信息，并将该信息写入到联机重做日志文件。 NOLOGGING： -- 正好与LOGGING、FORCE LOGGING 相反，尽可能的记录最少日志信息到联机日志文件。 -- FORCE LOGGING可以在数据库级别、表空间级别进行设定、而LOGGING与NOLOGGING可以在数据对象级别设定。 -- 在使用DATA GUARD 时，要求使用强制记录日志模式。注：FORCE LOGGING并不比一般的LOGGING记录的日志多, -- 数据库在FORCE LOGGING状态下,NOLOGGING选项将无效,因为NOLOGGING将破坏DATAGUARD的可恢复性. -- FORCE LOGGING强制数据库在任何状态下必须记录日志。 -- 附加日志 -- 附加日志