goldengate

1. Oracle GoldenGate For BigData截至2018-11-20的最新版是12c (12.3.2.1)，官方文档首页：https://docs.oracle.com/en/middleware/goldengate/big-data/12.3.2.1/index.html 2. 该版本中对Oracle GoldenGate For BigData官方文档的学习主要是两篇文档，一是Using Oracle GoldenGate for Big Data， 二是Understanding the Java Adapter and Oracle GoldenGate for Big Data。其他文档主要是新版特性，公司著作权，或者对这两篇文档的分拆说明等。 3. Using Oracle GoldenGate for Big Data这里主要介绍了(待补充)。。。。。详细内容在另一篇博客中讲解。 4. Understanding the Java Adapter and Oracle GoldenGate for Big Data这里主要介绍了(待补充)。。。。。详细内容在另一篇博客中讲解。 来源： oschina 链接： https://my.oschina.net/u/3651261/blog/2878652

标签：goldengate postgresql oracle json 测试环境说明 Oracle：Windows 8.1 + Oracle 12.2.0.1.0 + GoldenGate 12.3.0.1.2 for oracle IP:10.155.4.150 PostgreSQL：CentOS7 + postgresql 10.10-1 + Goldengate 12.2.0.1 for PostgreSQL IP: 10.155.5.178 源端 （因为Oracle的数据库和OGG安装教程简单，此处不做介绍） 数据库配置 SQL> sqlplus / as sysdba; SQL>archive log list; SQL>shutdown immediate; SQL>startup mount; SQL>alter database archivelog; //打开归档模式 SQL>alter database open; SQL> alter database force logging; //设置强制记录日志 SQL> alter database add supplemental log data; //增加附加日志 SQL> alter system switch logfile; //切换日志使附加日志生效 SQL> select log_mode

​ 作者介绍 梁铭图， 新炬网络首席架构师，十多年数据库运维、数据库设计、数据治理以及系统规划建设经验，拥有Oracle OCM、Togaf企业架构师（鉴定级）、IBM CATE等认证，曾获dbaplus年度MVP以及华为云MVP等荣誉，并参与数据资产管理国家标准的编写工作。在数据库运维管理和架构设计、运维体系规划、数据资产管理方面有深入研究。 概述 Oracle GoldenGate,是由Oracle官方提供的用于解决异构数据环境中数据复制的一个商业工具。相比于其它迁移工具OGG的优势在于可以直接解析源端Oracle的redo log，因此能够实现在不需要对原表结构做太多调整的前提下完成数据实现同步，甚至可以将数据变化 实时抽取并推送到kafka等消息中间件。 本篇文章主要介绍如何使用OGG实现Oracle到MySQL数据的传输。 OGG逻辑架构 在OGG使用过程中主要涉及以下进程及文件： Manager进程： 需要源端跟目标端同时运行，主要作用是监控管理其它进程。 Extract进程： 运行在源端，主要是捕获数据的变化，负责全量、增量数据的抽取。 Trails文件： 临时存放在磁盘上的数据文件。 Data Pump进程： 运行在数据库源端，属于Extract进程的一个辅助进程。 Collector进程： 接收源端传输过来的数据变化，并写入本地Trail文件中。

Linux学习 《linux就该这么学》刘遄 《鸟哥的Linux私房菜基础篇第四版》鸟哥 《shell脚本实战》门佳 译 unix学习 《Oracle Solaris 11系统管理完全参考手册》清华大学出版社 《Shell脚本学习指南》O'Reilly Taiwan公司译 oracle数据库学习路线 1.入门实践 1.1 《oracle基础教程10g》孙凤栋 《oracle基础教程11g》孙凤栋 《oracle基础教程12c》孙凤栋 《深入理解Oracle12c数据库管理(第2版)》 苏宝龙译 1.2 《Oracle数据库技术实用详解:教你如何成为10g OCP》韩思捷 《涂抹Oracle：三思笔记之一步一步学Oracle》 李丙洋 《Oracle DBA工作笔记》杨建荣 2.原理 2.1 《深入解析Oracle》 盖国强 《构建Oracle高可用环境》 陈吉平 《Oracle DBA实战攻略:运维管理、诊断优化、高可用与最佳实践》周亮 2.2 《Oracle编程艺术 深入理解数据库体系结构（第3版）》Ask Tom 3.数据库开发 《Oracle PL/SQL程序设计（第6版）》 方鑫 译 《剑破冰山:Oracle开发艺术 》卢涛等 4.工具书籍(夯实基础)（清华大学出版社） 《Oracle Database 11g 完全参考手册》 《Oracle Database 11g

本文根据梁铭图老师在8月21日〖Oracle ACE巅峰之夜〗线上分享演讲内容整理而成。 （文末有获取本期PPT&回放的方式，不要错过） 迁移背景 随着Oracle数据库19c在去年的发布，越来越多之前的数据库版本走入其生命周期的末期。企业中原来应用甚广如Oracle 11gR2目前已经退出支持，只为某些特殊客户提供有限并且是付费式的技术支持。客户需要将老旧的数据库迁移到19c等较新版本的数据库来获得Oracle官方的支持。 另外，IT技术的发展使客户的IT架构逐步走向云化和微服务化。许多客户的采购部门已经开始停止采购IBM、EMC之类的国外的硬件设备，转而大量采购国产的x86架构甚至是ARM架构的PC服务器。这个变化也极大的推动了企业数据库迁移。 最后，Oracle 19c及前面版本中引入的许多新特性以及增强属性，例如12c中引入的cdb与pdb，19c中引入的自动化索引（Automatic indexing）等全新特性也吸引着企业逐步将老旧数据库升级迁移到新版本，以应用全新的数据库特性。 以上三个因素是企业Oracle数据库升级迁移的主要动力。 方案选择 最近，我们协助了一个电信行业的客户将其核心系统的数据库，按不同的地市分三次迁移到Oracle 19c的数据库中。整个数据库迁移环境前后的对比如下： 源数据库主机平台：IBM小型机（PowerPC架构） 源库操作系统：AIX

Oracle12C ogg配置 配置 OGG 安装目录的共享： 这里的共享就是把 OGG 安装到一个共享的设备上，把该目录同时挂到不同节点的相同位置上，这样当 一个节点挂了之后，可以在另一个节点启动和维护 OGG 。 所以我们上面在配置的时候，才会同时在 2 个节点操作，并且参数名称也一致 。 如果不考虑这种冗余 的方案，可以直接在其中一个节点上操作，不用搞的这么麻烦。 我们这里就在一个节点操作，不搞那么复杂了，这里仅说明一下。 上面的配置完成之后，就和我们单实例操作类似了。 不过在参数配置这块会有细微区别。 --此处安装的是Version 12.2.0.1.1 OGGCORE_12.2.0.1.0_PLATFORMS_151211.1401_FBO 可以去oracle官网下载 --目标和原库都要配置 SQL> alter system set enable_goldengate_replication=true; Source系统设置 解压缩ogg安装包 # su - oracle 解压缩ogg安装包 unzip fbo_ggs_Linux_x64_shiphome.zip cd fbo_ggs_Linux_x64_shiphome/Disk1/ ./runInstaller 在bash_profile中添加OGG_HOME export OGG_HOME=$ORACLE

第二部分 用户需求书 一、 概述 1.1 项目背景 为确保广东省地方税务局信息系统的正常运行，现对信息系统所用的 Oracle 数据库及 GoldenGate 复制软件原厂商维护保修服务进行招标采购。 1.2 采购方式： 公开招标 1.3 项目预算：捌佰零贰万元（￥8,020,000.00）。 1.4 项目实施地点：项目实施地点：广东佛山市南海区南国桃园南海税务信息处理中心 和广州市天河北路 600 号。 1.5 项目时间： 24 个月。 二、 项目内容 2.1 Oracle 原厂商标准产品服务（Oracle 原厂商标准产品服务所涉及的软件产品见表 一，标准产品服务详见《附件 1： Oracle 原厂标准服务内容》） 表一： 序号 产品名称 CSI NO. CPU 许可数 备注 1 Oracle Database Enterprise Edition – Processor Perpetual 3779045 52 个以上 所有软件均可在广东地税系统内不限操作系统平台、不限 CPU 数、不限用户数、不限地域地使用 2 Real Application Clusters – Processor Perpetual 3779045 52 个以上 3 Partitioning – Processor Perpetual 3779045 52 个以上 4 Diagnostics Pack

通常情况下，Oracle GoldenGate 的 trail 文件中是不会包含数据库的 SCN 信息的，要在 trail 文件中记录此信息，必须在 Extract 进程参数中设置 TOKENS 示例如下： --Normal extract mapping-- TABLE scott.* ; --To use tokens-- TABLE scott.*, tokens (tk-scn = @getenv("ORATRANSACTION", "SCN")); 设置 tokens 后 Extract 进程会在 trail 文件中写入一个 token ，其中包含 SCN 的详细信息。下面我们通过实验来详细了解一下设置 tokens 和不设置的区别。 设置 tokens 前： GGSCI (prod.oracle.com) 1> view params ESCOTT EXTRACT escott SETENV (NLS_LANG=AMERICAN_AMERICA.AL32UTF8) USERID ggs, PASSWORD register EXTTRAIL ./dirdat/aa TABLE scott.EMP_GGS, tokens (tk-scn = @getenv("ORATRANSACTION", "SCN")); TABLE scott.DEPT_GGS, tokens

通常情况下，Oracle GoldenGate 的 trail 文件中是不会包含数据库的 SCN 信息的，要在 trail 文件中记录此信息，必须在 Extract 进程参数中设置 TOKENS 示例如下： --Normal extract mapping-- TABLE scott.* ; --To use tokens-- TABLE scott.*, tokens (tk-scn = @getenv("ORATRANSACTION", "SCN")); 设置 tokens 后 Extract 进程会在 trail 文件中写入一个 token ，其中包含 SCN 的详细信息。下面我们通过实验来详细了解一下设置 tokens 和不设置的区别。 设置 tokens 前： GGSCI (prod.oracle.com) 1> view params ESCOTT EXTRACT escott SETENV (NLS_LANG=AMERICAN_AMERICA.AL32UTF8) USERID ggs, PASSWORD register EXTTRAIL ./dirdat/aa TABLE scott.EMP_GGS, tokens (tk-scn = @getenv("ORATRANSACTION", "SCN")); TABLE scott.DEPT_GGS, tokens

近期在一dataguard环境中遇到，主库的服务器出现异常夯机。之后手工重启服务器又能正常工作，原因未查明，售后提出针对各部件逐一替换的方式来处理。 环境:dataguard的主库上部署有goldengate。 db version goldengate version os plant 11gr2 12.1.2.1.0 linux 64 环境：A 是主库【出现夯机后要换硬件配件】 、B 是备库 过往的做法：每次主备库切换前停应用、停goldengate，主备角色切换后，采用的是将goldengate重新部署在DG角色切换后的主库上；且由于在切换前应用未停彻底，导致角色切换后，启用新的主库对接应用，新部署的golengate同步数据时会有掉数据。 goldengate12.1.2.1.0新特性：支持从ADG的在线日志中捕获变化 OGG Release 12.1.2.1.0 New Features for Oracle Database Active Data Guard (ADG) - A new processing option (TRANLOGOPTIONS MINEFROMACTIVEDG) is introduced allowing you to configure Classic Extract to mine online redo logs shipped to