goldengate

一、MySQL的Hadoop Applier 实现原理是： 把hadoop作为MYSQL 的slave，实时把数据同步到hadoop,支持apache hadoop 通过分析MYSQL的binlog日志,在hdfs产生一个目录（同表名），所有的表记录都存储在一个文件中，用户的操作如插入，更新，删除都会产生一笔记录追加到文件末尾. 但如何利用hdfs上的这个数据，需要用户自己定义逻辑，把表中的数据插入到hbase表 详见： http://dev.mysql.com/tech-resources/articles/mysql-hadoop-applier.html 二、GoldenGate的HDFS Adapter Oracle GoldGate's 也有类似的工具，通过分析Trails File把数据实时同步到hadoop ORACLE官方网站提供了Hdfs Adapter，但不提供服务支持 详见： https://blogs.oracle.com/dataintegration/entry/streaming_relational_transactions_to_hadoop 来源： oschina 链接： https://my.oschina.net/u/1410765/blog/210315

OGG-00446 分析与解决 Table of Contents 1. 00446 1.1. Missing filename opening checkpoint file 1.1.1. 错误信息 1.1.2. 分析 1.2. could not find archived log 1.2.1. 错误信息 1.2.2. 分析 1 00446 　　 Missing filename opening checkpoint file could not find archived log 1.1 Missing filename opening checkpoint file 1.1.1 错误信息 2019-07-02T23:26:17.998+0800 ERROR OGG-00446 Oracle GoldenGate Delivery, xmsys.prm: Missing filename opening checkpoint file. 2019-07-02T23:26:17.999+0800 ERROR OGG-01668 Oracle GoldenGate Delivery, xmsys.prm: PROCESS ABENDING. 1.1.2 分析 出现此错误，原因是参数配置与命令不匹配。比如from file方式的数据应用进程,如果使用ggsci命令start命令

在实施GoldenGate的时候，安全这一项往往是被忽视的。但是作为一个完整运行的GoldenGate系统，基本的安全设置还是很有必要的，比如口令的加密。GoldenGate的安全选项主要有以下5个方面： ? 口令加密(Password Encryption) ? Trail文件加密(Trail File Encryption) ? 网络传输加密(TCP/IP Encryption) ? 命令验证(Command Authentication) ? 可信任连接(Trusted Connection) 这里先来谈谈前3个安全选项。其余两项会在以后的专题中进行讨论。 口令加密、Trail文件加密以及网络传输加密都支持AES-128、AES-192和AES-256加密算法，口令加密和网络传输加密还支持Blowfish加密算法，Trail文件加密还支持字节替换加密。 口令加密 口令加密指的对数据库账号的口令进行加密，这样数据库账号的口令在配置文件中就不会以明文的方式出现了，从而保证了账号的安全。因为通常分配给GoldenGate使用的账号都具有很大的权限，因而对其进行保护也是很有必要的。在进行口令加密前，需要先生成密钥文件。实际上这一步不是必须的。可以使用GoldenGate默认的的密钥来进行加密，但是使用默认的密钥有很多限制： 1、 只能使用Blowfish进行加密。 2、

goldengate一些參数整理 https://www.cnblogs.com/tlnshuju/p/7372779.html manager參数： AUTOSTART：指定在mgr启动时自己主动启动那些进程. AUTOSTART ER * AUTOSTART extract extsz AUTORESTART：指定在mgr能够定时重新启动那些进程。 能够在网络中断等故障恢复后自己主动重起。避免人工干预. AUTORESTART ER *, WAITMINUTES 5, RETRIES 3 DYNAMICPORTLIST：指定GoldenGate能够使用那些port接受extract发送过来的数据. DYNAMICPORTLIST 7840-7850 PORT：制定GoldenGate的mgr进程使用哪个 TCP/IPport侦听请求. PORT 7809 LAGCRITICAL：指定觉得超过此时间即为严重错误的延迟最大值，假设延迟达到此时间值则会在ggserr.log里面写入一条error信息 LAGCRITICALMINUTES 10 LAGREPORT：指定在ggserr.log中报告延迟的时间间隔. LAGREPORTHOURS 1 PURGEOLDEXTRACTS :定义自己主动删除过时的队列以节省硬盘空间。一般依照两个规则来删除：首先。要满足检查点要求

初学ogg，基本了解ogg原理及架构之后，趁热打铁，搭建一个简单的学习环境，以实现目标：将sourcedb数据库的2个表：sourceuser.test01和sourceuser.dept通过ogg分别同步到targetdb数据库的targetuser.test01和targetuser.dept表中，要求实现DML(insert、update、delete)同步。 基础环境 源端 目标端 操作系统版本 redhat 6.7 redhat 6.7 数据库版本 11.2.0.4 11.2.0.4 ogg版本 Oracle GoldenGate 11.2.1.0.3 for Oracle 11g on Linux x86-64 Oracle GoldenGate 11.2.1.0.3 for Oracle 11g on Linux x86-64 数据库/实例名称 sourcedb/sourcedb targetdb/targetdb (一)解压软件（源端和目标端执行） [oracle@source-node ogg]$ unzip -q V34339-01.zip [oracle@source-node ogg]$ ls fbo_ggs_Linux_x64_ora11g_64bit.tar Oracle GoldenGate_11.2.1.0.3_README.txt OGG

官方文档：《Oracle Fusion Middleware Supported System Configurations》 https://www.oracle.com/technetwork/middleware/ias/downloads/fusion-certification-100350.html （注：在上边网页中查找GoldenGate，对应xls表格里边就是支持的操作系统和数据库列表） 其他人整理的简易列表： https://blog.51cto.com/maclean/1278283 http://jingpin.jikexueyuan.com/article/54068.html 来源： https://blog.csdn.net/u010024893/article/details/99583884