XLogMiner

pg数据库日志挖掘WalMiner

大憨熊 提交于 2020-08-15 15:27:38
WalMiner [TOC] WalMiner是从PostgreSQL的WAL(write ahead logs)日志中解析出执行的SQL语句的工具,并能生 成出对应的undo SQL语句。 reference XlogMiner renamed to WalMiner XlogMiner Enhancements Released and Renamed to WalMinerPosted on 2019-02-22 by Highgo Software reference XLogMiner reference WalMiner 注意:walminer是Highgo开源的一款软件。HGDB所有版本均支持walminer。 walminer安装 reference WalMiner 1 配置要求 需要将数据库日志级别配置需要大于minimal 创建归档路径 mkdir /home/hgdb565/archive/ -p 必须设置如下三个参数,据库日志级别配置需要大于minimal wal_level minimal, archive, hot_standby, or logical ,若想做最完整的日志挖掘,建议设 置为logical。 alter system set wal_level = 'logical'; alter system set archive_mode =

PG wal日志解析工具功能增强并更名为WalMiner

谁说我不能喝 提交于 2019-12-07 17:17:37
使用软件遇到问题可先更新代码(欢迎提交bug)~~ 开发群组:811105058欢迎任何使用者 XlogMiner是从PostgreSQL的WAL(write ahead logs)日志中解析出执行的SQL语句的工具,并能生成出对应的undo SQL语句。此版本使用限制较大,需要将wal级别设置为logical,而且需要将表设置为IDENTITY FULL模式。这会加剧wal日志的膨胀,降低数据库性能。为迎合PG日志名称的改变,现将XlogMiner改名为WalMiner。新的开源地址为: https://gitee.com/movead/XLogMiner WalMiner功能增强 1.WalMiner支持解析minimal级别以上的任何wal日志级别。 2.无需将表设置为IDENTITY FULL模式。 3.增加对系统表修改的wal记录的解析。 4.修复发生relfilenode变化后,异库解析失败的bug。 WalMiner带来的新的限制 walminer可以完整的解析出给定的wal日志中第一个checkpoint点之后的所有wal记录。第一个checkpoint点之前的delete和update记录可能会解析失败,如下。 UPDATE "public"."t1" SET VALUES(NULL) (NOTICE:wal is not enought.);