ITPUX技术网

交流 . 资讯 . 分享
Make progress together!
Linux操作系统下Oracle11g R2 RAC 安装配置教程
Oracle数据库培训-备份恢复-性能优化-集群容灾
Oracle数据库DBA高级工程师培训视频

Oracle GoldenGate 12c版本18个新功能全面曝光_详解OGG 12c新特性

内容发布:风哥| 发布时间:2016-3-28 22:25:49
Oracle GoldenGate 12c版本18个新功能全面曝光_详解OGG 12c新特性
Oracle GoldenGate现在可以帮助企业在传统数据库和云平台、大数据平台之间进行实时复制。新的OGG 12c支持更多的异构数据库和大数据平台,进一步提升可管理性和对混合云的支持。主要新特性如下:

1、一个新的streams迁移工具: Streams2OGG,帮助streams用户迁移到OGG平台,利用OGG当前的集成捕获和冲突管理等新功能;

2、支持IBM informix:OGG 12c现在支持从informix数据库抽取数据或把informix做为目标端,主要支持的版本为informix较新的版本,包括:11.5, 11.7, 12.1。此次发布的版本支持压缩表、加密字段、fragmentedtables等。

3、支持ms sql server 2012/2014及mysql社区版;

4、支持socks5通信协议,用户现在可以使用socks兼容的协议进行数据传输,比如在没有VPN网络的内网和云平台之间进行数据传输;

5、支持大数据:OGG for java adapter可与oracle NoSQL,Hadoop, HDFS, HBase, Storm, Flume, Apache Kafka等平台进行实时的数据集成,实现大数据平台的实时加载和分析;

6、不一致数据的自动修复:在不中断业务的情况下,除提供异构数据库之间的数据对比和报告之外,GoldenGate Veridata 12c也提供数据修复和再校验功能;

7、支持从ADG(Oracle Active Data Guard)进行数据捕获,从一个ADGstandby数据库抽取数据,而不是直连生产库,进一步降低对生产库的影响;

8、增强的管理和监控:使用ogg plug-in for OEM(oracle enterprisemanager),可以在OEM界面中实现GoldenGate的启停、编辑参数文件、查看运行日志等功能,从而在一个管理界面中实现与DB、中间件等产品统一运维;

9、由于oracle 12c已经是多租户架构,在使用OGG同步的时候,需要考虑下面一些情况:
9.1、一个 CDB包含多个PDB,源端部署的一个extract可访问所有pdb redo,理论上不需要每个pdb单独配置extract.
9.2、抽取模式只能是integrated(集成)模式,不支持claasic capture传统方式捕获;
9.3、因为要使用integrated extract,因此,需要能访问logmining server,而这个只能从cdb$root中访问;
9.4、源端要使用common user,即c##ogg这种用户来访问源端DB,这样能访问DB的redo log & all pdbs。
9.5、在GGSCI或参数文件中,可以使用pdb.schema.table来访问具体的表或序列;
9.6、可以在参数文件 中使用sourceCatalog参数,指定一个PDB,后面的参数中只需要schema.table即可;
9.7、目标端每个pdb要有一个replicat进程,即一个replicat进程只能投递到一个PDB,不能投递到多个。
9.8、源端OGG用户需要赋权:dbms_goldengate_auth.grant_admin_privilege(‘C##GGADMIN’,container=>‘all’),同时建议将ogg的用户设置赋权为:grantdba to c##ogg container=all;
9.9、源端DB除了以前要打开归档, force logging, 最小附加日志,可能还需要打开一个开关:altersystem set enable_goldengate_replication=true;
extract示例:
EXTRACT ex1 SETENV (ORACLE_SID='oradb')
userid c##ogg@oradb, password ogg

EXTTRAIL ./dirdat/lt
TABLE pdb1.schema1.table*;
SOURCECATALOG pdb2
TABLE schema2.table*;
TABLE schema3.table*;
SOURCECATALOG pdb3
TABLE schema4.table*;
add extract之后,还需要
register extract ex12c database container(pdb1, pdb2, pdb3)

pump示例:
EXTRACT dp1
SETENV (ORACLE_SID='oradb')
userid c##ogg@oradb, password ogg
RMTHOST orasql-test, MGRPORT 7809  
RMTTRAIL ./dirdat/rt
TABLE pdb1.schema1.table*;
SOURCECATALOG pdb2
TABLE schema2.table*;
TABLE schema3.table*;
SOURCECATALOG pdb3
TABLE schema4.table*;

replicat示例:
REPLICAT rep1
SETENV (ORACLE_SID='condb2')
DBOPTIONS INTEGRATEDPARAMS(parallelism 6)
USERID C##ogg@tgt_pdb1, PASSWORD welcome1
ASSUMETARGETDEFS
MAP pdb1.schema1.table*, targetschema1.table*;
MAP pdb3.schema4.table*, targetschema1.table*;
sourceCatalog
MAP schema2.table*, target schema1.table*;
MAP schema3.table*, target schema1.table*;

10. 异构配置加强
不在需要sourceDefs和AssumeTargetDefs文件,在队列文件中已经包含metadata信息,比如table name, column name, column type等,进一步降低OGG在异构环境下配置的工作量;

11. 内置心跳表
在早期的OGG版本中,如果要监控进程的延迟状态,需要手工创建心跳表,现在通过配置就可以启用心跳表监控功能,
在GGSCI中addheartBeatTable即可。此时,会自动创建心跳配置表和视图,所有OGG进程默认每60秒更新一次数据。创建的其中一个视图是GG_LAG,里面有一个字段Incoming_LAG,可以看到本地DB提交时间和远端DB投递时的延时;同时,也支持双向复制,里面有一个outGoing_Lag字段,可以看到源DB产生心跳时间及目标DB接收到心跳时间的时间差。GG_HEARTBEAT是主要的配置表,其它视图基本上根据此表创建,里面有记录各组件的延迟信息,包括抽取、传输和投递进程。因此,很容易通过分析此表的信息就可以知道性能瓶颈在哪。历史延迟和心跳信息保存在GG_LAG_HISTORY和GG_HEARTBEAT_HISTORY表中。

12. 参数文件校验及运行时获取环境参数 - chkprm, info param, getParamInfo
  在12.2中,启动进程之前,可以使用checkprm检查参数的合法性;
  info param可以返回一个进程的多个信息,包括默认值,合法的取值范围等,相当于在GGSCI中查看OGG的在线帮助;
  当一个进程在运行时,可以使用send procname getParamInfo查看进程运行时的环境参数,不仅是进程中包含的参数,还包括进程运行需要的其它环境参数等信息,特别是可以查看一些运行时默认设置的参数变量。

13. 加强的数据测量和性能监控。
  ogg 12.2可以通过RESTFUL web service,支持对抽取、传输和投递进程的实时度量。针对抽取和投递进程的实时数据库及队列统计,针对传输进程的队列和网络统计。访问方式如下:
http://<hostname>:<manager port>/groups
前提是需要在GLOBALS文件中添加ENABLEMONITORING参数。并在GGSCI中createdatastore.

14. GoldenGate Studio
  在12.2中,有一个工具平台叫GoldenGateSTUDIO,一个图形化的界面,帮助快速配置和部署OGG。通过鼠标点击和拖拉实现OGG部署,而不用关心底层细节。OGG studio的思路是,首先会有一个项目,然后里面包括多个解决方案,每个解决方案包括多个逻辑设计及多种物理部署。OGG studio默认已经带了多个开箱即用的方案模板,比如级联、双向、单向、一对多等复制拓扑,方便更快速的OGG部署。最后,OGG studio允许设计一次,即可部署到多套环境中,比如开发、测试、QA、生产等,只需要一键点击即可部署。

15. GoldenGate 云服务
  OGG云服务会是公开的、基于云平台提供订阅或按小时服务。OGG云服务可以帮助企业在内网和云平台之间进行实时数据复制,包括oracle db和非oracle db。同时ogg云服务也支持投递数据到Hadoop或NoSQL等大数据平台。

16. 9位数字的队列文件。
  在12.2中,默认创建的队列文件是9位数字,而不是以前版本的6位。这样,队列文件的数量提高了1000倍,相当于每个队列前缀支持10亿个文件。同时,可以更新现有的6位文件格式到9位,使用安装目录下的convchk程序即可;当然,也可以在GLOBALS中添加TRAIL_SEQLEN_6D参数,以提供后向兼容功能,即只有6位数字。

17. 改进的队列文件修复技术。
  在早期的OGG版本中,如果一个队列文件丢失或损坏,则投递进程失败。在12.2中,如果队列文件有损坏或丢失,则可以重启传输进程,此时,会重建队列文件;同样的原理,也可以通过抽取进程重建源端的队列文件。投递进程会自动过滤掉已经投递过的重复记录。


18针对Oracle数据库

18.1. 与Oracle RAC无缝集成。
  在早期的OGG版本中,使用Grid Infrastructure Agent (XAG)在RAC中提供高可用,必须使用AGCTL控制OGG的启动和停止,而不能在GGSCI中使用start/stop命令。在12.2中,一旦使用AGCTL命令向RAC注册了OGG实例,我们仍然可以在GGSCI中使用start/stop命令。同时,GLOBALS参数中可以使用一个新的参数:XAG_ENABLE。

18.2. 新增同步表与datapump集成。
  在早期的OGG版本中,如果要新增同步的表,需要从v$database中获取current_SCN值,然后在expdb中将SCN传递给flashback_scn参数,然后再使用startreplicat, aftercsn xxx。在12.2中,add trandata或add schemaTrandata会自动将这些表的状态准备好。expdp在导出时,会添加SCN到对应的表中,此时,只需要在replicat进程使用DBOPTIONS_ENABLE_INSTANTIATION_FILTERING参数,即可自动过滤SCN之前的DML和DDL操作。

18.3. 支持invisible(不可见)列。
  OGG 12.2中新的MAPINVISIBLECOLUMNS参数,使用集成抽取支持oracledb中不可见列的数据复制。

18.4. 支持DDL同步中源和目标的表结构不同
  在旧版本的OGG中,如果要进行DDL同步,两端的表结构必须相同,而在最新的12.2中,允许源和目标端的表结构不同,而且支持2个以上的DB进行DDL同步。当然,DDL的同步仍然只支持ora-ora, teradata-teradata.

针对SQL Server
    支持从远端只读归档(ALO)捕获数据
    SQL Server标准版的捕获及投递
    SQL Server 2014 Compressed Log backups
    支持在字段级别指定字符集

针对Teradata
    Replicat进程现在可以处理truncates操作
    支持在字段级别指定字符集Column level character sets
    该版本以后的OGG不再支持从Teradata捕获数据

针对DB2 LUW
    支持在字段级别指定字符集
    临时表支持





上一篇:Goldengate同步软件PPT
下一篇:oracle goldengate 12c由ADG抽取数据的配置参数
专业提供Oracle数据库服务、主机、存储、备份、中间件等相关技术支持服务,QQ号:176140749
关注ITPUX技术网微信公众号itpux_com  ,了解本站最新技术资料的分享.

欢迎加QQ群,提供超多高质量Oracle/Unix/Linux技术文档与视频教程的下载。

Oracle/Linux/Unix群1-4:199479729   158277749   336282998   189070296   
Oracle/Linux/Unix群5-8:150201289   244609803   522261684   522651731
备注:请勿重复加群,另请注明 from itpux

加群分享视频教程部分如下:
1、51CTO学院Oracle DBA数据库高级工程师培训(高薪就业.课程介绍)
http://edu.51cto.com/course/course_id-8471.html

2、Oracle DBA数据库高级工程师职业学习指南与职业规划视频课程(免费)
http://edu.51cto.com/course/course_id-7015.html

3、Oracle DBA数据库高级工程师培训视频课程(系列60多套+七大阶段+上千案例)
套餐视频地址: http://edu.51cto.com/pack/view/id-739.html
学习线路图: http://edu.51cto.com/roadmap/view/id-107.html
回复

使用道具 举报

内容发布:邵彦彦| 发布时间:2017-5-10 22:03:10
好好学习下,好好学习天天向上
回复 支持 反对

使用道具 举报

1框架
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

快速回复 返回顶部 返回列表