- 浏览: 304310 次
- 性别:
- 来自: 上海
-
文章分类
- 全部博客 (167)
- <HTML and JavaScript and CSS> (6)
- 《Java2 基础知识及概念》 (3)
- Java2 Tools及其他 (11)
- EJB2.0 相关 (3)
- 英语学习 (4)
- Oracle Database Server (27)
- 计算机理论 (9)
- Java持久层框架 (2)
- 《Linux操作系统》 (24)
- 杂项技术 (4)
- Application Server (15)
- Windows操作系统 (7)
- Java中间件 (6)
- 娱乐生活 (4)
- 《Java设计模式》 (3)
- 《Interview Skill》 (1)
- 《Struts原理及应用》 (1)
- Workflow (2)
- 云计算 (3)
- 项目实践 (3)
- WEB相关技术 (10)
- JavaScript技巧及应用 (1)
最新评论
转载：http://edu.codepub.com/2010/0607/23329.php
一、前言
GoldenGate软件是一种基于日志的结构化数据复制软件，它通过解析源数据库在线日志或归档日志获得数据的增量变化，再将这些变化应用到目标数据库，从而实现源数据库与目标数据库同步。GoldenGate 可以在异构的IT基础结构（包括几乎所有常用操作系统平台和数据库平台）之间实现大量数据亚秒一级的实时复制,从而在可以在应急系统、在线报表、实时数据仓库供应、交易跟踪、数据同步、集中/分发、容灾等多个场景下应用。
同时，GoldenGate可以实现一对一、广播(一对多)、聚合(多对一)、双向、点对点、级联等多种灵活的拓扑结构
二、环境要求
1. 支持的平台
支持的Oracle Database 版本
在当前的Oracle GoldenGate 10.4版本中,支持如下Oracle Database版本
Oracle 8i (DML support only)
Oracle 9.1 and 9.2 (DML and DDL support)
Oracle 10.1 and 10.2 (DML and DDL support)
Oracle 11g (DML and DDL support)
支持的操作系统平台
几乎所有主流的操作系统,GoldenGate都支持
Windows 2000, 2003, XP,Linux,Sun Solaris,HP NonStop,HP-UX
2. 操作系统需求
（1）内存要求
GoldenGate对操作系统内存的需求主要取决于Extract和Replicat进程数，一般建议>2G。
（2）DISK空间需求
由于要数据库必须设置为归档模式，所以要求至少保存7天以上的日志，建议剩余空间在10G~100G之间。
（3）对于RAC环境
GoldenGate的相关软件和工作目录需要配置在shared disk环境中,从而保证对所有node都是可用的,从任何一个node都可以启动GoldenGate的进程,当其中一个node出现异常时,可以在剩余的node启动而无须修改任何配置参数。否则如果运行在单个node上的话,需要将剩余node中的归档日志通过一定的技术共享出来并加载到GoldenGate运行节点。
对于RAC环境,GoldenGate要求所有node必须保持时钟同步,同时必须保持所有RAC node和运行extract进程的node节点保持时钟同步。因为GoldenGate会比较本地的系统时间和commit的时间戳。所以不能忽略这个设置。否则可能导致数据复制的紊乱。
3. 数据库需求
（1）数据库客户端
GoldenGate需要安装full Oracle client,以便于GoldenGate程序访问Oracle XDK libraries。
（2）数据库用户
建议使用sys或任何其他具有sysdba/sysasm权限的用户。
（3）数据库配置
对于Source Oracle Database要求，数据库处于归档模式下，打开补充日志，打开force logging
分别配置连接源数据库和目标数据库的主机字符串
建立一个专门的用户如Goldengate来负责将所需的数据同步到远端，而不是用已有的业务用户
这个用户需要哪些权限呢?
Create user goldengate identified by goldengate default tablespace users temporary tablespace temp quota unlimited on users ;
GRANT CONNECT TO goldengate;
GRANT ALTER ANY TABLE TO goldengate;
GRANT ALTER SESSION TO goldengate;
GRANT CREATE SESSION TO goldengate;
GRANT FLASHBACK ANY TABLE TO goldengate;
GRANT SELECT ANY DICTIONARY TO goldengate;
GRANT SELECT ANY TABLE TO goldengate;
GRANT RESOURCE TO goldengate;
GRANT drop ANY TABLE TO goldengate;
GRANT DBA TO goldengate;
注*
补充日志是否打开查询语句：
select supplemental_log_data_min from v$database;
打开补充日志语句：
alter database add supplemental log data;
打开force logging语句：
alter database force logging;
四、配置Golengate
1. 安装goldengate 软件
进入到GoldenGate的安装目录.
c:\gss1\GGSCI
In GGSCI, issue the following command to create the GoldenGate working directories.
GGSCI> CREATE SUBDIRS
Issue the following command to exit GGSCI.
EXIT
2. 配置进程
第一步: 在源数据库和目标数据库分别配置管理进程mgr
GGSCI> edit params mgr
port 7809
(保存退出)
GGSCI> start mgr
Manager started.
GGSCI> info all
ProgramStatus Group Lag ime Since Chkpt
MANAGER RUNNING
(可以正常启动)
第二步：源数据库增加两个进程
*.一般源数据库需要应配置两个进程，一个负责抽取数据(ZLE_01)，另一个负责投递数据(ZLE_02)，默认只支持DML，如果要支持DDL需要执行一些单独的配置。
GGSCI> add extract <group name>, TRANLOG, BEGIN NOW, THREADS <thread number>
其中group name表示这个Extract group的名字
TRANLOG 表示使用事务日志的方式
BEGIN NOW 表示从现在开始,你也可以指定一个具体的开始时间
THREADS 表示从哪个instance上运行,只对RAC环境有用,单机环境比需要指定该Option
(1) 配置抽取进程
我这里是单机环境,extract group name定义为zle_01
GGSCI > DBLOGIN USERID goldengate@orcl1, PASSWORD goldengate
GGSCI > add extract ZLE_01, tranlog,begin now
EXTRACT added.
GGSCI > add RMTTRAIL ./dirdat/ra, extract zle_01, megabytes 50
查看一下刚才定义的这个extract process的结果
GGSCI > info extract zle_01
EXTRACT ZLE_01 Initialized 2010-01-19 11:50 Status STOPPED
Checkpoint Lag 00:00:00 (updated 00:00:22 ago)
Log Read Checkpoint Oracle Redo Logs
2010-01-19 11:50:39 Seqno 0, RBA 0
补充一个命令: info extract zle_01, showch 看的更详细
为该抽取Extract进程配置参数文件，在源数据库执行如下命令
GGSCI> edit param zle_01
增加如下内容
EXTRACT ZLE_01
SETENV (ORACLE_SID=ORCL)
USERID goldengate@ORCL1, PASSWORD goldengate
RMTHOST 192.168.8.1, MGRPORT 9001
RMTTRAIL ./dirdat/ra
TABLE ZLHIS.TEST;
RMTTRAIL告诉extract process需要将trail文件写到哪里
TABLE部分说明我这个Extract 进程只处理ZLHIS用户下的TEST表
好了,到这里就可以启动上面定义的Capture 进程了,执行如下命令
GGSCI> start extract zle_01
Sending START request to MANAGER ('mgr') ...
EXTRACT ZLE_01 starting
GGSCI>
Verify the results:
GGSCI> info EXTRACT ZLE_01, DETAIL
GGSCI> view REPORT ZLE_01
GGSCI> info extract ZLE_01
好了,到这里就完成了一个最简单的抽取Extract process的配置并启动，下面来配置投递Extract process进程。
(2) 配置投递进程
在Source系统执行如下命令
GGSCI> ADD EXTRACT ZLE_02, EXTTRAILSOURCE ./dirdat/ra, BEGIN now
GGSCI> ADD RMTTRAIL ./dirdat/la, EXTRACT ZLE_02
*(./dirdat/la为远端接收目录,必须存在)
GGSCI> edit params zle_02
添加内容如下：
extract ZLE_02
dynamicresolution
PASSTHRU
rmthost 192.168.8.2, mgrport 9001, compress
rmttrail ./dirdat/la
numfiles 3000
TABLE ZLHIS.TEST ;
GGSCI> start extract zle_02
Sending START request to MANAGER ('mgr') ...
EXTRACT ZLE_02 starting
查看下状态：
GGSCI> info all
Program Status Group Lag Time Since Chkpt
MANAGER RUNNING
EXTRACT RUNNING ZLE_01 00:00:00 00:00:05
EXTRACT RUNNING ZLE_02 00:00:00 00:00:07
(3) 配置接收进程
在目标系统(Target system)上执行如下命令增加一个复制组(Replicat Group)
GGSCI > DBLOGIN USERID goldengate@orcl2, PASSWORD goldengate
GGSCI>add replicat ZLR_01, EXTTRAIL ./dirdat/la , nodbcheckpoint
注,我这个中配置Extract process那个示例对应的,所以这里的exttrail文件名正好是Extract process中定义的RMTTRAIL ./dirdat/la这点需要大家注意.
GGSCI> edit param ZLR_01
增加如下内容并保存退出
REPLICAT ZLR_01
SETENV (ORACLE_SID=ORCL)
USERID goldengate@ORCL2, PASSWORD goldengate
HANDLECOLLISIONS
ASSUMETARGETDEFS
allownoopupdates
dynamicresolution
numfiles 3000
DISCARDFILE ./dirrpt/ ZLR_01.DSC,append,megabytes 10
map ZLHIS.TEST , target ZLHIS.TEST ;
在Target系统中,执行如下命令
GGSCI> start replicat ZLR_01
Verify the results:
GGSCI> info replicat ZLR_01
REPLICAT ZLR_01 Last Started 2010-01-19 13:50 Status RUNNING
Checkpoint Lag 00:00:00 (updated 00:00:03 ago)
Log Read Checkpoint File ./dirdat/la000000
First Record RBA 0
查看下状态：
GGSCI> info all
Program Status Group Lag Time Since Chkpt
MANAGER RUNNING
REPLICAT RUNNING ZLR_01 00:00:00 00:00:09
五、测试效果
在源数据库分别插入、修改、删除一条数据。查看抽取进程状态：
GGSCI> stats ZLE_01
Sending STATS request to EXTRACT ZLE_01 ...
Start of Statistics at 2010-01-26 02:53:01.
Output to ./dirdat/ra:
Extracting from ZLHIS.TEST to ZLHIS.TEST:
*** Total statistics since 2010-01-26 02:15:01 ***
Total inserts 1.00
Total updates 1.00
Total deletes 1.00
Total discards 0.00
Total operations 3.00
*** Daily statistics since 2010-01-26 02:15:01 ***
Total inserts 1.00
Total updates 1.00
Total deletes 1.00
Total discards 0.00
Total operations 3.00
*** Hourly statistics since 2010-01-26 02:15:01 ***
Total inserts 1.00
Total updates 1.00
Total deletes 1.00
Total discards 0.00
Total operations 3.00
*** Latest statistics since 2010-01-26 02:15:01 ***
Total inserts 1.00
Total updates 1.00
Total deletes 1.00
Total discards 0.00
Total operations 3.00
End of Statistics.
可以看到已经有记录，而且已经抽取成功，再查看投递进程，
GGSCI> stats ZLE_02
Sending STATS request to EXTRACT ZLE_02 ...
Start of Statistics at 2010-01-26 03:04:13.
Output to /u01/ggs/dirdat/re:
Extracting from ZLHIS.TEST to ZLHIS.TEST:
*** Total statistics since 2010-01-26 02:14:25 ***
Total inserts 1.00
Total updates 1.00
Total deletes 1.00
Total discards 0.00
Total operations 3.00
*** Daily statistics since 2010-01-26 02:14:25 ***
Total inserts 1.00
Total updates 1.00
Total deletes 1.00
Total discards 0.00
Total operations 3.00
*** Hourly statistics since 2010-01-26 03:00:00 ***
No database operations have been performed.
*** Latest statistics since 2010-01-26 02:14:25 ***
Total inserts 1.00
Total updates 1.00
Total deletes 1.00
Total discards 0.00
Total operations 3.00
End of Statistics.
切换到目标数据库环境，同样查看接受应用进程。
GGSCI > stats ZLR_01
Sending STATS request to REPLICAT ZLR_01 ...
Start of Statistics at 2010-01-26 05:58:36.
Replicating from ZLHIS.TEST to ZLHIS.TEST:
*** Total statistics since 2010-01-26 04:46:57 ***
Total inserts 1.00
Total updates 1.00
Total deletes 1.00
Total discards 0.00
Total operations 3.00
*** Daily statistics since 2010-01-26 04:46:57 ***
Total inserts 1.00
Total updates 1.00
Total deletes 1.00
Total discards 0.00
Total operations 3.00
*** Hourly statistics since 2010-01-26 05:00:00 ***
Total inserts 0.00
Total updates 1.00
Total deletes 1.00
Total discards 0.00
Total operations 2.00
*** Latest statistics since 2010-01-26 04:46:57 ***
Total inserts 1.00
Total updates 1.00
Total deletes 1.00
Total discards 0.00
Total operations 3.00
End of Statistics.
六、总结
以上只是记录了对于GoldenGate软件测试的一小部分，总体感觉GoldenGate同Oracle的流复制非常类似，但又有所不同，对比其各自的应用，各有有缺点：
优点：
1． 安装、配置简单。
2． 管理维护相对直观，通过其自带的Oracle Management Pack for Oracle GoldenGate管理工具，能够对其进行图形化界面的管理。
3． 支持异构复制，如不同用户，不同数据库平台的复制，这也是其亮点所在。
4． 未来发展潜力还是很看好。
缺点：
1． 官方的软件目前都只支持64位系统。
2．由于是第三方工具，对环境要求比较高，特别是在LINUX环境下，对操作系统的字符集有所要求，主要是我们系统中的表名都是中文，必须要其对中文的支持。
3．在进行应用进程的参数配置时候发现，对于特别多的表复制，暂时不清楚GoldenGate是否有限制，因为启动的时候，我配置参数对ZLHIS所有表进行复制的时候，会提示“”错误，但是如果只对少数表或者单个表复制的时候，又不出现该提示，这个问题正在核实。
4． 目前网上能查询到的资料相当有限，普及率不是很高。
综上所述，GoldenGate同流复制比较起来的亮点还是在异构上，不过Oracle官方的说法是以后一流的Streams技术将被集成到GoldenGate中，这也是其发展的趋势，其价值对于我们用户的应用来说，还是很值得继续深入研究。
5.oracle官方解释，goldengate暂时不支持中文表名！悲剧
发表评论
文章已被作者锁定，不允许评论。
-
Oracle忘记数据库密码
2011-07-01 23:45 772alter user xxx identified by xx ... -
Oracle内存全面分析
2010-07-07 16:49 858http://www.hellodba.com/Doc/ora ... -
(15)Managing User
2010-07-07 13:59 846SQL> alter user xxx quo ... -
(14) Managing Password Security and Resources
2010-07-07 13:59 760Password Management SQL> ... -
(13) Managing Data Integrity
2010-07-07 13:58 752... -
(12) Managing Indexes
2010-07-07 13:58 743a -
(11)Managing Table
2010-07-07 13:57 812Storing User Data(1) Regular t ... -
(10) Managing Undo Data
2010-07-07 13:56 801show parameter undo; ... -
(9) Storage Structure and Relationships
2010-07-07 13:55 982Extent Allocat ... -
(8) Managing Tablespaces and Data files
2010-07-07 13:55 1103SQL> select * from v$tabl ... -
(7) Maintaining Redo Log Files
2010-07-07 13:54 1147SQL> select * from v$lo ... -
(6) Maintaining Control file
2010-07-07 13:54 712select * from v$database; se ... -
(5)Data Dictionary Content and Usage
2010-07-07 13:53 1017Data Dictionary(1) Data Dictio ... -
（4）Create a Database
2010-07-07 13:52 816Operating System EnvironmentOR ... -
(3)Manage a Oracle Instance
2010-07-07 13:39 814Init Parameter Start Sequences ... -
（2）Getting Start With the Oracle Server
2010-07-07 11:24 802Interactive Installation$ ./r ... -
《Oracle视频教程》
2010-07-07 11:23 22481. Oracle Architectural Compone ... -
Oracle EXP/IMP命令详解
2010-07-07 10:01 1078EXP命令 格式: EXP KEYWORD=value ... -
Oracle EXP Direct
2010-07-07 10:00 1242Oracle提供2种模式导出表数据，传统模式CONVENTIO ... -
EXPDP和IMPDP使用说明
2010-07-07 09:53 1051EXPDP命令行选项 1. ATTACHexpd ...
相关推荐
Oracle GoldenGate是一款强大的数据复制和实时数据集成工具，主要用于实现数据库间的实时同步和数据迁移。在Oracle GoldenGate 12.2.0.2.2版本中，它为Linux x86-64架构提供了全面的支持，确保在64位Linux环境中高效...
Oracle GoldenGate 是一款高效的数据复制解决方案，用于实现企业级数据实时同步、灾备以及数据分析。在Oracle数据库环境中，它能够捕获、传输和应用数据库更改，确保数据的一致性和完整性。Oracle GoldenGate 提供了...
Oracle GoldenGate是一款强大的数据复制软件，用于实时数据集成和数据迁移。在10g版本中，它提供了高效、低延迟的数据复制解决方案，适用于各种复杂的数据库环境。以下是对Oracle Goldengate 10g安装和配置过程的...
Oracle GoldenGate 是一款广泛使用的数据集成解决方案，它用于实时数据集成和实时数据复制。根据提供的文件内容，以下是一些关于Oracle GoldenGate的运维规范知识点： 1. 运维规范：规范通常是一套详细的规则和标准...
Oracle GoldenGate 是一款实时数据集成和复制软件，它提供一种低开销、高效的方式来同步异构数据库系统之间的数据。它广泛用于数据仓库、灾难恢复、业务连续性以及实时报告等场景。接下来，我们将详细介绍Oracle ...
Oracle GoldenGate是一款高级的数据复制和实时数据集成工具，主要用于实现数据库间的实时同步。在这个特定的版本V11.1.1.1.2中，它专门针对SQL Server数据库，并且适用于Windows XP、2003和2008操作系统（64位版本）...
Oracle GoldenGate是一款高级的数据复制工具，它用于实现实时或近实时的数据迁移、备份和灾难恢复。在Windows平台上配置双向数据传输，确保源数据库和目标数据库之间的数据一致性至关重要。以下是对Oracle ...
Oracle GoldenGate是Oracle公司的一款实时数据复制软件，用于实现数据库之间的低延迟、高可用性和灾难恢复。这本书的源代码可能包含了设置GoldenGate环境、配置数据抽取、数据泵送、数据复制以及解决各种问题的脚本...
### Oracle Goldengate TDM软件监控与运维指南 #### 1. 引言 ##### 1.1 概述 本指南旨在为Oracle GoldenGate TDM（Transaction Data Manager）软件的监控与日常维护提供全面的技术指导。Oracle GoldenGate是一款...
* GoldenGate 的容灾解决方案主要包括灾难恢复、数据备份和数据归档等功能。 * GoldenGate 可以实现实时数据同步，确保数据的安全和一致性。 * GoldenGate 的容灾解决方案可以应用于各种灾难恢复场景，例如自然灾害...
- **定期备份**：为GoldenGate的配置文件和跟踪文件做备份，以防意外丢失。 - **性能优化**：调整GoldenGate参数以适应特定环境，如缓冲区大小、批处理大小等。 - **故障排查**：建立有效的错误处理机制，通过...
1. **硬件与软件准备**: 根据测试需求，确保所有硬件设备符合最低配置要求，并安装好所需的软件环境，包括操作系统、数据库、GoldenGate等。 2. **网络连接**: 配置好服务器间的网络连接，确保网络通畅无阻。 3. **...
Oracle GoldenGate是一种基于日志的结构化数据复制备份软件，可以实现异构系统间基于日志的实时数据同步。使用Oracle GoldenGate，可以实现经济高效、低影响的实时数据集成和持续可用性解决方案。 Oracle ...
最后，"191004_fbo_ggs_Linux_x64_shiphome" 是实际的安装包文件，这表明它是针对64位Linux系统的Oracle GoldenGate软件分发版。这个文件通常包括了所有必要的二进制文件、配置脚本、示例文件和库，用户需要将它解压...
Oracle GoldenGate是一款强大的数据复制工具，它用于实现数据库间的实时或准实时同步。在Oracle数据库环境中，归档日志是数据库事务恢复的关键组件，尤其是在Oracle GoldenGate同步服务中，归档日志的管理至关重要。...
Oracle GoldenGate是甲骨文公司推出的一款用于异构环境下的实时数据复制解决方案，它支持多种数据源和目标端数据库系统，能够实现在不同数据库平台间的高效数据同步和复制。以下是该技术方案的一些详细知识点： 1. ...
为了正确安装和配置Oracle GoldenGate，用户需要按照文档中的指示进行，包括安装软件、创建进程定义、配置参数文件、启动和监控进程等步骤。同时，需要注意的是，由于Oracle GoldenGate涉及到数据库级别的操作，因此...
Oracle Goldengate是一款高效的数据复制解决方案，主要用于实现数据库之间的实时数据同步和备份。这款软件能够以极低的系统开销实现实时复制数据库，从而提高数据的可用性和系统的不间断运行能力，尤其适合需要高...
Oracle 公司在收购了 GoldenGate 之后，对产品进行了重新整合，以提供跨企业的实时数据及灾难备份需求的解决方案。 Oracle GoldenGate 技术原理简介 GoldenGate 的数据复制实现原理是基于交易数据管理...