`
gaojingsong
  • 浏览: 1196871 次
  • 性别: Icon_minigender_1
  • 来自: 深圳
文章分类
社区版块
存档分类
最新评论

【Oracle数据库之Ogg介绍】

阅读更多

Oracle Golden Gate软件是一种基于日志的结构化数据复制备份软件,它通过解析源数据库在线日志或归档日志获得数据的增量变化,再将这些变化应用到目标数据库,从而实现源数据库与目标数据库同步。Oracle Golden Gate可以在异构的IT基础结构(包括几乎所有常用操作系统平台和数据库平台)之间实现大量数据亚秒一级的实时复制,从而在可以在应急系统、在线报表、实时数据仓库供应、交易跟踪、数据同步、集中/分发、容灾、数据库升级和移植、双业务中心等多个场景下应用。同时,Oracle Golden Gate可以实现一对一、广播(一对多)、聚合(多对一)、双向、点对点、级联等多种灵活的拓扑结构



 

1.OGG是数据同步软件,或者说是逻辑复制软件,其竞争对手有IBM CDC,DELL shareplex,DSG,DDS等等。
2.OGG软件是需要安装在操作系统上的,Oracle DB软件没有自带OGG软件(至少目前是这样的)

3.OGG软件有三大进程(说四大进程也行):
  三大进程:源头抽取进程、源头传输进程、目的端应用进程(即:复制进程)
  四大进程:源头抽取进程、源头传输进程、目的端server进程(负责在目的端写入trail文件)、目的端应用进程(即:复制进程)

4.OGG软件有两种trail file
  源头的trail file:由源头抽取进程写入。

  目的端的trail file: 源头传输进程传输到目的端,由目的端的server 进程写入目的端操作系统的指定路径下。

 

5.OGG软件中三大进程都有自己的checkpoint(即:检查点,用来记录每种进程读取到什么位置了,写入到什么位置了)

源头抽取进程:有读取检查点 和写入检查点
源头传输进程:有读取检查点 和写入检查点
目的端应用进程:有读取检查点

6.OGG软件三大进程处理trail file的过程:
源头抽取进程:读取oracle redo log(假设源头数据库是oracle),结合抽取进程的参数文件,将redo log中的内容变为OGG自有格式的文件(即:trail file),并写入到源头操作系统的指定路径下
源头传输进程:读取“源头抽取进程写入的trail file”,结合传输进程的参数文件,发送需要同步的数据到目的端,在目的端是由server 进程负责写入。
目的端应用进程:读取目的端操作系统的指定路径下的trail file,结合应用进程的参数文件,形成sql语句,在目的端db上执行这些sql语句。

 

GoldenGate主要包含Manager进程、Extract进程、Pump进程、Replicat进程,下面对其一一说明:

 

  • Manager进程是GoldenGate的控制进程,运行在源端和目标端上。它主要作用有以下几个方面:启动、监控、重启Goldengate的其他进程,报告错误及事件,分配数据存储空间,发布阀值报告等。在目标端和源端有且只有一个manager进程
  • Extract运行在数据库源端,负责从源端数据表或者日志中捕获数据。Extract的作用可以按照阶段来划分为:
    • 初始时间装载阶段:在初始数据装载阶段,Extract进程直接从源端的数据表中抽取数据
    • 同步变化捕获阶段:初始数据同步完成以后,Extract进程负责捕获源端数据的变化(DML和DDL)
  • Data Pump进程运行在数据库源端,其作用是将源端产生的本地trail文件,把trail以数据块的形式通过TCP/IP 协议发送到目标端,这通常也是推荐的方式。pump进程本质是extract进程的一种特殊形式,如果不使用trail文件,那么extract进程在抽 取完数据以后,直接投递到目标端,生成远程trail文件。
  • Collector进程与Data Pump进程对应 的叫Server Collector进程,这个进程不需要引起我的关注,因为在实际操作过程中,无需我们对其进行任何配置,所以对我们来说它是透明的。它运行在目标端,其 任务就是把Extract/Pump投递过来的数据重新组装成远程ttrail文件。
  • Replicat进程,通常我们也把它叫做应用进程。运行在目标端,是数据传递的最后一站,负责读取目标端trail文件中的内容,并将其解析为DML或 DDL语句,然后应用到目标数据库中。
  • 大小: 206.6 KB
  • 大小: 186.2 KB
0
0
分享到:
评论

相关推荐

    Oracle 19.1.0.4+ogg搭建指南

    以上知识点详细介绍了Oracle数据库与OGG的搭建流程,从环境准备、安装Oracle数据库、设置归档模式,到环境变量配置和OGG的安装配置,为数据库管理员提供了一套完整的指南。在实际操作中,应根据具体环境调整相应配置...

    Oracle 19c 19.1.0.4+ogg搭建完美手册

    OGG **.*.*.*.4是GoldenGate的一个具体版本,支持在Oracle数据库19c环境下运行,可以实现数据的实时捕获和复制。 3. 环境配置与说明: - IP配置:源端数据库和目标端数据库的IP地址分别为***.***.*.**和***.***.*.*...

    Oracle数据库日常运维及应急故障处理手册

    Oracle数据库作为一款高性能的大型关系数据库管理系统,广泛应用于各行业的关键业务中。随着业务规模的扩大和数据量的增长,数据库运维和故障应急处理变得尤为重要。本文档即为Oracle数据库的日常运维及应急故障处理...

    OGG部署详细文档,MySQL to Oracle

    本文档详细介绍了在异构环境下,使用OGG将MySQL数据同步到Oracle数据库的步骤。 一、环境准备 在开始部署OGG之前,需要准备好环境。首先,需要安装Oracle数据库,版本为11.2.0.1.0。然后,需要创建一个名为ogg4...

    OGG实现ORACLE数据到大数据平台KFAKF的实时同步到KUDU数据库

    - **归档模式**:确认Oracle数据库已经开启了归档模式,这是OGG进行实时数据捕获的前提。 - **Forcing Logging和Supplemental Logging**:检查并确保数据库启用了Forcing Logging和Supplemental Logging,这对于...

    oracle ogg原理详解

    - 多数据库平台支持:OGG12.3不仅支持Oracle数据库,还支持其他多种数据库平台,如IBM DB2、Microsoft SQL Server等,使OGG成为一个跨平台的数据复制工具。 - 增强的数据处理功能:包括对复杂数据类型(如JSON、XML...

    Oracle GoldenGate(OGG)微服务架构官网介绍

    微服务化构建的OGG 21.3版本支持多种操作系统和数据库平台,如Linux 86 64位的Oracle(统一构建)、DB2 zOS、MySQL、PostgreSQL以及SQL Server,展示了其跨平台的兼容性。这一变化旨在简化系统管理和提升效率,同时...

    OGG搭建详细步骤(Oracle GoldenGate)

    本文将详细介绍如何在2021年6月的环境中搭建一套单机单的OGG环境,适用于Oracle 11.2.0.4版本的数据库。 **1. OGG 环境准备** 在开始OGG的搭建前,需要确保硬件环境满足要求。对于源端和目标端,都应具备以下配置...

    OGG增量抽取Oracle业务数据到kafka-部署手册.doc

    Kafka 目标端 OGG 安装用于将数据从 Oracle 数据库抽取到 Kafka 中,而 Oracle 目标端 OGG 安装用于将数据从 Oracle 数据库抽取到 Oracle 数据库中。 OGG 源端配置 OGG 源端配置包括源端 Oracle 数据库配置和源端 ...

    oracle ogg kafka 实时同步技术方案 .doc

    Oracle GoldenGate (OGG) 是一款强大的数据复制和实时数据集成工具,它允许在不同的数据库之间进行实时的数据同步。在本技术方案中,OGG 被用来将 Oracle 数据库中的数据实时同步到 Apache Kafka 平台。Kafka 是一个...

    基于Oracle数据库双活方案对比分析.docx

    "基于Oracle数据库双活方案对比分析" 在基于 Oracle 数据库的容灾方案中,双活方案是一种常见的解决方案。那么,什么是双活方案?双活方案是指两个数据中心同时提供业务服务的架构。从 Oracle 数据库的技术来讲,有...

    SqlServer数据库OGG安装部署及数据初始化.docx

    在这个场景中,我们关注的是如何在SQL Server数据库环境下安装配置Oracle GoldenGate(OGG),并将数据从SQL Server实时同步到Oracle数据库。以下是对整个过程的详细说明: 首先,确保你的SQL Server是企业版,并且...

    oracle11g和OGG搭建过程

    在本文中,我们将探讨如何在 CentOS7 操作系统上搭建 Oracle 11g 数据库以及 GoldenGate (OGG)。Oracle 11g 是一个广泛使用的数据库管理系统,而 OGG 则是一个用于实时数据复制和集成的工具。在 CentOS7 上部署这两...

    Oracle升级迁移实战文章和方案文档汇总-共168篇.xlsx

    Oracle数据库三种迁移方案 Oracle DataGuard方式迁移数据库 数据库迁移升级最佳实践9i-10g-11g Oracle ASM扩容&数据迁移文档 06使用XTTS技术进行U2L跨平台数据迁移 Oracle 迁移至 PostgreSQL 在华为 ARM 上的解决...

    1.配置sqlserver2012到oracle的ogg同步复制报告.pdf

    本实验旨在实现从 SQL Server 2012 到 Oracle 数据库的数据同步复制功能,采用 Oracle GoldenGate (OGG) 工具进行搭建与配置。主要目标是测试表数据的 DML (数据操作语言) 同步能力。 #### 实验环境 - **源端(SQL ...

    Win OGG数据库复制及初始化

    Win OGG数据库复制及初始化是指在Windows操作系统下使用Oracle GoldenGate(OGG)软件复制Oracle数据库的过程。下面是相关的知识点: 一、OGG数据库复制的准备工作 1. 用户是否有建表脚本:在使用OGG进行数据库...

    实时处理-ogg实现oracle到kafka的增量数据实时同步

    Oracle GoldenGate (ogg) 是 Oracle 的同步工具,可以实现 Oracle 数据库的实时同步到 Kafka 中。ogg 的主要功能是捕获 Oracle 数据库的变化,并将其实时同步到 Kafka 中。 2. 环境配置 在实现增量数据实时同步...

    oracle海量数据库架构设计.zip

    Oracle数据库系统以其稳定性和可扩展性在业界享有盛誉,尤其在处理海量数据时,其架构设计显得尤为重要。本资料集合包括了Oracle大数据设计架构的理论讲解、Hadoop视频教程以及相关的PPT和代码示例,旨在帮助学习者...

    oracle ogg

    Oracle GoldenGate(简称 OGG)是Oracle公司提供的一款高性能的数据复制解决方案,它能够实现在异构环境下的数据复制,包括不同版本的Oracle数据库之间以及Oracle与非Oracle数据库之间的数据复制。OGG 主要由以下几...

    Oracle 12.2主从数据同步方法

    Oracle 12.2 主从数据同步方法可以实现容器数据库的数据同步,目前只支持 DML 的数据同步,不包含 DDL 的同步。下面将详细介绍 Oracle 12.2 主从数据同步方法的实现步骤。 一、背景 Oracle 12.2 主从数据同步方法...

Global site tag (gtag.js) - Google Analytics