oracle数据库同步技术

 

oracle数据库同步技术

 

高级复制

 

  什么是复制？简单地说复制就是在由两个或者多个数据库系统构成的一个分布式数据库环境中拷贝数

 

  据的过程。

 

  高级复制，是在组成分布式数据库系统的多个数据库中复制和维护数据库对象的过程。

 

    Oracle 高级复制允许应用程序更新数据库的任何副本，并将这些更改自动传递到其他数据库，

 

    同时确保全局事务处理的一致性和数据完整性。

 

  同步复制，复制数据在任何时间在任何复制节点均保持一致。

 

    如果复制环境中的任何一个节点的复制数据发生了更新操作，

 

    这种变化会立刻反映到其他所有的复制节点。

 

    这种技术适用于那些对于实时性要求较高的商业应用中。

 

  异步复制，所有复制节点的数据在一定时间内是不同步的。

 

    如果复制环境中的其中的一个节点的复制数据发生了更新操作，

 

    这种改变将在不同的事务中被传播和应用到其他所有复制节点。

 

    这些不同的事务间可以间隔几秒，几分种，几小时，也可以是几天之后。

 

    复制节点之间的数据临时是不同步的，但传播最终将保证所有复制节点间的数据一致。

 

 

 

一、实现数据库复制的前提条件

 

1、数据库支持高级复制功能

 

  您可以用system身份登录两个数据库（所有的数据库都需要做下面的设置），查看v$option视图，

 

  如果其中Advanced replication为TRUE，则支持高级复制功能；否则不支持。

 

  查询语句：

 

  select * from v$option where PARAMETER='Advanced replication';

 

2、数据库初始化参数要求

 

①、db_domain = test.com.cn

 

  所有数据库的db_domain名称应该相同，只有db_name不同。

 

  指明数据库的域名(默认的是WORLD)，这里可以用您公司的域名。

 

②、global_names = true

 

  查询语句：

 

  show parameter global_names;

 

  修改语句：

 

  alter system set global_names=true;

 

③、有跟数据库job执行有关的参数

 

  job_queue_processes = 1

 

  show parameter job_queue_processes;

 

  alter system set job_queue_processes = 20;

 

 

 

  job_queue_interval = 60

 

  alter system set "_job_queue_interval"=60 scope=spfile;

 

  /* 注意scope=spfile的参数都需要重启实例方能生效 */

 

 

 

第一行定义SNP进程的启动个数为n。系统缺省值为0，正常定义范围为0～36，根据任务的多少，可以配置不同的数值。

 

第二行定义系统每隔N秒唤醒该进程一次。系统缺省值为60秒，正常范围为1～3600秒。事实上，该进程执行完当前任务后，就进入睡眠状态，睡眠一段时间后，由系统的总控负责将其唤醒。

 

如果修改了以上这几个参数，需要重新启动数据库以使参数生效。

 

 

 

二、实现数据库同步复制的步骤(216复制数据到217)

 

 

 

  假设在Internet上我们有两个数据库：一个叫orcl216，一个叫orcl217。

 

  具体配置见下表：

 

  数据库名 orcl216  orcl217  

 

  数据库域名 test.com.cn test.com.cn

 

  数据库sid号 orcl216  orcl217  

 

  Listener端口号 1521 1521

 

  服务器ip地址 192.168.1.216 192.168.1.217

 

 

 

1、确认两台数据库之间可以互相访问，在tnsnames.ora里设置数据库连接字符串。

 

①、例如：orcl216这边的数据库连接字符串是以下的格式

 

  orcl217  =

 

    (DESCRIPTION =

 

      (ADDRESS_LIST =

 

        (ADDRESS = (PROTOCOL = TCP)(HOST = 192.168.1.217)(PORT = 1521))

 

      )

 

      (CONNECT_DATA =

 

        (SERVICE_NAME = orcl217.test.com.cn)

 

      )

 

  )

 

  运行$tnsping orcl217  

 

  出现以下提示符：

 

  Attempting to contact (ADDRESS=(PROTOCOL=TCP)(HOST=10.1.1.200)(PORT=1521))

 

  OK（n毫秒）

 

  表明orcl216数据库可以访问orcl217数据库。

 

②、在orcl217那边也同样配置，确认$tnsping orcl216是通的。

 

 

 

 

 

2、改数据库全局名称，建公共的数据库链接。

 

①、用system身份登录orcl216数据库

 

  SQL>alter database rename global_name to orcl216.test.com.cn;

 

 

 

  用system身份登录orcl217数据库：

 

  SQL>alter database rename global_name to orcl217.test.com.cn;

 

 

 

②、用system身份登录orcl216数据库

 

  SQL>create public database link orcl217.test.com.cn using 'orcl217';

 

  测试数据库全局名称和公共的数据库链接

 

  SQL>select * from [e-mail];

 

  返回结果为orcl217.test.com.cn就对了。

 

 

 

  用system身份登录orcl217数据库：

 

  SQL>create public database link orcl216.test.com.cn using 'orcl216';

 

  测试数据库全局名称和公共的数据库链接

 

  SQL>select * from [e-mail];

 

  返回结果为orcl216.test.com.cn就对了。

 

 

 

3、建立管理数据库复制的用户repadmin，并赋权。

 

  删除用户语句：

 

  drop user repadmin cascade;（备用的）

 

①、用system身份登录orcl216数据库

 

  SQL>create user repadmin identified by repadmin default tablespace users temporary   tablespace temp;

 

  SQL>execute dbms_defer_sys.register_propagator('repadmin');

 

  SQL>grant execute any procedure to repadmin;

 

  SQL>execute dbms_repcat_admin.grant_admin_any_repgroup('repadmin');

 

  SQL>execute   dbms_repcat_admin.grant_admin_any_schema(username=>'"REPADMIN"');

 

  SQL>grant comment any table to repadmin;

 

  SQL>grant lock any table to repadmin;

 

  SQL>grant select any dictionary to repadmin;

 

②、同样用system身份登录orcl217数据库，运行以上的命令，

 

  管理数据库复制的用户repadmin，并赋权。

 

  说明：repadmin用户名和密码可以根据用户的需求自由命名。

 

 

 

4、在数据库复制的用户repadmin下创建私有的数据库链接。

 

①、用repadmin身份登录orcl216数据库

 

  SQL>create database link orcl217.test.com.cn connect to repadmin identified by repadmin;

 

  测试这个私有的数据库链接：

 

  SQL>select * from [e-mail];

 

  返回结果为orcl217.test.com.cn就对了。

 

 

 

②、用repadmin身份登录orcl217数据库

 

  SQL>create database link orcl216.test.com.cn connect to repadmin identified by repadmin;

 

  测试这个私有的数据库链接

 

  SQL>select * from [e-mail];

 

  返回结果为orcl216.test.com.cn就对了。

 

 

 

5、创建或选择实现数据库复制的用户和对象，给用户赋权，数据库对象必须有主关键字。

 

  假设我们用ORACLE里举例用的reporacle用户，dept表。

 

①、用sys身份登录orcl216数据库，创建reporacle用户并赋权

 

  SQL>create user reporacle identified by reporacle default tablespace users temporary   tablespace temp;

 

  SQL>grant connect, resource to reporacle;

 

  SQL>grant execute on sys.dbms_defer to reporacle;

 

②、用reporacle身份登录orcl216数据库，创建表dept

 

  SQL>create table dept

 

    (deptno number(2) primary key,

 

    dname varchar2(14),

 

    loc varchar2(13) );

 

③、如果数据库对象没有主关键字，可以运行以下SQL命令添加：

 

  SQL>alter table dept add (constraint dept_deptno_pk primary key (deptno));

 

④、在orcl216数据库reporacle用户下创建主关键字的序列号，

 

  范围避免和orcl217的冲突。

 

  SQL> create sequence dept_no increment by 1 start with 1 maxvalue 44 cycle nocache;

 

  (说明：maxvalue 44可以根据应用程序及表结构主关键字定义的位数需要而定)

 

⑤、在orcl216数据库reporacle用户下插入初始化数据

 

  SQL>insert into dept values (dept_no.nextval,'accounting','new york');

 

  SQL>insert into dept values (dept_no.nextval,'research','dallas');

 

  SQL>commit;

 

⑥、在orcl217数据库那边同样运行以上①，②，③

 

⑦、在orcl217数据库reporacle用户下创建主关键字的序列号，范围避免和orcl216的冲突。

 

  SQL> create sequence dept_no increment by 1 start with 45 maxvalue 99 cycle nocache;

 

⑧、在orcl217数据库scott用户下插入初始化数据

 

  SQL>insert into dept values (dept_no.nextval,'sales','chicago');

 

  SQL>insert into dept values (dept_no.nextval,'operations','boston');

 

  SQL>commit;

 

 

 

6、创建要复制的组reporacle_mg，加入数据库对象，产生对象的复制支持

 

①、用repadmin身份登录orcl216数据库，创建主复制组reporacle_mg

 

  SQL> execute dbms_repcat.create_master_repgroup('reporacle_mg');

 

  说明：reporacle_mg组名可以根据用户的需求自由命名。

 

②、在复制组reporacle_mg里加入数据库对象

 

  SQL>execute dbms_repcat.create_master_repobject(sname=>'reporacle',oname=>'dept', type=>'table',use_existing_object=>true,gname=>'reporacle_mg');

 

  SQL>Commit;

 

  参数说明：

 

  sname 实现数据库复制的用户名称

 

  oname 实现数据库复制的数据库对象名称

 

  (表名长度在27个字节内，程序包名长度在24个字节内)

 

  type 实现数据库复制的数据库对象类别

 

  (支持的类别：表，索引，同义词，触发器，视图，过程，函数，程序包，程序包体)

 

  use_existing_object true表示用主复制节点已经存在的数据库对象

 

  gname 主复制组名

 

③、对数据库对象产生复制支持

 

  SQL>execute dbms_repcat.generate_replication_support('reporacle','dept','table');

 

  (说明：产生支持reporacle用户下dept表复制的数据库触发器和程序包)

 

  注意：如果有多个表需要同步，重复执行②，③步骤。

 

  下面能够说明在设置完成同步后如何追加复制对象（表）。

 

④、确认复制的组和对象已经加入数据库的数据字典

 

  SQL>select gname, master, status from dba_repgroup;

 

  SQL>select * from dba_repobject;

 

 

 

7、创建主复制节点

 

①、用repadmin身份登录orcl216数据库，创建主复制节点

 

  SQL>execute dbms_repcat.add_master_database(gname=>'REPORACLE_MG', master=>'ORCL217.TEST.COM.CN', use_existing_objects=>true, copy_rows=>false, propagation_mode=>'ASYNCHRONOUS');

 

  参数说明：

 

  gname 主复制组名

 

  master 加入主复制节点的另一个数据库

 

  use_existing_object true表示用主复制节点已经存在的数据库对象

 

  copy_rows false表示第一次开始复制时不用和主复制节点保持一致

 

  propagation_mode 异步地执行

 

②、确认复制的任务队列已经加入数据库的数据字典

 

  SQL>select * from user_jobs;

 

8、使同步组的状态由停顿(quiesced )改为正常(normal)

 

①、用repadmin身份登录orcl216数据库，运行以下命令

 

  SQL> execute dbms_repcat.resume_master_activity('reporacle_mg',true);

 

②、确认同步组的状态为正常(normal)

 

  SQL> select gname, master, status from dba_repgroup;

 

 

 

9、创建复制数据库的时间表，我们假设用固定的时间表：1分钟复制一次。

 

①、用repadmin身份登录orcl216数据库，运行以下命令

 

SQL>begin

 

dbms_defer_sys.schedule_push (

 

destination => 'orcl217.test.com.cn',

 

interval => 'sysdate + 1/1440',

 

next_date => sysdate);

 

end;

 

/

 

　

 

SQL>begin

 

dbms_defer_sys.schedule_purge (

 

next_date => sysdate,

 

interval => 'sysdate + 1/1440',

 

delay_seconds => 0,

 

rollback_segment => '');

 

end;

 

/

 

　

 

②、用repadmin身份登录orcl217数据库，运行以下命令

 

SQL>begin

 

dbms_defer_sys.schedule_push (

 

destination => ' orcl216.test.com.cn ',

 

interval => 'sysdate + 1/1440',

 

next_date => sysdate);

 

end;

 

/

 

　

 

SQL>begin

 

dbms_defer_sys.schedule_purge (

 

next_date => sysdate,

 

interval => 'sysdate + 1/1440',

 

delay_seconds => 0,

 

rollback_segment => '');

 

end;

 

/

 

10、添加或修改两边数据库的记录，跟踪复制过程

 

  如果你想立刻看到添加或修改后数据库的记录的变化，

 

  可以在216库repadmin用户下找到push的job_number，然后运行：

 

  SQL>exec dbms_job.run(job_number);

 

  说明：job_number 为用select job,this_date,next_date,what from user_jobs;命令查出的job编号。

 

 

 

三、异常情况的处理

 

1、检查复制工作正常否，可以在repadmin 用户下查询user_jobs

 

SQL>select job,this_date,next_date,what, broken from user_jobs;

 

正常的状态有两种：

 

任务闲——this_date为空，next_date为当前时间后的一个时间值

 

任务忙——this_date不为空，next_date为当前时间后的一个时间值

 

异常状态也有两种：

 

任务死锁——next_date为当前时间前的一个时间值

 

任务死锁——next_date为非常大的一个时间值，例如：4001-01-01

 

这可能因为网络中断照成的死锁

 

解除死锁的办法：

 

$ps –ef|grep orale

 

找到死锁的刷新快照的进程号ora_snp*，用kill –9 命令删除此进程

 

然后进入repadmin 用户SQL>操作符下，运行命令：

 

SQL>exec dbms_job.run(job_number);

 

说明：job_number 为用select job,this_date,next_date,what from user_jobs;命令查出的job编号。

 

 

 

 

 

2、增加或减少复制组的复制对象

 

①、停止主数据库节点的复制动作，使同步组的状态由正常(normal)改为停顿(quiesced )

 

  用repadmin身份登录orcl216数据库，运行以下命令

 

  确认同步组的状态

 

  SQL> select gname, master, status from dba_repgroup;

 

  停止服务

 

  SQL>execute dbms_repcat.suspend_master_activity('reporacle_mg');

 

②、在复制组reporacle_mg里加入数据库对象，保证数据库对象必须有主关键字。

 

  SQL> execute dbms_repcat.create_master_repobject(sname=>'reporacle',oname=>'dept1', type=>'TABLE',use_existing_object=>true,gname=>'REPORACLE_MG',copy_rows=>true);

 

  SQL> Commit;

 

  对加入的数据库对象产生复制支持

 

  SQL> execute dbms_repcat.generate_replication_support('reporacle','dept1','TABLE');

 

③、删除在复制组reporacle_mg里的数据库对象。

 

  SQL>execute dbms_repcat.drop_master_repobject ('reporacle','dept1','table');

 

④、重新使同步组的状态由停顿(quiesced )改为正常(normal)。

 

  SQL> execute dbms_repcat.resume_master_activity('REPORACLE_MG',true);

 

  确认复制的组和对象已经加入数据库的数据字典

 

  select * from dba_repobject;

 

 

 

 

 

 

 

 

 

 

 

 

 

 

如果需要追加一台分布服务器向orcl217同步数据

 

需要做如下操作。

 

新追加的服务器具体配置见下表：

 

数据库名 orcl214 

 

数据库域名 test.com.cn test.com.cn

 

数据库sid号 orcl214

 

Listener端口号 1521

 

服务器ip地址 192.168.1.214

 

 

 

1、确认两台数据库之间可以互相访问，在tnsnames.ora里设置数据库连接字符串。

 

①、例如：orcl214这边的数据库连接字符串是以下的格式

 

orcl217  =

 

  (DESCRIPTION =

 

    (ADDRESS_LIST =

 

      (ADDRESS = (PROTOCOL = TCP)(HOST = 192.168.1.217)(PORT = 1521))

 

    )

 

    (CONNECT_DATA =

 

      (SERVICE_NAME = orcl217.test.com.cn)

 

    )

 

)

 

运行$tnsping orcl217 

 

出现以下提示符：

 

Attempting to contact (ADDRESS=(PROTOCOL=TCP)(HOST=10.1.1.200)(PORT=1521))

 

OK（n毫秒）

 

表明orcl214数据库可以访问orcl217数据库。

 

②、在orcl217那边也同样配置，确认$tnsping orcl214是通的。

 

 

 

2、改数据库全局名称，建公共的数据库链接。

 

①、用system身份登录orcl214数据库

 

SQL>alter database rename global_name to orcl214.test.com.cn;

 

②、用system身份登录orcl214数据库

 

SQL>create public database link orcl217.test.com.cn using 'orcl217';

 

测试数据库全局名称和公共的数据库链接

 

SQL>select * from [e-mail];

 

返回结果为orcl217.test.com.cn就对了。

 

 

 

用system身份登录orcl217数据库：

 

SQL>create public database link orcl214.test.com.cn using 'orcl214';

 

测试数据库全局名称和公共的数据库链接

 

SQL>select * from [e-mail];

 

返回结果为orcl214.test.com.cn就对了。

 

 

 

3、建立管理数据库复制的用户repadmin，并赋权。

 

删除用户语句：

 

drop user repadmin cascade;

 

①、用system身份登录orcl214数据库

 

SQL>create user repadmin identified by repadmin default tablespace users temporary tablespace temp;

 

SQL>execute dbms_defer_sys.register_propagator('repadmin');

 

SQL>grant execute any procedure to repadmin;

 

SQL>execute dbms_repcat_admin.grant_admin_any_repgroup('repadmin');

 

SQL>execute   dbms_repcat_admin.grant_admin_any_schema(username=>'"REPADMIN"');

 

SQL>grant comment any table to repadmin;

 

SQL>grant lock any table to repadmin;

 

SQL>grant select any dictionary to repadmin;

 

 

 

4、在数据库复制的用户repadmin下创建私有的数据库链接。

 

①、用repadmin身份登录orcl214数据库

 

SQL>create database link orcl217.test.com.cn connect to repadmin identified by repadmin;

 

测试这个私有的数据库链接：

 

SQL>select * from [e-mail];

 

返回结果为orcl217.test.com.cn就对了。

 

 

 

②、用repadmin身份登录orcl217数据库

 

SQL>create database link orcl214.test.com.cn connect to repadmin identified by repadmin;

 

测试这个私有的数据库链接

 

SQL>select * from [e-mail];

 

返回结果为orcl214.test.com.cn就对了。

 

 

 

5、创建或选择实现数据库复制的用户和对象，给用户赋权，数据库对象必须有主关键字。

 

假设我们用ORACLE里举例用的reporacle用户，dept表。

 

①、用sys身份登录orcl214数据库，创建reporacle用户并赋权

 

SQL>create user reporacle identified by reporacle default tablespace users temporary tablespace temp;

 

SQL>grant connect, resource to reporacle;

 

SQL>grant execute on sys.dbms_defer to reporacle;

 

②、用reporacle身份登录orcl214数据库，创建表dept

 

SQL>create table dept

 

(deptno number(2) primary key,

 

dname varchar2(14),

 

loc varchar2(13) );

 

 

 

6、创建要复制的组reporacle_mg1，加入数据库对象，产生对象的复制支持

 

注意：这里的复制的组的名字不能和上一个相同，这里是reporacle_mg1。

 

①、用repadmin身份登录orcl214数据库，创建主复制组reporacle_mg1

 

SQL> execute dbms_repcat.create_master_repgroup('reporacle_mg1');

 

说明：reporacle_mg1组名可以根据用户的需求自由命名。

 

②、在复制组reporacle_mg1里加入数据库对象

 

SQL>execute dbms_repcat.create_master_repobject(sname=>'reporacle',oname=>'dept', type=>'table',use_existing_object=>true,gname=>'reporacle_mg1');

 

Commit;

 

③、对数据库对象产生复制支持

 

SQL>execute dbms_repcat.generate_replication_support('reporacle','dept','table');

 

(说明：产生支持reporacle用户下dept表复制的数据库触发器和程序包)

 

④、确认复制的组和对象已经加入数据库的数据字典

 

SQL>select gname, master, status from dba_repgroup;

 

SQL>select * from dba_repobject;

 

 

 

7、创建主复制节点

 

①、用repadmin身份登录orcl214数据库，创建主复制节点

 

SQL>execute dbms_repcat.add_master_database(gname=>'REPORACLE_MG1', master=>'ORCL217.TEST.COM.CN', use_existing_objects=>true, copy_rows=>true, propagation_mode=>'ASYNCHRONOUS');

 

②、确认复制的任务队列已经加入数据库的数据字典

 

SQL>select * from user_jobs;

 

8、使同步组的状态由停顿(quiesced)改为正常(normal)

 

①、用repadmin身份登录orcl214数据库，运行以下命令

 

SQL> execute dbms_repcat.resume_master_activity('reporacle_mg1',true);

 

②、确认同步组的状态为正常(normal)

 

SQL> select gname, master, status from dba_repgroup;

 

 

 

9、创建复制数据库的时间表，我们假设用固定的时间表：1分钟复制一次。

 

①、用repadmin身份登录orcl214数据库，运行以下命令

 

SQL>begin

 

dbms_defer_sys.schedule_push (

 

destination => 'orcl217.test.com.cn',

 

interval => 'sysdate + 1/1440',

 

next_date => sysdate);

 

end;

 

/

 

　

 

SQL>begin

 

dbms_defer_sys.schedule_purge (

 

next_date => sysdate,

 

interval => 'sysdate + 1/1440',

 

delay_seconds => 0,

 

rollback_segment => '');

 

end;

 

/

 

　

 

②、用repadmin身份登录orcl217数据库，运行以下命令

 

SQL>begin

 

dbms_defer_sys.schedule_push (

 

destination => ' orcl214.test.com.cn ',

 

interval => 'sysdate + 1/1440',

 

next_date => sysdate);

 

end;

 

/

 

　

 

SQL>begin

 

dbms_defer_sys.schedule_purge (

 

next_date => sysdate,

 

interval => 'sysdate + 1/1440',

 

delay_seconds => 0,

 

rollback_segment => '');

 

end;

 

/

 

10、添加或修改两边数据库的记录，跟踪复制过程

 

如果你想立刻看到添加或修改后数据库的记录的变化，可以在214库repadmin用户下找到push的job_number，然后运行：

 

SQL>exec dbms_job.run(job_number);

 

说明：job_number 为用select job,this_date,next_date,what from user_jobs;命令查出的job编号。