`
maincoolbo
  • 浏览: 528215 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

oralce8i/9i 数据库日志查看方法探讨(logminer使用)

阅读更多
一、如何分析即LogMiner解释
  
  从目前来看,分析Oracle日志的唯一方法就是使用Oracle公司提供的LogMiner来进行, Oracle数据库的所有更改都记录在日志中,但是原始的日志信息我们根本无法看懂,而LogMiner就是让我们看懂日志信息的工具。从这一点上看,它和tkprof差不多,一个是用来分析日志信息,一个则是格式化跟踪文件。通过对日志的分析我们可以实现下面的目的:
  
  1、查明数据库的逻辑更改;
  
  2、侦察并更正用户的误操作;
  
  3、执行事后审计;
  
  4、执行变化分析。
  
  不仅如此,日志中记录的信息还包括:数据库的更改历史、更改类型(INSERT、UPDATE、DELETE、DDL等)、更改对应的SCN号、以及执行这些操作的用户信息等,LogMiner在分析日志时,将重构等价的SQL语句和UNDO语句(分别记录在V$LOGMNR_CONTENTS视图的SQL_REDO和SQL_UNDO中)。这里需要注意的是等价语句,而并非原始SQL语句,例如:我们最初执行的是“delete a where c1 <>'cyx';”,而LogMiner重构的是等价的6条DELETE语句。所以我们应该意识到V$LOGMNR_CONTENTS视图中显示的并非是原版的现实,从数据库角度来讲这是很容易理解的,它记录的是元操作,因为同样是“delete a where c1 <>'cyx';”语句,在不同的环境中,实际删除的记录数可能各不相同,因此记录这样的语句实际上并没有什么实际意义,LogMiner重构的是在实际情况下转化成元操作的多个单条语句。
  
  另外由于Oracle重做日志中记录的并非原始的对象(如表以及其中的列)名称,而只是它们在Oracle数据库中的内部编号(对于表来说是它们在数据库中的对象ID,而对于表中的列来说,对应的则是该列在表中的排列序号:COL 1, COL 2 等),因此为了使LogMiner重构出的SQL语句易于识别,我们需要将这些编号转化成相应的名称,这就需要用到数据字典(也就说LogMiner本身是可以不用数据字典的,详见下面的分析过程),LogMiner利用DBMS_LOGMNR_D.BUILD()过程来提取数据字典信息。
  
  LogMiner包含两个PL/SQL包和几个视图:
  
  1、dbms_logmnr_d包,这个包只包括一个用于提取数据字典信息的过程,即dbms_logmnr_d.build()过程。
  
  2、dbms_logmnr包,它有三个过程:
  
  add_logfile(name varchar2, options number) - 用来添加/删除用于分析的日志文件;
  
  start_logmnr(start_scn number, end_scn number, start_time number,end_time number, dictfilename varchar2, options number) - 用来开启日志分析,同时确定分析的时间/SCN窗口以及确认是否使用提取出来的数据字典信息。
  
  end_logmnr() - 用来终止分析会话,它将回收LogMiner所占用的内存。
  
  与LogMiner相关的数据字典。
  
  1、v$logmnr_dictionary,LogMiner可能使用的数据字典信息,因logmnr可以有多个字典文件,该视图用于显示这方面信息。
  
  2、v$logmnr_parameters,当前LogMiner所设定的参数信息。
  
  3、v$logmnr_logs,当前用于分析的日志列表。
  
  4、v$logmnr_contents,日志分析结果。
  
  二、Oracle9i LogMiner的增强:
  
  1、支持更多数据/存储类型:链接/迁移行、CLUSTER表操作、DIRECT PATH插入以及DDL操作。在V$LOGMNR_CONTENTS的SQL_REDO中可以看到DDL操作的原句(CREATE USER除外,其中的密码将以加密的形式出现,而不是原始密码)。如果TX_AUDITING初始化参数设为TRUE,则所有操作的数据库账号将被记录。
  
  2、提取和使用数据字典的选项:现在数据字典不仅可以提取到一个外部文件中,还可以直接提取到重做日志流中,它在日志流中提供了操作当时的数据字典快照,这样就可以实现离线分析。
  
  3、允许对DML操作按事务进行分组:可以在START_LOGMNR()中设置COMMITTED_DATA_ONLY选项,实现对DML操作的分组,这样将按SCN的顺序返回已经提交的事务。
  
  4、支持SCHEMA的变化:在数据库打开的状态下,如果使用了LogMiner的DDL_DICT_TRACKING选项,Oracle9i的LogMiner将自动对比最初的日志流和当前系统的数据字典,并返回正确的DDL语句,并且会自动侦察并标记当前数据字典和最初日志流之间的差别,这样即使最初日志流中所涉及的表已经被更改或者根本已经不存在,LogMiner同样会返回正确的DDL语句。
  
  5、在日志中记录更多列信息的能力:例如对于UPDATE操作不仅会记录被更新行的情况,还可以捕捉更多前影信息。
  
  6、支持基于数值的查询:Oracle9i LogMiner在支持原有基于元数据(操作、对象等)查询的基础上,开始支持基于实际涉及到的数据的查询。例如涉及一个工资表,现在我们可以很容易地查出员工工资由1000变成2000的原始更新语句,而在之前我们只能选出所有的更新语句。
  
  三、Oracle8i/9i的日志分析过程
  
  LogMiner只要在实例起来的情况下都可以运行,LogMiner使用一个字典文件来实现Oracle内部对象名称的转换,如果没有这个字典文件,则直接显示内部对象编号,例如我们执行下面的语句:
  
  delete from "C"."A" where "C1" = ‘gototop’ and ROWID = 'AAABg1AAFAAABQaAAH';
  如果没有字典文件,LogMiner分析出来的结果将是:
  delete from "UNKNOWN"."OBJ# 6197" where "COL 1" = HEXTORAW('d6a7d4ae') and ROWID
  = 'AAABg1AAFAAABQaAAH';
  
  如果想要使用字典文件,数据库至少应该出于MOUNT状态。然后执行dbms_logmnr_d.build过程将数据字典信息提取到一个外部文件中。下面是具体分析步骤:
  
  1、确认设置了初始化参数:UTL_FILE_DIR,并确认Oracle对改目录拥有读写权限,然后启动实例。示例中UTL_FILE_DIR参数如下:
  
  SQL> show parameter utl
  NAME             TYPE    VALUE
  ------------------------ ----------- ------------------------------
  utl_file_dir         string   /data6/cyx/logmnr
  
  这个目录主要用于存放dbms_logmnr_d.build过程所产生的字典信息文件,如果不用这个,则可以不设,也就跳过下面一步。
  
  2、生成字典信息文件(需要在SYSDBA帐户下登陆):
  
  exec dbms_logmnr_d.build(dictionary_filename =>'
  dic.ora',dictionary_location => '/data6/cyx/logmnr');
  
  其中dictionary_location指的是字典信息文件的存放位置,它必须完全匹配UTL_FILE_DIR的值,例如:假设UTL_FILE_DIR=/data6/cyx/logmnr/,则上面这条语句会出错,只因为UTL_FILE_DIR后面多了一个“/”,而在很多其它地方对这一“/”是不敏感的。
  
  dictionary_filename指的是放于字典信息文件的名字,可以任意取。当然我们也可以不明确写出这两个选项,即写成:
  
  exec dbms_logmnr_d.build('dic.ora','/data6/cyx/logmnr');
  
  如果你第一步的参数没有设,而直接开始这一步,Oracle会报下面的错误:
  
  ERROR at line 1:
  ORA-01308: initialization parameter utl_file_dir is not set
  ORA-06512: at "SYS.DBMS_LOGMNR_D", line 923
  ORA-06512: at "SYS.DBMS_LOGMNR_D", line 1938
  ORA-06512: at line 1
  
  需要注意的是,在oracle817 for Windows版中会出现以下错误:
  
  14:26:05 SQL> execute dbms_logmnr_d.build('oradict.ora','c:\oracle\admin\ora\log');
  BEGIN dbms_logmnr_d.build('oradict.ora','c:\oracle\admin\ora\log'); END;
  *
  ERROR at line 1:
  ORA-06532: Subscript outside of limit
  ORA-06512: at "SYS.DBMS_LOGMNR_D", line 793
  ORA-06512: at line 1
  
  解决办法:
  
  编辑"$ORACLE_HOME/rdbms/admindbmslmd.sql"文件,把其中的
  TYPE col_desc_array IS VARRAY(513) OF col_description;
  改成:
  TYPE col_desc_array IS VARRAY(700) OF col_description;
  
  保存文件,然后执行一遍这个脚本:
  
  15:09:06 SQL> @c:\oracle\ora81\rdbms\admin\dbmslmd.sql
  Package created.
  Package body created.
  No errors.
  Grant succeeded.
  
  然后重新编译DBMS_LOGMNR_D包:
  
  15:09:51 SQL> alter package DBMS_LOGMNR_D compile body;
  Package body altered.
  之后重新执行dbms_logmnr_d.build即可:
  15:10:06 SQL> execute dbms_logmnr_d.build('oradict.ora','c:\oracle\admin\ora\log');
  PL/SQL procedure successfully completed.
  
  3、添加需要分析的日志文件
  
  SQL>exec dbms_logmnr.add_logfile( logfilename=>'
  /data6/cyx/rac1arch/arch_1_197.arc', options=>dbms_logmnr.new);
  PL/SQL procedure successfully completed.
  
  这里的options选项有三个参数可以用:
  
  NEW - 表示创建一个新的日志文件列表
  
  ADDFILE - 表示向这个列表中添加日志文件,如下面的例子
  
  REMOVEFILE - 和addfile相反。
  
  SQL> exec dbms_logmnr.add_logfile( logfilename=>'
  /data6/cyx/rac1arch/arch_2_86.arc', options=>dbms_logmnr.addfile);
  PL/SQL procedure successfully completed.
  
  4、当你添加了需要分析的日志文件后,我们就可以让LogMiner开始分析了:
  
  SQL> exec dbms_logmnr.start_logmnr(dictfilename=>'/data6/cyx/logmnr/dic.ora');
  PL/SQL procedure successfully completed.
  
  如果你没有使用字典信息文件(此时我们只需要启动实例就可以了),那么就不需要跟dictfilename参数:
  
  SQL> exec dbms_logmnr.start_logmnr();
  PL/SQL procedure successfully completed.
  
  当然dbms_logmnr.start_logmnr()过程还有其它几个用于定义分析日志时间/SCN窗口的参数,它们分别是:
  
  STARTSCN / ENDSCN - 定义分析的起始/结束SCN号,
  
  STARTTIME / ENDTIME - 定义分析的起始/结束时间。
  
  例如下面的过程将只分析从 '2003-09-21 09:39:00'到'2003-09-21 09:45:00'这段时间的日志:
  
  SQL> exec dbms_logmnr.start_logmnr(dictfilename=>'/data6/cyx/logmnr/dic.ora' , -
  starttime => '2003-09-21 09:39:00',endtime => '2003-09-21 09:45:00');
  PL/SQL procedure successfully completed.
  
  上面过程第一行结尾的“-”表示转行,如果你在同一行,则不需要。我们可以看到有效日志的时间戳:
  
  SQL> select distinct timestamp from v$logmnr_contents;
  TIMESTAMP
  -------------------
  2003-09-21 09:40:02
  2003-09-21 09:42:39
  
  这里需要注意的是,因为我之前已经设置NLS_DATE_FORMAT环境变量,所以上面的日期可以直接按这个格式写就行了,如果你没有设,则需要使用to_date函数来转换一下。
  
  SQL> !env grep NLS
  NLS_LANG=american_america.zhs16cgb231280
  NLS_DATE_FORMAT=YYYY-MM-DD HH24:MI:SS
  ORA_NLS33=/oracle/oracle9/app/oracle/product/9.2.0/ocommon/nls/admin/data
  使用to_date的格式如下:
  exec dbms_logmnr.start_logmnr(dictfilename=>'/data6/cyx/logmnr/dic.ora',-
  starttime => to_date('2003-09-21 09:39:00','YYYY-MM-DD HH24:MI:SS'),-
  endtime => to_date('2003-09-21 09:45:00','YYYY-MM-DD HH24:MI:SS'));
  
  STARTSCN 和ENDSCN参数使用方法类似。
  
  5、好了,在上面的过程执行结束之后,我们就可以通过访问与LogMiner相关的几个视图来提取我们需要的信息了。其中在v$logmnr_logs中可以看到我们当前分析的日志列表,如果数据库有两个实例(即OPS/RAC),在v$logmnr_logs中会有两个不同的THREAD_ID。
  
  而真正的分析结果是放在v$logmnr_contents中,这里面有很多信息,我们可以根据需要追踪我们感兴趣的信息。后面我将单独列出来讲常见的追踪情形。
  
  6、全部结束之后,我们可以执行dbms_logmnr.end_logmnr过程退出LogMiner分析过程,你也可以直接退出SQL*PLUS,它会自动终止。
分享到:
评论

相关推荐

    分析Oracle8i/9i的重做日志和归档日志

    LogMiner是Oracle8i和Oracle9i提供的一个内置日志分析工具,它能够帮助管理员分析重做日志和归档日志,从而追踪数据库中的事务变化,包括DML(数据操纵语言)和DDL(数据定义语言)操作。LogMiner不仅能够确定这些...

    oracle日志分析工具LogMiner使用.

    Oracle 日志分析工具 LogMiner 使用 Oracle 日志分析工具 LogMiner 是 Oracle 数据库中的一种功能强大且灵活的日志分析工具,它可以帮助数据库管理员、开发人员和用户快速地对数据库进行日志分析和问题诊断。下面是...

    【数据库】Oracle异机logminer日志分析-.docx

    本文介绍了使用 Oracle LogMiner 进行日志分析的方法,并强调了数据库版本、DB NAME 和生成的数据字典的 DBID 一致性问题的重要性。同时,本文也提供了使用 nid 工具修改 DB NAME 和 DBID 的方法,以便与日志来源库...

    oralce数据库日志查看方法探讨

    Oracle提供了一个专门的工具——LogMiner,用于解析和分析这些日志,帮助数据库管理员理解和追踪数据库的变化。 LogMiner的工作原理是解析Oracle的重做日志(Redo Logs),这些日志包含了数据库事务的所有更改历史...

    基于LogMiner的Oracle数据库日志分析.pdf

    本文介绍了基于 LogMiner 的 Oracle 数据库日志分析方法,使用 LogMiner 获取日志分析结果,并开发出 LogViewer 工具,可以对 Oracle 日志进行查看、查询、重做、回退等操作。LogMiner 及 LogViewer 是 Oracle ...

    oracle日志分析工具LogMiner的使用

    Oracle的日志分析工具LogMiner是Oracle数据库内置的一个强大功能,用于分析数据库的redo logs,以获取关于数据库操作的历史信息。LogMiner可以帮助DBA进行性能优化、故障排查和审计等任务。以下将详细介绍LogMiner的...

    Oracle 9i LogMiner工具使用说明

    ### Oracle 9i LogMiner工具使用说明 #### 一、LogMiner工具概述与用途 Oracle 9i LogMiner工具是一种强大的数据库审计和数据分析工具,主要用于追踪和分析数据库的变更活动。通过分析重做日志文件(Redo Log ...

    Oracle日志管理logminer使用

    ### Oracle日志管理logminer使用 #### 一、Oracle日志管理概述 Oracle数据库通过日志记录了所有对数据的更改操作,这对于确保数据的一致性和完整性至关重要。Oracle中的日志主要包括重做日志(Redo Logs)和归档...

    oracle日志分析工具LogMiner使用

    ### Oracle日志分析工具LogMiner使用详解 #### 一、概述 Oracle LogMiner是Oracle数据库提供的一个强大工具,用于分析重做日志文件,提取数据库中的更改记录(即SCN序列)。通过LogMiner,我们可以追踪并监控...

    Oracle用户SQL会话还原方法研究.pdf

    综上所述,本文探讨的是一种在Oracle 8i/9i版本中进行用户会话还原的方法,该方法通过分析事务日志和审计日志中的关键字段,能够还原出用户的完整数据库操作过程,对于数据库的安全审计与监控具有重要意义。...

    加强数据库oracle日志的记录

    Oracle数据库使用LOGMINER来分析日志。  一、安装LogMiner  要安装LogMiner工具,必须首先要运行下面这样两个脚本,  $ORACLE_HOME/rdbms/admin/dbmslm.sql  $ORACLE_HOME/rdbms/admin/dbmslmd.sql.  这两个...

    ODI如何通过logminer创新发展从oracle数据库中抽取增量数据.pdf

    本文主要介绍了使用 ODI 通过 LogMiner 技术从 Oracle 数据库中抽取增量数据的方法。ODI 提供了三种知识模块来抽取数据库中的增量数据:Simple、Consistent 和 Oracle 9i/10g/11g Consistent。在 Simple 方式下,ODI...

    Oracle.9i数据库管理员指南(PDF)

    没想到大家学习oracle如此热情,这里再推荐一本学习资料,Oracle.9i数据库管理员指南(PDF),可以深入了解一些oracle特性。 象征性收取推荐分一分O(∩_∩)O~ 当然,你也可以Google一下,自己动手,丰衣足食! 备注少...

    Oracle日志分析工具LogMiner的研究.pdf

    Oracle日志分析工具LogMiner是Oracle公司提供的一个日志分析工具,旨在帮助数据库管理员快速地分析和解决数据库问题。LogMiner可以读取数据库日志文件,重建数据库操作记录,并提供详细的数据库活动报告。 ...

    Oracle 日志挖掘(LogMiner)使用详解

    Logminer依赖于2个包:DBMS_LOGMNR和DBMS_LOGMNR_D,Oracle 11g默认已安装 Logminer 基本使用步骤 &lt;1&gt;. Specify a LogMiner dictionary. 指定Logminer字典 &lt;2&gt;. Specify a list of redo log files for analysis. ...

    分析Oracle数据库日志文件(1) .txt

    ### Oracle数据库日志文件分析详解 ...以上便是对Oracle数据库日志文件分析的深入探讨,通过LogMiner这一强大的工具,数据库管理员可以更好地理解和控制数据库的状态变迁,为数据库管理和安全提供有力的支持。

    Oracle LogMiner

    Oracle LogMiner 是一个强大的分析工具,自 Oracle 8i 版本开始提供,用于解析和提取重作日志文件(redo log files)中的详细信息。重作日志是 Oracle 数据库的重要组成部分,记录了所有对数据库进行的DML(插入、...

    ODI如何通过logminer技术从oracle_数据库中抽取增量数据

    ### ODI如何通过LogMiner技术从Oracle数据库中抽取增量数据 #### Oracle Data Integrator (ODI) 简介 ODI(Oracle Data Integrator)是Oracle在2006年10月通过收购Sunopsis公司后推出的一款数据集成工具,现已成为...

Global site tag (gtag.js) - Google Analytics