`
itspace
  • 浏览: 978490 次
  • 性别: Icon_minigender_1
  • 来自: 杭州
社区版块
存档分类
最新评论

记一次rman导致的交换空间暴增

阅读更多
今天在客户现场碰到一件怪事,由于是急事,也就特事特办,应急处理了。
首先据同事反应,客户一主机home目录已经满掉,让我处理一下,登陆至主机,看到home目录果然处于100%状态。
引用
root@hisdb02:/home/oracle/capaa#df
Filesystem    512-blocks      Free %Used    Iused %Iused Mounted on
/dev/hd4         2097152   2021744    4%     2298     2% /
/dev/hd2         6815744   3682120   46%    37198     9% /usr
/dev/hd9var      2097152    945848   55%      442     1% /var
/dev/hd3        33554432  30177464   11%     1318     1% /tmp
/dev/hd1         2097152     13864  100%      455    19% /home
/proc                  -         -    -         -     -  /proc
/dev/hd10opt     2097152   1918936    9%     2738     2% /opt
/dev/lvoracle   62914560  21145136   67%    71833     3% /oracle
/dev/fslv00   2086666240 934258592   56%      282     1% /rman
/dev/lvdbra     83886080  74595552   12%    21011     1% /dbra
/dev/lvarch    167772160 160255912    5%      121     1% /archlog/orcl2
hisdb01:/archlog/orcl1  167772160 159523040    5%      125     1% /archlog/orcl1
P520:/Tbackup 1258291200 711808232   44%      690     1% /Tbackup

一开始以为问题很简单,立即前往/home查看子文件夹空间使用率,仔细一看发现子文件夹占用才100多M,而home文件系统有1G。事情至此开始变得有些蹊跷。
引用
root@hisdb02:/home#du -sk *
8       dbra
4       esaadmin
0       guest
0       lost+found
108728  oracle
4       sshd

于是马上删掉较大文件( capaa_agent.tar,8M左右),但是home文件系统马上被占用完
引用
root@hisdb02:/home/oracle/capaa#ls -rtl
total 15960
drwxr-xr-x   7 oracle   dba             256 Feb 16 2010  java5_64
drwxr-x---  10 oracle   dba             256 May 12 2010  capaa_agent
drwxr-xr-x   2 oracle   dba             256 Dec 23 11:57 dict
drwxr-xr-x   2 oracle   dba             256 Dec 23 11:57 exp
-rw-r-----   1 oracle   dba         8171520 Dec 23 13:53 capaa_agent.tar
drwxr-xr-x   2 oracle   dba             256 Jan 07 14:17 script
root@hisdb02:/home/oracle/capaa#rm -rf capaa_agent.tar
root@hisdb02:/home/oracle/capaa#df
Filesystem    512-blocks      Free %Used    Iused %Iused Mounted on
/dev/hd4         2097152   2021744    4%     2298     2% /
/dev/hd2         6815744   3682120   46%    37198     9% /usr
/dev/hd9var      2097152    945848   55%      442     1% /var
/dev/hd3        33554432  30177464   11%     1318     1% /tmp
/dev/hd1         2097152     13864  100%      455    19% /home
/proc                  -         -    -         -     -  /proc
/dev/hd10opt     2097152   1918936    9%     2738     2% /opt
/dev/lvoracle   62914560  21145136   67%    71833     3% /oracle
/dev/fslv00   2086666240 934258592   56%      282     1% /rman
/dev/lvdbra     83886080  74595552   12%    21011     1% /dbra
/dev/lvarch    167772160 160255912    5%      121     1% /archlog/orcl2
hisdb01:/archlog/orcl1  167772160 159523040    5%      125     1% /archlog/orcl1
P520:/Tbackup 1258291200 711808232   44%      690     1% /Tbackup
root@hisdb02:/home/oracle/capaa#df
Filesystem    512-blocks      Free %Used    Iused %Iused Mounted on
/dev/hd4         2097152   2021744    4%     2298     2% /
/dev/hd2         6815744   3682120   46%    37198     9% /usr
/dev/hd9var      2097152    945848   55%      442     1% /var
/dev/hd3        33554432  30177464   11%     1318     1% /tmp
/dev/hd1         2097152       808  100%      455    48% /home
/proc                  -         -    -         -     -  /proc
/dev/hd10opt     2097152   1918936    9%     2738     2% /opt
/dev/lvoracle   62914560  21145128   67%    71833     3% /oracle
/dev/fslv00   2086666240 934258592   56%      282     1% /rman
/dev/lvdbra     83886080  74595552   12%    21011     1% /dbra
/dev/lvarch    167772160 160255912    5%      121     1% /archlog/orcl2
hisdb01:/archlog/orcl1  167772160 159523040    5%      125     1% /archlog/orcl1
P520:/Tbackup 1258291200 711808232   44%      690     1% /Tbackup

事情变得越来越蹊跷,扩展home文件系统至2G,报空间不足。但是rootvg尚有剩余空间。
引用
root@hisdb02:/home/oracle/capaa/java5_64/jre#lsvg rootvg
VOLUME GROUP:       rootvg                   VG IDENTIFIER:  00ca44e400004c0000000123df6dcc7d
VG STATE:           active                   PP SIZE:        256 megabyte(s)
VG PERMISSION:      read/write               TOTAL PPs:      1092 (279552 megabytes)
MAX LVs:            256                      FREE PPs:       14 (3584 megabytes)
LVs:                13                       USED PPs:       1078 (275968 megabytes)
OPEN LVs:           12                       QUORUM:         1
TOTAL PVs:          2                        VG DESCRIPTORS: 3
STALE PVs:          0                        STALE PPs:      0
ACTIVE PVs:         2                        AUTO ON:        yes
MAX PPs per VG:     32512                                    
MAX PPs per PV:     1016                     MAX PVs:        32
LTG size (Dynamic): 1024 kilobyte(s)         AUTO SYNC:      no
HOT SPARE:          no                       BB POLICY:      relocatable

这时本能的用lsps查看交换空间使用情况,一看吓我一跳,交换空间已经使用至96%,也有意味着系统随时有宕机危险
引用
root@hisdb02:/home/oracle/capaa/java5_64/jre/lib#lsps -a
Page Space      Physical Volume   Volume Group    Size %Used Active  Auto  Type
hd6             hdisk0            rootvg       20480MB    96   yes   yes    lv

考虑到rootvg剩余空间已不够,需要缩小其他文件系统,释放空间给rootvg。所幸的是aix 5.3支持在线缩小文件系统,采用smitty fs马上缩小空间至50G。
引用
root@hisdb02:/dbra/oswatch/osw#smitty fs

Change / Show Characteristics of an Enhanced Journaled File System

Type or select values in entry fields.
Press Enter AFTER making all desired changes.
 
                                                        [Entry Fields]
  File system name                                    /archlog/orcl2
  NEW mount point                                    [/archlog/orcl2]
  SIZE of file system
          Unit Size                                   Gigabytes                                                                                                      +
          Number of units                            [50]                                                                                                             #
  Mount GROUP                                        []
  Mount AUTOMATICALLY at system restart?              yes                                                                                                            +
  PERMISSIONS                                         read/write                                                                                                     +
  Mount OPTIONS                                      []                                                                                                              +
  Start Disk Accounting?                              no                                                                                                             +
  Block Size (bytes)                                  4096
  Inline Log?                                         no
  Inline Log size (MBytes)                           [0]                                                                                                              #
  Extended Attribute Format                          [v1]
  ENABLE Quota Management?                            no                                                                                                             +
  Allow Small Inode Extents?                          no 

然后在线添加交换空间
引用
root@hisdb02:/dbra/oswatch/osw#smitty mkps

                                                                        Add Another Paging Space

Type or select values in entry fields.
Press Enter AFTER making all desired changes.

                                                        [Entry Fields]
  Volume group name                                   rootvg
  SIZE of paging space (in logical partitions)       [60]                                                                                                             #
  PHYSICAL VOLUME name                                                                                                                                               +
  Start using this paging space NOW?                  yes                                                                                                            +
  Use this paging space each time the system is       yes                                                                                                            +
          RESTARTED?

现在查看交换空间使用情况:
引用
root@hisdb02:/dbra/oswatch/osw#lsps -a
Page Space      Physical Volume   Volume Group    Size %Used Active  Auto  Type
paging00        hdisk1            rootvg       15360MB     1   yes   yes    lv
hd6             hdisk0            rootvg       20480MB    96   yes   yes    lv


topas查看系统全局情况,由于增加了交换空间,其总体使用率已经降至 54.4%。
引用
  PAGING           MEMORY
  Faults    18677  Real,MB   23168
  Steals        0  % Comp     95.5
  PgspIn        3  % Noncomp   3.3
  PgspOut       0  % Client    3.3
  PageIn        3
  PageOut       0  PAGING SPACE
  Sios          3  Size,MB   35840
                   % Used     54.4
  NFS (calls/sec)  % Free     46.6

同时注意到有2个rman进程在占用大量的pagespace,并消耗着大量CPU。
引用
Name            PID  CPU%  PgSp Owner
rman        5222520  26.0 9179.4 oracle
rman        5251162  25.8 9185.1 oracle
root@hisdb02:/dbra/oswatch/osw#ps -ef|grep 5222520
  oracle 2703384 5222520   0 17:23:44      -  0:00 oracleorcl2 (DESCRIPTION=(LOCAL=YES)(ADDRESS=(PROTOCOL=beq)))

所幸的是系统并没有带来太多的交换
引用
root@hisdb02:/home/oracle/capaa/java5_64/jre/lib#vmstat 1 1000

System configuration: lcpu=16 mem=23168MB

kthr    memory              page              faults        cpu   
----- ----------- ------------------------ ------------ -----------
r  b   avm   fre  re  pi  po  fr   sr  cy  in   sy  cs us sy id wa
3  0 9850114 25020   0   1   0   0    0   0 2234 221390 5433 38  5 50  8
3  0 9852576 22552   0   6   0   0    0   0 3260 219950 7870 37  7 50  6
4  0 9848480 26646   0   2   0   0    0   0 2903 211954 6986 40  5 49  6
6  0 9848475 26649   0   2   0   0    0   0 5327 309306 14053 51  7 39  3
0  0 9851030 24091   0   3   0   0    0   0 4055 234427 9910 48  6 42  5
7  0 9850986 24130   0   4   0   0    0   0 4943 242181 11004 47  6 38  8
6  0 9851331 23780   0   5   0   0    0   0 8689 225650 17413 54  8 31  7
5  0 9854364 20747   0   0   0   0    0   0 9113 210502 19479 42  7 38 12
5  0 9851668 23442   0   1   0   0    0   0 7968 222546 16911 46  7 36 12
2  0 9849453 25656   0   1   0   0    0   0 8796 199683 18580 31  7 52  9
4  0 9849537 25571   0   1   0   0    0   0 8406 202812 17416 34  7 50  9
4  0 9849601 25501   0   6   0   0    0   0 5297 195486 10961 33  7 54  7
8  0 9849166 25932   0   4   0   0    0   0 2769 209397 6577 34  5 54  6
3  0 9849234 25862   0   2   0   0    0   0 2268 195945 5606 30  5 56  9
5  0 9853975 21117   0   4   0   0    0   0 3964 287321 8923 51  6 36  6
4  0 9853970 21121   0   1   0   0    0   0 3265 248413 7233 44  6 43  7
2  0 9854754 20334   0   2   0   0    0   0 1994 208690 5000 33  5 52  9
2  0 9854517 20570   0   1   0   0    0   0 3786 200623 8628 30  5 53 12
2  0 9852136 22947   0   4   0   0    0   0 4811 248666 11358 37  6 47 10

考虑到系统宕机风险。不做过多考虑直接将rman进程杀掉
引用
root@hisdb02:/dbra/app#kill -9 1331316 5222520 5251162

杀掉之后可以看到home文件系统使用率马上降低
引用
root@hisdb02:/dbra/app#df 
Filesystem    512-blocks      Free %Used    Iused %Iused Mounted on
/dev/hd4         2097152   2021512    4%     2300     2% /
/dev/hd2         6815744   3682120   46%    37198     9% /usr
/dev/hd9var      2097152    945720   55%      442     1% /var
/dev/hd3        33554432  30177448   11%     1319     1% /tmp
/dev/hd1         2097152   1877832   11%      454     1% /home
/proc                  -         -    -         -     -  /proc
/dev/hd10opt     2097152   1918936    9%     2738     2% /opt
/dev/lvoracle   62914560  21142832   67%    71815     3% /oracle
/dev/fslv00   2086666240 934258592   56%      282     1% /rman
/dev/lvdbra     83886080  78449208    7%    20883     1% /dbra
/dev/lvarch    104857600  96784104    8%      124     1% /archlog/orcl2
hisdb01:/archlog/orcl1  167772160 159175536    6%      129     1% /archlog/orcl1
P520:/Tbackup 1258291200 710049520   44%      723     1% /Tbackup

其交换空间下下降至正常水平
引用
root@hisdb02:/dbra/app#lsps -a
Page Space      Physical Volume   Volume Group    Size %Used Active  Auto  Type
paging00        hdisk1            rootvg       15360MB     1   yes   yes    lv
hd6             hdisk0            rootvg       20480MB    30   yes   yes    lv


事后,我查了metalink,Oracle没有明确的说法rman会导致大量的交换空间使用,由于进程已被杀,也没有过多的证据进一步研究。在客户现场救火,有一个重要的信条:恢复应用,不影响业务永远处于第一位。

分享到:
评论

相关推荐

    Oracle-RMAN增量备份恢复测试记录

    开始第一次全备份是指使用RMAN对Oracle数据库进行第一次全备份,以便快速恢复数据库。 2.1.4.1、RMAN 配置选项 RMAN 配置选项是指使用RMAN对Oracle数据库进行备份的配置选项,以便快速恢复数据库。 2.1.4.2、开始...

    rman恢复system表空间实例

    在Oracle数据库管理中,`RMAN`( Recovery Manager)是一个强大的工具,用于执行数据库的备份、恢复和维护任务。本文将详细介绍如何在`SYSTEM`表空间数据文件丢失的情况下,使用`RMAN`进行恢复。 首先,确保有有效...

    记一次oracle rman增量备份恢复计划

    1.1 备份时间 凌晨2点(02:00:00) 1.2 备份操作 注: 增量备份模式为cumulative(累积模式) 1. 周日:0级增量备份 1. 周一:1级增量备份 1. 周二:1级增量备份 ... 并且实现本地备份+异地备份

    Oracle RMAN增量备份恢复测试记录.docx

    ** 使用RMAN从第一次全备份中恢复服务器参数文件(spfile)。 - **重新从恢复后的参数文件启动。** 使用恢复后的spfile重启数据库。 4. **恢复控制文件。** 使用RMAN命令恢复控制文件。 5. **恢复第二次增量备份时的...

    一步一步学rman

    RMAN的命令行操作虽然相对复杂,但它提供了强大的数据库管理和恢复功能,包括完整备份、增量备份、表空间备份、归档日志备份等。RMAN还可以创建脚本,自动化执行复杂的备份策略,以及进行数据库恢复操作,如恢复数据...

    rman增量备份图解

    这意味着每次差异增量备份只会包含新更改的数据,这样做的好处是恢复时只需要最近的一次全量备份加上最后一次差异增量备份,减少了恢复时间。但是,如果有多次差异增量备份,每次恢复都需要逐个应用,这可能导致恢复...

    Oracle rman 文档

    #### 一、为何选择 RMAN RMAN (Recovery Manager) 是 Oracle 数据库内置的一种强大的备份与恢复工具。相比于传统的用户管理备份方式,RMAN 提供了更多自动化功能及高级特性,极大地简化了备份与恢复的工作流程。 #...

    rman备份恢复详解

    rman备份恢复详解 RMAN(Recovery Manager)是一种Oracle数据库备份和恢复工具,能够帮助DBA快速备份和恢复数据库。...但是,需要正确地设置自动归档模式和RMAN参数,否则可能会导致备份和恢复失败。

    RMAN学习

    为了避免数据文件与RMAN备份目录位于同一分区导致的空间不足等问题,建议将RMAN备份目录设置在与数据库文件不同的物理磁盘上。 ### 结论 通过以上对RMAN的介绍和分析,我们可以看到RMAN作为Oracle数据库中的一个...

    RMAN 老师的经典

    根据提供的信息,“RMAN 老师的经典”这一标题似乎是指某个关于RMAN(Recovery Manager)的主题或教程,而“经典私人”这部分可能是指该内容是某位老师私授的经验或者是一些非常有价值的经典案例。然而,由于描述...

    RMAN数据库备份详解

    一、数据库备份与 RMAN 备份的概念 数据库备份是指将数据库的数据保存到外部介质上,以便在数据损坏或丢失时能够恢复数据库。RMAN(Recovery Manager)是 Oracle 提供的一种备份和恢复工具,能够对数据库进行备份和...

    手把手教你ORACLE RMAN异地备份

    "手把手教你ORACLE RMAN异地备份" 该教程旨在教你如何使用ORACLE RMAN实现异地备份,解决了由于数据量急剧增加、...该教程提供了一个详细的ORACLE RMAN异地备份解决方案,解决了服务器空间不足和备份恢复的困难问题。

    一步一步学RMAN oracle备份RMAN使用教程

    一、进入rman 二、rman命令知多少 三、rman备份演练初级篇 四、rman备份演练进阶篇 五、rman外传-基础资料篇1 六、实战rman备份 七、rman外传-基础资料篇2 八、演练rman恢复 九、实战rman恢复(1)丢失控制文件的恢复 ...

    [三思笔记] 一步一步学RMAN

    一、进入rman 二、rman命令知多少 三、rman备份演练初级篇 四、rman备份演练进阶篇 五、rman外传-基础资料篇1 六、实战rman备份 七、rman外传-基础资料篇2 八、演练rman恢复 九、实战rman恢复(1)丢失控制文件的恢复 ...

    RMAN备份脚本(详细)

    RMAN(Recovery Manager)是Oracle数据库管理系统中的一个重要工具,用于执行数据库的备份、恢复以及维护操作。在Oracle环境中,DBA(数据库管理员)经常使用RMAN来确保数据的安全性和可恢复性。以下是对"RMAN备份...

    RMAN快速入门指南

    RMAN(Recovery Manager)是Oracle数据库管理系统中的一个重要工具,专为数据库备份、恢复和维护设计。本快速入门指南将帮助你理解RMAN的基础知识,包括它的功能、使用方法以及如何进行有效的数据库备份策略。 一、...

    oracle RMAN的使用

    Recovery Manager(RMAN)是一种用于备份(backup)、还原(restore)和恢复(recover) 数据库的Oracle 工具。RMAN只能用于ORACLE8或更高的版本中。它能够备份整个数据 库或数据库部件,如表空间、数据文件、控制文件、...

    RMAN参考手册.pdf

    RMAN(Recovery Manager)是Oracle数据库提供的一个用于数据库备份、恢复以及迁移的工具。它能够备份和恢复Oracle数据库中的数据文件、控制文件、参数文件和归档日志文件等关键组件。RMAN可以与目标数据库进行通信,...

    rman备份策略及脚本

    在Oracle数据库管理中,RMAN(Recovery Manager)是一个强大的工具,用于执行数据库备份和恢复操作。"rman备份策略及脚本"是数据库管理员必须掌握的关键技能,它涉及到如何有效地保护数据,确保在出现故障时能快速...

Global site tag (gtag.js) - Google Analytics