- 浏览: 33193 次
- 性别:
- 来自: 西安
文章分类
最新评论
最近遇到Oracle 表中数据量很大查询和更新比较慢 需要删除,发现删除后查询速度还是很慢,原来是delete oracle 高水位没有下降的原因。
在oracle里,使用delete删除数据以后,数据库的存储容量不会减少,而且使用delete删除某个表的数据以后,查询这张表的速度和删除之前一样,不会发生变化。
因为oralce有一个HWM高水位,它是oracle的一个表使用空间最高水位线。当插入了数据以后,高水位线就会上涨,但是如果你采用delete语句删除数据的话,数据虽然被删除了,但是高水位线却没有降低,还是你刚才删除数据以前那么高的水位。除非使用truncate删除数据。那么,这条高水位线在日常的增删操作中只会上涨,不会下跌,所以数据库容量也只会上升,不会下降。而使用select语句查询数据时,数据库会扫描高水位线以下的数据块,因为高水位线没有变化,所以扫描的时间不会减少,所以才会出现使用delete删除数据以后,查询的速度还是和delete以前一样
解决方案:
1.首先导出表,然后truncate这张表,最后导入这张表。
2.在存储空间当中移动表,但是由于rowid会被打乱,所以需要重建索引.
3.如果是oracle 10g.可是直接更新表的高水位线。
对应的SQL:
9i中:
create table aa_bak as select * from aa where record_time > sysdate - 10;
truncate table aa;
insert into aa select * from aa_bak;
drop table aa_bak;
10g 版本(也适用于11G)
alter tablename enable row movement;
alter tablename shrink space;
实战:
select count(*) from wlkp_fp_kj
查询结果显示2301245 条记录
我们需要删除一部分数据
删除之前我们先查看表的高水位线(wlkp_fp_kj 是张分区表)
SELECT segment_name, segment_type, blocks FROM dba_segments WHERE segment_name = 'WLKP_FP_KJ'
删除数据SQL
select count(*) from wlkp_fp_kj where kprq'2011-12-01 14:00:00', 'yyyy-mm-dd,hh24:mi:ss')
and kprq>to_date('2011-11-01 14:00:00', 'yyyy-mm-dd,hh24:mi:ss')
记录条数 54802
删除语句
delete from wlkp_fp_kj where kprq'2011-12-01 14:00:00', 'yyyy-mm-dd,hh24:mi:ss')
and kprq>to_date('2011-11-01 14:00:00', 'yyyy-mm-dd,hh24:mi:ss')
删除后查询WLKP_FP_KJ 表的高水位
发现查询结果和上面没有删除之前一样没有变化。说明DELETE 语句高水位不会下降
我数据库10G 直接用方法二实现
执行如下语句:
alter table wlkp_fp_kj enable row movement; alter table wlkp_fp_kj shrink space;
执行后结果在查询WLKP_FP_KJ的高水位
很明显看到执行后高水位下降了。
----->>补充说明:
select blocks, empty_blocks from dba_tables where table_name='xxx' and owner='xx';
blocks就是已经分配的空间即HWM,实际分配的空间,不是实际大小
--->>Oracle 10g Shrink Table和Shrink Space使用详解
Oracle 10gShrink Table的使用是本文我们主要要介绍的内容,我们知道,如果经常在表上执行DML操作,会造成数据库块中数据分布稀疏,浪费大量空间。同时也会影响全表扫描的性能,因为全表扫描需要访问更多的数据块。从Oracle 10g开始,表可以通过shrink来重组数据使数据分布更紧密,同时降低HWM释放空闲数据块。
segment shrink分为两个阶段:
1、数据重组(compact):通过一系列insert、delete操作,将数据尽量排列在段的前面。在这个过程中需要在表上加RX锁,即只在需要移动的行上加锁。由于涉及到rowid的改变,需要enable row movement.同时要disable基于rowid的trigger.这一过程对业务影响比较小。
2、HWM调整:第二阶段是调整HWM位置,释放空闲数据块。此过程需要在表上加X锁,会造成表上的所有DML语句阻塞。在业务特别繁忙的系统上可能造成比较大的影响。Shrink Space语句两个阶段都执行。Shrink Space compact只执行第一个阶段。
如果系统业务比较繁忙,可以先执行Shrink Space compact重组数据,然后在业务不忙的时候再执行Shrink Space降低HWM释放空闲数据块。shrink必须开启行迁移功能。
alter table table_name enable row movement ;
注意:alter table XXX enable row movement语句会造成引用表XXX的对象(如存储过程、包、视图等)变为无效。执行完成后,最好执行一下utlrp.sql来编译无效的对象。
语法:
alter table shrink space [ | compact | cascade ]; alter table shrink space compcat;
收缩表,相当于把块中数据打结实了,但会保持high water mark;
alter table Shrink Space;
收缩表,降低 high water mark;
alter table Shrink Space cascade;
收缩表,降低 high water mark,并且相关索引也要收缩一下下。
alter index idxname Shrink Space;
回缩索引
1:普通表
Sql脚本,改脚本会生成相应的语句
select'alter table '||table_name||' enable row movement;'||chr(10)||'alter table '||table_name||' shrink space;'||chr(10)from user_tables; select'alter index '||index_name||' shrink space;'||chr(10)from user_indexes;
2:分区表的处理
进行Shrink Space时 发生ORA-10631错误.Shrink Space有一些限制.
在表上建有函数索引(包括全文索引)会失败。
Sql脚本,改脚本会生成相应的语句
select 'alter table '||table_name||' enable row movement;'||chr(10)||'alter table '||table_name||' shrink space;'||chr(10) from user_tables where ; select 'alter index '||index_name||' shrink space;'||chr(10) from user_indexes where uniqueness='NONUNIQUE' ; select 'alter table '||segment_name||' modify subpartition '||partition_name||' shrink space;'||chr(10) from user_segments where segment_type='TABLE SUBPARTITION' ';
Shrink的几点问题:
1. shrink后index是否需要rebuild:因为shrink的操作也会改变行数据的rowid,那么,如果table上有index时,shrink table后index会不会变为UNUSABLE呢?
我们来看这样的实验,同样构建my_objects的测试表:
create table my_objects tablespace ASSM as select * from all_objects where rownum<20000;
create index i_my_objects on my_objects (object_id);
delete from my_objects where object_name like '%C%';
delete from my_objects where object_name like '%U%';
现在我们来shrink table my_objects:
SQL> alter table my_objects enable row movement; Table altered
SQL> alter table my_objects shrink space; Table altered
SQL> select index_name,status from user_indexes where index_name='I_MY_OBJECTS';
INDEX_NAME STATUS ------------------------------ --------
I_MY_OBJECTS VALID
我们发现,table my_objects上的index的状态为VALID,估计shrink在移动行数据时,也一起维护了index上相应行的数据rowid的信息。我们认为,这是对于move操作后需要rebuild index的改进。但是如果一个table上的index数量较多,我们知道,维护index的成本是比较高的,shrink过程中用来维护index的成本也会比较高。
2. shrink时对table的lock
在对table进行shrink时,会对table进行怎样的锁定呢?当我们对table MY_OBJECTS进行shrink操作时,查询v$locked_objects视图可以发现,table MY_OBJECTS上加了row-X (SX) 的lock:
SQL>select OBJECT_ID, SESSION_ID,ORACLE_USERNAME,LOCKED_MODE from v$locked_objects;
OBJECT_ID SESSION_ID ORACLE_USERNAME LOCKED_MODE ---------- ---------- ------------------ -----------
55422 153 DLINGER 3
SQL> select object_id from user_objects where object_name = 'MY_OBJECTS';
OBJECT_ID ---------- 55422
那么,当table在进行shrink时,我们对table是可以进行DML操作的。
3.shrink对空间的要求
我们在前面讨论了shrink的数据的移动机制,既然oracle是从后向前移动行数据,那么,shrink的操作就不会像move一样,shrink不需要使用额外的空闲空间。
链接地址:http://blog.itpub.net/29119536/viewspace-1140368/
在oracle里,使用delete删除数据以后,数据库的存储容量不会减少,而且使用delete删除某个表的数据以后,查询这张表的速度和删除之前一样,不会发生变化。
因为oralce有一个HWM高水位,它是oracle的一个表使用空间最高水位线。当插入了数据以后,高水位线就会上涨,但是如果你采用delete语句删除数据的话,数据虽然被删除了,但是高水位线却没有降低,还是你刚才删除数据以前那么高的水位。除非使用truncate删除数据。那么,这条高水位线在日常的增删操作中只会上涨,不会下跌,所以数据库容量也只会上升,不会下降。而使用select语句查询数据时,数据库会扫描高水位线以下的数据块,因为高水位线没有变化,所以扫描的时间不会减少,所以才会出现使用delete删除数据以后,查询的速度还是和delete以前一样
解决方案:
1.首先导出表,然后truncate这张表,最后导入这张表。
2.在存储空间当中移动表,但是由于rowid会被打乱,所以需要重建索引.
3.如果是oracle 10g.可是直接更新表的高水位线。
对应的SQL:
9i中:
create table aa_bak as select * from aa where record_time > sysdate - 10;
truncate table aa;
insert into aa select * from aa_bak;
drop table aa_bak;
10g 版本(也适用于11G)
alter tablename enable row movement;
alter tablename shrink space;
实战:
select count(*) from wlkp_fp_kj
查询结果显示2301245 条记录
我们需要删除一部分数据
删除之前我们先查看表的高水位线(wlkp_fp_kj 是张分区表)
SELECT segment_name, segment_type, blocks FROM dba_segments WHERE segment_name = 'WLKP_FP_KJ'
删除数据SQL
select count(*) from wlkp_fp_kj where kprq'2011-12-01 14:00:00', 'yyyy-mm-dd,hh24:mi:ss')
and kprq>to_date('2011-11-01 14:00:00', 'yyyy-mm-dd,hh24:mi:ss')
记录条数 54802
删除语句
delete from wlkp_fp_kj where kprq'2011-12-01 14:00:00', 'yyyy-mm-dd,hh24:mi:ss')
and kprq>to_date('2011-11-01 14:00:00', 'yyyy-mm-dd,hh24:mi:ss')
删除后查询WLKP_FP_KJ 表的高水位
发现查询结果和上面没有删除之前一样没有变化。说明DELETE 语句高水位不会下降
我数据库10G 直接用方法二实现
执行如下语句:
alter table wlkp_fp_kj enable row movement; alter table wlkp_fp_kj shrink space;
执行后结果在查询WLKP_FP_KJ的高水位
很明显看到执行后高水位下降了。
----->>补充说明:
select blocks, empty_blocks from dba_tables where table_name='xxx' and owner='xx';
blocks就是已经分配的空间即HWM,实际分配的空间,不是实际大小
--->>Oracle 10g Shrink Table和Shrink Space使用详解
Oracle 10gShrink Table的使用是本文我们主要要介绍的内容,我们知道,如果经常在表上执行DML操作,会造成数据库块中数据分布稀疏,浪费大量空间。同时也会影响全表扫描的性能,因为全表扫描需要访问更多的数据块。从Oracle 10g开始,表可以通过shrink来重组数据使数据分布更紧密,同时降低HWM释放空闲数据块。
segment shrink分为两个阶段:
1、数据重组(compact):通过一系列insert、delete操作,将数据尽量排列在段的前面。在这个过程中需要在表上加RX锁,即只在需要移动的行上加锁。由于涉及到rowid的改变,需要enable row movement.同时要disable基于rowid的trigger.这一过程对业务影响比较小。
2、HWM调整:第二阶段是调整HWM位置,释放空闲数据块。此过程需要在表上加X锁,会造成表上的所有DML语句阻塞。在业务特别繁忙的系统上可能造成比较大的影响。Shrink Space语句两个阶段都执行。Shrink Space compact只执行第一个阶段。
如果系统业务比较繁忙,可以先执行Shrink Space compact重组数据,然后在业务不忙的时候再执行Shrink Space降低HWM释放空闲数据块。shrink必须开启行迁移功能。
alter table table_name enable row movement ;
注意:alter table XXX enable row movement语句会造成引用表XXX的对象(如存储过程、包、视图等)变为无效。执行完成后,最好执行一下utlrp.sql来编译无效的对象。
语法:
alter table shrink space [ | compact | cascade ]; alter table shrink space compcat;
收缩表,相当于把块中数据打结实了,但会保持high water mark;
alter table Shrink Space;
收缩表,降低 high water mark;
alter table Shrink Space cascade;
收缩表,降低 high water mark,并且相关索引也要收缩一下下。
alter index idxname Shrink Space;
回缩索引
1:普通表
Sql脚本,改脚本会生成相应的语句
select'alter table '||table_name||' enable row movement;'||chr(10)||'alter table '||table_name||' shrink space;'||chr(10)from user_tables; select'alter index '||index_name||' shrink space;'||chr(10)from user_indexes;
2:分区表的处理
进行Shrink Space时 发生ORA-10631错误.Shrink Space有一些限制.
在表上建有函数索引(包括全文索引)会失败。
Sql脚本,改脚本会生成相应的语句
select 'alter table '||table_name||' enable row movement;'||chr(10)||'alter table '||table_name||' shrink space;'||chr(10) from user_tables where ; select 'alter index '||index_name||' shrink space;'||chr(10) from user_indexes where uniqueness='NONUNIQUE' ; select 'alter table '||segment_name||' modify subpartition '||partition_name||' shrink space;'||chr(10) from user_segments where segment_type='TABLE SUBPARTITION' ';
Shrink的几点问题:
1. shrink后index是否需要rebuild:因为shrink的操作也会改变行数据的rowid,那么,如果table上有index时,shrink table后index会不会变为UNUSABLE呢?
我们来看这样的实验,同样构建my_objects的测试表:
create table my_objects tablespace ASSM as select * from all_objects where rownum<20000;
create index i_my_objects on my_objects (object_id);
delete from my_objects where object_name like '%C%';
delete from my_objects where object_name like '%U%';
现在我们来shrink table my_objects:
SQL> alter table my_objects enable row movement; Table altered
SQL> alter table my_objects shrink space; Table altered
SQL> select index_name,status from user_indexes where index_name='I_MY_OBJECTS';
INDEX_NAME STATUS ------------------------------ --------
I_MY_OBJECTS VALID
我们发现,table my_objects上的index的状态为VALID,估计shrink在移动行数据时,也一起维护了index上相应行的数据rowid的信息。我们认为,这是对于move操作后需要rebuild index的改进。但是如果一个table上的index数量较多,我们知道,维护index的成本是比较高的,shrink过程中用来维护index的成本也会比较高。
2. shrink时对table的lock
在对table进行shrink时,会对table进行怎样的锁定呢?当我们对table MY_OBJECTS进行shrink操作时,查询v$locked_objects视图可以发现,table MY_OBJECTS上加了row-X (SX) 的lock:
SQL>select OBJECT_ID, SESSION_ID,ORACLE_USERNAME,LOCKED_MODE from v$locked_objects;
OBJECT_ID SESSION_ID ORACLE_USERNAME LOCKED_MODE ---------- ---------- ------------------ -----------
55422 153 DLINGER 3
SQL> select object_id from user_objects where object_name = 'MY_OBJECTS';
OBJECT_ID ---------- 55422
那么,当table在进行shrink时,我们对table是可以进行DML操作的。
3.shrink对空间的要求
我们在前面讨论了shrink的数据的移动机制,既然oracle是从后向前移动行数据,那么,shrink的操作就不会像move一样,shrink不需要使用额外的空闲空间。
链接地址:http://blog.itpub.net/29119536/viewspace-1140368/
发表评论
-
java.sql.SQLException: 无效的列索引
2016-01-04 11:44 1573java.sql.SQLException: 无效的列索引 “ ... -
32位hadoop编译实现与64位操作系统兼容
2015-12-08 20:47 1261没有安装过集群的朋友,可能没有发现,hadoop版本没有64位 ... -
shell中的tput命令讲解
2015-12-04 15:05 2305什么是 tput? tput 命令将通过 terminfo ... -
linux的bc计算器
2015-11-23 13:06 1361bc 命令: bc 命令是用于命令行计算器。 它类似 ... -
pctfree和pctused
2015-11-19 11:19 826一、建立表时候,注意PCTFREE参数的作用 P ... -
物化视图
2015-11-19 10:52 482一、准备条件以及备注 假设双方数据库都是ORAC ... -
set feedback
2015-11-19 09:27 6671。set feedback 有三种方式: set feedb ... -
hive 的CLI使用手册
2015-11-18 15:18 1764写的不够全,后面有时间再补吧<个人汉语水平有限,语言组织 ... -
面试经验总结
2015-11-06 21:53 676今天是面试的第一天,从西安来北京这么久,感觉今天的挫败感 ... -
MapReduce 从作业、任务(task)、管理员角度调优
2015-10-14 00:53 1009【摘自hyj博主】 Hadoop为 ... -
hadoop作业的优化常用手段
2015-10-13 23:38 817在mapreduce应用机制全部完成后,常面临一个常见问题“作 ... -
oracle中修改有数据的表的字段类型
2015-10-10 02:00 6016【修改时会涉及到数据类型转换,小心】 在修改列的长度时候,只能 ... -
初始化参数设置—processes与session
2015-10-10 01:18 1981【摘自jslfl的微博,感谢大神的总结,很有帮助所以收藏了】 ... -
ORACLE并行度
2015-10-10 00:50 1761在索引create 和rebuild的时候,在CPU 允许的情 ...
相关推荐
### Oracle高水位处理脚本分析 #### 脚本解读 1. **分析表统计信息**: ```sql ANALYZE TABLE AC9G_TEMP COMPUTE STATISTICS; ``` 这条命令用于计算表`AC9G_TEMP`的统计信息,包括行数、块数等,这对于后续分析...
其中,“高水位”(High Water Mark,简称HWM)是Oracle数据库中的一个重要概念,它与表空间、段、区和块等存储结构密切相关。本篇文章将深入探讨Oracle高水位的概念、作用以及其在数据库操作中的影响。 高水位...
浅谈ORACLE高水位线的解决方法.pdf
Oracle 高水位(High Water Mark)概念及解决问题详解 Oracle 高水位(High Water Mark)是指 Oracle 数据库中表空间的物理存储单元中的最大使用块数,超过这个点,数据库的查询效率将受到影响。Oracle 数据库的...
了解和管理Oracle数据库中的高端水位,对于优化数据库性能、减少空间浪费和提高数据处理速度具有重要意义。通过合理运用高端水位的概念,DBA和开发人员可以更好地控制数据库资源,确保系统的稳定性和高效运行。
Oracle 表删除大量数据后查询变慢问题分析 在 Oracle 数据库中,如果删除了大量数据(千万级别),可能会出现查询变慢的问题。下面我们将分析这个问题的原因,并提供解决方案。 问题的原因主要有两个方面: 1. 表...
3.1.4 全扫描与高水位线 60 3.2 索引扫描访问方法 65 3.2.1 索引结构 66 3.2.2 索引扫描类型 68 3.2.3 索引唯一扫描 71 3.2.4 索引范围扫描 72 3.2.5 索引全扫描 74 3.2.6 索引跳跃扫描 77 3.2.7 索引快速...
根据给定的文件信息,以下是从“oracle常见傻瓜问题100问”中提炼出的关键知识点,适合各类对Oracle数据库有兴趣的人士参考学习。 ### 1. Oracle默认账号及密码 - `internal/oracle` - `sys/change_on_install` - ...
Oracle的Freelist(自由列表)和HWM(高水位线)是数据库管理中的关键概念,它们直接影响到数据存储的效率和SQL查询性能。本文将深入解析这两个概念及其原理,并探讨相关的性能优化策略。 首先,Oracle的Freelist是...
【HA+ORACLE RAC集群】是指在高可用性(High Availability, HA)架构下,使用Oracle Real Application Clusters (RAC)技术构建的数据库集群。这种集群方案旨在确保数据库服务在硬件故障或其他系统问题发生时仍能持续...
以下是对Oracle面试中常见二十个问题的详细解析,这些问题涵盖了数据库管理、性能优化、故障恢复等多个方面,对于准备参加Oracle相关职位面试的求职者而言,具有很高的参考价值。 ### 1. 冷备份与热备份的区别 冷...
Oracle AWR(Automatic Workload Repository)报告是数据库管理员用于诊断和优化数据库性能的重要工具。...同时,等待事件的详细信息提供了对数据库瓶颈的直观理解,帮助我们在面对复杂问题时找到解决方案。
11. **其他问题**:例如,由于扩展磁盘分配导致的争用,移动对象高水位引发的冲突,以及Streams和AQ(Advanced Queuing)的问题。 ADDM的使用简化了DBA的工作流程,不再需要手动分析复杂的性能数据和猜测可能的问题...
这种方式虽然可以提高插入速度,但可能会导致表空间一直保持在较高的水位,不适合频繁更新的表。 - **Free Block 的使用:** Append 模式下的插入操作不会去寻找表中的 free block,而是直接在 High Water Mark (HWM...
Oracle SQL在连接数据库和处理层次数据方面提供了多种特殊用法,尤其在Oracle 9i及后续版本中,这些功能得到了显著增强。以下是针对【标题】"oracle-sql"和【描述】"oracle-sql connect 特殊用法"中涉及的知识点的...
Oracle 在处理数据时,通常以数据块为单位进行读取和写入操作,而不是按照操作系统级别的块大小来处理。 #### 二、数据块容量与初始化参数 在 Oracle 数据库中,数据块的容量主要通过初始化参数 `DB_BLOCK_SIZE` ...