`
jake0719
  • 浏览: 90386 次
  • 性别: Icon_minigender_1
  • 来自: 杭州
社区版块
存档分类
最新评论

Oracle中查找和删除重复记录方法简介

阅读更多

收藏的共享下,蛮不错的.

 

作者:bensiyuan

转自http://tech.ccidnet.com/art/1107/20070403/1051589_1.html

 

平时工作中可能会遇到当试图对库表中的某一列或几列创建唯一索引时,系统提示 ORA-01452 :不能创建唯一索引,发现重复记录。

下面总结一下几种查找和删除重复记录的方法(以表CZ为例):

表CZ的结构如下:

SQL> desc cz
Name Null? Type
----------------------------------------- 

C1 NUMBER(10)
C10 NUMBER(5)
C20 VARCHAR2(3)

删除重复记录的方法原理:

(1).在Oracle中,每一条记录都有一个rowid,rowid在整个数据库中是唯一的,rowid确定了每条记录是在Oracle中的哪一个数据文件、块、行上。

(2).在重复的记录中,可能所有列的内容都相同,但rowid不会相同,所以只要确定出重复记录中那些具有最大rowid的就可以了,其余全部删除。

重复记录判断的标准是:

C1,C10和C20这三列的值都相同才算是重复记录。

经查看表CZ总共有16条记录:

SQL>set pagesize 100
SQL>select * from cz;

C1 C10 C20
---------- ---------- ---
1 2 dsf
1 2 dsf
1 2 dsf
1 2 dsf
2 3 che
1 2 dsf
1 2 dsf
1 2 dsf
1 2 dsf
2 3 che
2 3 che
2 3 che
2 3 che
3 4 dff
3 4 dff
3 4 dff
4 5 err
5 3 dar
6 1 wee
7 2 zxc

20 rows selected.

1.查找重复记录的几种方法:

(1).SQL>select * from cz group by c1,c10,c20 having count(*) >1;
C1 C10 C20
---------- ---------- ---
1 2 dsf
2 3 che
3 4 dff

(2).SQL>select distinct * from cz;

C1 C10 C20
---------- ---------- ---
1 2 dsf
2 3 che
3 4 dff

(3).SQL>select * from cz a where rowid=(select max(rowid) 
from cz where c1=a.c1 and c10=a.c10 and c20=a.c20);
C1 C10 C20
---------- ---------- ---
1 2 dsf
2 3 che
3 4 dff

2.删除重复记录的几种方法:

(1).适用于有大量重复记录的情况(在C1,C10和C20列上建有索引的时候,用以下语句效率会很高):

SQL>delete cz where (c1,c10,c20) in (select c1,c10,
c20 from cz group by c1,c10,c20 having count(*)>1) and rowid not in
(select min(rowid) from cz group by c1,c10,c20 having count(*)>1);

SQL>delete cz where rowid not in
(select min(rowid) from cz group by c1,c10,c20);

(2).适用于有少量重复记录的情况(注意,对于有大量重复记录的情况,用以下语句效率会很低):

SQL>delete from cz a where a.rowid!=(select max(rowid)
 from cz b where a.c1=b.c1 and a.c10=b.c10 and a.c20=b.c20);

SQL>delete from cz a where a.rowid<(select max(rowid) 
from cz b where a.c1=b.c1 and a.c10=b.c10 and a.c20=b.c20);

SQL>delete from cz a where rowid <(select max(rowid) 
from cz where c1=a.c1 and c10=a.c10 and c20=a.c20);

(3).适用于有少量重复记录的情况(临时表法):

SQL>create table test as select distinct * from cz; 
(建一个临时表test用来存放重复的记录)

SQL>truncate table cz; (清空cz表的数据,但保留cz表的结构)

SQL>insert into cz select * from test; 
(再将临时表test里的内容反插回来)

(4).适用于有大量重复记录的情况(Exception into 子句法):

采用alter table 命令中的 Exception into 子句也可以确定出库表中重复的记录。这种方法稍微麻烦一些,为了使用“excepeion into ”子句,必须首先创建 EXCEPTIONS 表。创建该表的 SQL 脚本文件为 utlexcpt.sql 。对于win2000系统和 UNIX 系统, Oracle 存放该文件的位置稍有不同,在win2000系统下,该脚本文件存放在$ORACLE_HOMEOra90rdbmsadmin 目录下;而对于 UNIX 系统,该脚本文件存放在$ORACLE_HOME/rdbms/admin 目录下。

具体步骤如下:

SQL>@?/rdbms/admin/utlexcpt.sql

Table created.

SQL>desc exceptions
Name Null? Type
----------------------------------------- 

ROW_ID ROWID
OWNER VARCHAR2(30)
TABLE_NAME VARCHAR2(30)
CONSTRAINT VARCHAR2(30)

SQL>alter table cz add constraint 
cz_unique unique(c1,c10,c20) exceptions into exceptions; 
*
ERROR at line 1:
ORA-02299: cannot validate (TEST.CZ_UNIQUE) - duplicate keys found

SQL>create table dups as select 
* from cz where rowid in (select row_id from exceptions); 

Table created.

SQL>select * from dups; 

C1 C10 C20
---------- ---------- ---
1 2 dsf
1 2 dsf
1 2 dsf
1 2 dsf
2 3 che
1 2 dsf
1 2 dsf
1 2 dsf
1 2 dsf
2 3 che
2 3 che
2 3 che
2 3 che
3 4 dff
3 4 dff
3 4 dff

16 rows selected.

SQL>select row_id from exceptions;

ROW_ID
------------------
AAAHD/AAIAAAADSAAA
AAAHD/AAIAAAADSAAB
AAAHD/AAIAAAADSAAC
AAAHD/AAIAAAADSAAF
AAAHD/AAIAAAADSAAH
AAAHD/AAIAAAADSAAI
AAAHD/AAIAAAADSAAG
AAAHD/AAIAAAADSAAD
AAAHD/AAIAAAADSAAE
AAAHD/AAIAAAADSAAJ
AAAHD/AAIAAAADSAAK
AAAHD/AAIAAAADSAAL
AAAHD/AAIAAAADSAAM
AAAHD/AAIAAAADSAAN
AAAHD/AAIAAAADSAAO
AAAHD/AAIAAAADSAAP

16 rows selected.

SQL>delete from cz where rowid in 
( select row_id from exceptions);

16 rows deleted.

SQL>insert into cz select distinct * from dups;

3 rows created.

SQL>select *from cz;

C1 C10 C20
---------- ---------- ---
1 2 dsf
2 3 che
3 4 dff
4 5 err
5 3 dar
6 1 wee
7 2 zxc

7 rows selected.

从结果里可以看到重复记录已经删除。

分享到:
评论
1 楼 aaron2007 2008-12-26  
晕乎乎的
不过确实挺全的!记得面试的时候我还被问道这个呢!呵呵当时没有做出来!就知道distinct呵呵

相关推荐

    Oracle中查找和删除重复记录方法

    在重复的记录中,可能所有列的内容都相同,但rowid不会相同,所以只要确定出重复记录中那些具有最大rowid的就可以了,其余全部删除。重复记录判断的标准是:C1,C10和C20这三列的值都相同才算是重复记录。

    Oracle中用Rowid查找和删除表中的重复记录

    此方法通过子查询找到每个重复记录组中的最大Rowid,从而获取到每组重复记录中的一个。 #### 删除重复记录 针对不同的场景,可以采取以下几种策略来删除重复记录: 1. **基于Group By和Min/Max Rowid** ```sql ...

    Oracle查询重复数据与删除重复记录方法

    此查询语句通过子查询找出每组重复记录中ROWID最小的那条记录,并在外部查询中筛选出除ROWID最小之外的其他重复记录。 ##### 2. 使用GROUP BY方法 **查询重复数据示例** 使用`GROUP BY`方法时,可以通过计算每组...

    使用Oracle查询并删除重复记录的SQL语句

    Oracle数据库提供了多种方式来查询和删除重复记录,本文将详细介绍这些方法。 查找表中多余的重复记录 使用子查询可以轻松地查找表中多余的重复记录。例如,假设我们有一个名为people的表,其中包含一个名为...

    解决Oracle删除重复数据只留一条的方法详解

    查询及删除重复记录的SQL语句1、查找表中多余的重复记录,重复记录是根据单个字段(Id)来判断select * from 表 where Id in (select Id from 表 group by Id having count(Id) &gt; 1)2、删除表中多余的重复记录,...

    Oracle查询重复数据并删除,只保留一条记录.docx

    在 Oracle 中,我们可以使用 GROUP BY 语句来查找重复记录。假设我们要根据 FIELD_CODE 字段来判断重复记录,可以使用以下语句: ```sql select * from R_RESOURCE_DETAILS where FIELD_CODE in(select FIELD_CODE ...

    ORACLE重复记录查询.docxORACLE

    本文将详细探讨如何在Oracle中查询和删除重复记录,主要聚焦于单个字段和多个字段的情况。 1. **单个字段重复记录查询** 当我们需要根据单个字段(如`peopleId`)查找重复记录时,可以使用以下SQL语句: ```sql ...

    查询及删除重复记录的SQL语句.

    这个命令会删除除了每个 `Id` 组中 `ROWID` 最小的记录之外的所有重复记录。 3. **查询多个字段的重复记录**: 如果需要基于多个字段(如 `Id` 和 `seq`)来查找重复,可以修改查询语句如下: ```sql select * ...

    oracle删除重复数据方法

    Oracle 数据库中删除重复数据的方法是一项常见的数据清洗任务,尤其在大数据量的环境中,确保数据的唯一性和准确性至关重要。以下是一些针对不同情况的 Oracle SQL 语句,用于查找和删除重复数据: 1. **根据单个...

    Oracle 查找与删除表中重复记录的步骤方法

    本篇文章将详细介绍如何在Oracle中查找并删除重复记录。 首先,查找重复记录通常涉及使用`GROUP BY`和`HAVING`子句。例如,如果我们有一个名为`CFA`的表,包含`businessid`、`customer`、`branchcode`和`data_date`...

    ORACLE查询删除重复记录三种方法

    总之,删除Oracle数据库中的重复记录可以根据具体情况选择rowid、group by或distinct方法。理解这些方法的工作原理和适用场景,可以帮助数据库管理员更有效地管理数据,保持数据的准确性和一致性。

    oracle查询重复数据和删除重复记录示例分享

    这些示例展示了在Oracle中处理重复数据的基本方法,包括查询重复数据以及根据特定条件保留或删除重复记录。在实际应用中,需要根据业务需求和数据情况灵活调整这些SQL语句。在执行删除操作时,务必谨慎,确保有备份...

    Oracle重复数据清理

    5. 特定字段的过滤:在上述提供的示例中,虽然某些过滤条件已被注释掉,但可以通过在查询中加入特定的过滤条件来限制要查找和删除重复数据的范围,例如只针对特定的车辆编号或分类编号进行操作。 6. 注意数据迁移的...

    如何查出同一张表中字段值重复的记录

    主要内容包括使用三种方法:ROWID、GROUP BY 和 DISTINCT,来查找和删除表中的重复记录。 ### 一、ROWID 方法 #### 1.1 查找重复记录 ROWID 是 Oracle 数据库中用于唯一标识表中每一条记录的一种特殊类型。可以...

    oracle学习及练习语句

    Oracle提供了`DISTINCT`关键字去除查询结果中的重复行,而在`删除重复记录sql.txt`中,你可能看到如何使用`GROUP BY`和`HAVING`结合`MIN/MAX`函数,或者`MERGE`语句来删除重复记录。`oracle-merge.txt`文件则介绍了...

    查询和删除表中重复数据

    SQL Server 中删除具有相同 `servid` 的重复记录 **示例**: ```sql DELETE FROM t_serviceitem WHERE servid IN (SELECT servid FROM t_serviceitem GROUP BY servid HAVING COUNT(servid) &gt; 1) AND gid NOT IN ...

Global site tag (gtag.js) - Google Analytics