`
quadrapop
  • 浏览: 5368 次
  • 性别: Icon_minigender_1
  • 来自: 杭州
社区版块
存档分类
最新评论

转载： 用SQL删除重复记录的N种方法

.netBlog 
阅读更多
注明： 该文章转自http://blog.csdn.net/jeefchen/archive/2009/06/05/4246110.aspx（非原创）

例如： 
  id           name         value 
  1               a                 pp 
  2               a                 pp 
  3               b                 iii 
  4               b                 pp 
  5               b                 pp 
  6               c                 pp 
  7               c                 pp 
  8               c                 iii 
  id是主键 
  要求得到这样的结果 
  id           name         value 
  1               a                 pp 
  3               b                 iii 
  4               b                 pp 
  6               c                 pp 
  8               c                 iii

方法1 
delete   YourTable   
  where   [id]   not   in   (  
  select   max([id])   from   YourTable   
  group   by   (name   +   value))

方法2 
delete   a  
  from   表   a   left   join(  
  select   id=min(id)   from   表   group   by   name,value  
  )b   on   a.id=b.id  
  where   b.id   is   null

查询及删除重复记录的SQL语句
查询及删除重复记录的SQL语句
1、查找表中多余的重复记录，重复记录是根据单个字段（peopleId）来判断
select * from people
where peopleId in (select   peopleId from   people group by   peopleId having count(peopleId) > 1)
2、删除表中多余的重复记录，重复记录是根据单个字段（peopleId）来判断，只留有rowid最小的记录
delete from people
where peopleId in (select   peopleId from people group by   peopleId   having count(peopleId) > 1)
and rowid not in (select min(rowid) from   people group by peopleId having count(peopleId )>1)
3、查找表中多余的重复记录（多个字段）
select * from vitae a
where (a.peopleId,a.seq) in   (select peopleId,seq from vitae group by peopleId,seq having count(*) > 1)
4、删除表中多余的重复记录（多个字段），只留有rowid最小的记录
delete from vitae a
where (a.peopleId,a.seq) in   (select peopleId,seq from vitae group by peopleId,seq having count(*) > 1)
and rowid not in (select min(rowid) from vitae group by peopleId,seq having count(*)>1)

5、查找表中多余的重复记录（多个字段），不包含rowid最小的记录
select * from vitae a
where (a.peopleId,a.seq) in   (select peopleId,seq from vitae group by peopleId,seq having count(*) > 1)
and rowid not in (select min(rowid) from vitae group by peopleId,seq having count(*)>1)
(二)
比方说
在A表中存在一个字段“name”，
而且不同记录之间的“name”值有可能会相同，
现在就是需要查询出在该表中的各记录之间，“name”值存在重复的项；
Select Name,Count(*) From A Group By Name Having Count(*) > 1
如果还查性别也相同大则如下:
Select Name,sex,Count(*) From A Group By Name,sex Having Count(*) > 1

(三)
方法一
declare @max integer,@id integer
declare cur_rows cursor local for select 主字段,count(*) from 表名 group by 主字段 having count(*) >； 1
open cur_rows
fetch cur_rows into @id,@max
while @@fetch_status=0
begin
select @max = @max -1
set rowcount @max
delete from 表名 where 主字段 = @id
fetch cur_rows into @id,@max
end
close cur_rows
set rowcount 0 方法二
＂重复记录＂有两个意义上的重复记录，一是完全重复的记录，也即所有字段均重复的记录，二是部分关键字段重复的记录，比如Name字段重复，而其他字段不一定重复或都重复可以忽略。
　　1、对于第一种重复，比较容易解决，使用
select distinct * from tableName
　　就可以得到无重复记录的结果集。
　　如果该表需要删除重复的记录（重复记录保留1条），可以按以下方法删除
select distinct * into #Tmp from tableName
drop table tableName
select * into tableName from #Tmp
drop table #Tmp
　　发生这种重复的原因是表设计不周产生的，增加唯一索引列即可解决。
　　2、这类重复问题通常要求保留重复记录中的第一条记录，操作方法如下
　　假设有重复的字段为Name,Address，要求得到这两个字段唯一的结果集
select identity(int,1,1) as autoID, * into #Tmp from tableName
select min(autoID) as autoID into #Tmp2 from #Tmp group by Name,autoID
select * from #Tmp where autoID in(select autoID from #tmp2)
　　最后一个select即得到了Name，Address不重复的结果集（但多了一个autoID字段，实际写时可以写在select子句中省去此列）
(四)
查询重复
select * from tablename where id in (
select id from tablename
group by id
having count(id) > 1
)




学习sql有一段时间了，发现在我建了一个用来测试的表（没有建索引）中出现了许多的重复记录。后来总结了一些删除重复记录的方法，在Oracle中，可以通过唯一rowid实现删除重复记录；还可以建临时表来实现...这个只提到其中的几种简单实用的方法，希望可以和大家分享（以表employee为例）。

SQL> desc employee

Name                                      Null?    Type
----------------------------------------- -------- ------------------

emp_id                                                NUMBER(10)
emp_name                                           VARCHAR2(20)
salary                                                  NUMBER(10,2)
可以通过下面的语句查询重复的记录：
SQL> select * from employee;

    EMP_ID EMP_NAME                                  SALARY
---------- ---------------------------------------- ----------
         1 sunshine                                      10000
         1 sunshine                                      10000
         2 semon                                         20000
         2 semon                                         20000
         3 xyz                                           30000
         2 semon                                         20000


SQL> select distinct * from employee;

    EMP_ID EMP_NAME                                     SALARY
---------- ---------------------------------------- ----------
         1 sunshine                                      10000
         2 semon                                         20000
         3 xyz                                             30000
SQL>  select * from employee group by emp_id,emp_name,salary having count (*)>1

    EMP_ID EMP_NAME                                     SALARY
---------- ---------------------------------------- ----------
         1 sunshine                                      10000
         2 semon                                          20000

SQL> select * from employee e1
where rowid in (select max(rowid) from employe e2
where e1.emp_id=e2.emp_id and
  e1.emp_name=e2.emp_name and e1.salary=e2.salary);
    EMP_ID EMP_NAME                                     SALARY
---------- ---------------------------------------- ----------
         1 sunshine                                      10000
         3 xyz                                             30000
         2 semon                                         20000
2. 删除的几种方法：
（1）通过建立临时表来实现
SQL>create table temp_emp as (select distinct * from employee)
SQL> truncate table employee; (清空employee表的数据）


SQL> insert into employee select * from temp_emp;  (再将临时表里的内容插回来）



( 2）通过唯一rowid实现删除重复记录.在Oracle中，每一条记录都有一个rowid，rowid在整个数据库中是唯一的，rowid确定了每条记录是在Oracle中的哪一个数据文件、块、行上。在重复的记录中，可能所有列的内容都相同，但rowid不会相同，所以只要确定出重复记录中那些具有最大或最小rowid的就可以了，其余全部删除。


SQL>delete from employee e2 where rowid not in (
        select max(e1.rowid) from employee e1 where
        e1.emp_id=e2.emp_id and e1.emp_name=e2.emp_name and e1.salary=e2.salary);--这里用min(rowid)也可以。
SQL>delete from employee e2 where rowid <(
        select max(e1.rowid) from employee e1 where
        e1.emp_id=e2.emp_id and e1.emp_name=e2.emp_name and
                  e1.salary=e2.salary);
（3）也是通过rowid，但效率更高。
SQL>delete from employee where rowid not in (
        select max(t1.rowid) from employee t1 group by
         t1.emp_id,t1.emp_name,t1.salary);--这里用min(rowid)也可以。
    EMP_ID EMP_NAME                                     SALARY
---------- ---------------------------------------- ----------
         1 sunshine                                      10000
         3 xyz                                             30000
         2 semon                                         20000
SQL> desc employee

Name                                      Null?    Type
----------------------------------------- -------- ------------------

emp_id                                                NUMBER(10)
emp_name                                           VARCHAR2(20)
salary                                                  NUMBER(10,2)
可以通过下面的语句查询重复的记录：
SQL> select * from employee;

    EMP_ID EMP_NAME                                  SALARY
---------- ---------------------------------------- ----------
         1 sunshine                                      10000
         1 sunshine                                      10000
         2 semon                                         20000
         2 semon                                         20000
         3 xyz                                           30000
         2 semon                                         20000


SQL> select distinct * from employee;

    EMP_ID EMP_NAME                                     SALARY
---------- ---------------------------------------- ----------
         1 sunshine                                      10000
         2 semon                                         20000
         3 xyz                                             30000
SQL>  select * from employee group by emp_id,emp_name,salary having count (*)>1

    EMP_ID EMP_NAME                                     SALARY
---------- ---------------------------------------- ----------
         1 sunshine                                      10000
         2 semon                                          20000

SQL> select * from employee e1
where rowid in (select max(rowid) from employe e2
where e1.emp_id=e2.emp_id and
  e1.emp_name=e2.emp_name and e1.salary=e2.salary);
    EMP_ID EMP_NAME                                     SALARY
---------- ---------------------------------------- ----------
         1 sunshine                                      10000
         3 xyz                                             30000
         2 semon                                         20000
2. 删除的几种方法：
（1）通过建立临时表来实现
SQL>create table temp_emp as (select distinct * from employee)
SQL> truncate table employee; (清空employee表的数据）


SQL> insert into employee select * from temp_emp;  (再将临时表里的内容插回来）



( 2）通过唯一rowid实现删除重复记录.在Oracle中，每一条记录都有一个rowid，rowid在整个数据库中是唯一的，rowid确定了每条记录是在Oracle中的哪一个数据文件、块、行上。在重复的记录中，可能所有列的内容都相同，但rowid不会相同，所以只要确定出重复记录中那些具有最大或最小rowid的就可以了，其余全部删除。


SQL>delete from employee e2 where rowid not in (
        select max(e1.rowid) from employee e1 where
        e1.emp_id=e2.emp_id and e1.emp_name=e2.emp_name and e1.salary=e2.salary);--这里用min(rowid)也可以。
SQL>delete from employee e2 where rowid <(
        select max(e1.rowid) from employee e1 where
        e1.emp_id=e2.emp_id and e1.emp_name=e2.emp_name and
                  e1.salary=e2.salary);
（3）也是通过rowid，但效率更高。
SQL>delete from employee where rowid not in (
        select max(t1.rowid) from employee t1 group by
         t1.emp_id,t1.emp_name,t1.salary);--这里用min(rowid)也可以。
    EMP_ID EMP_NAME                                     SALARY
---------- ---------------------------------------- ----------
         1 sunshine                                      10000
         3 xyz                                             30000
         2 semon                                         20000
分享到：
评论
发表评论

您还没有登录,请您登录后再发表评论

相关推荐

    用SQL删除重复记录的N种方法

    以上介绍了多种使用SQL删除重复记录的方法，每种方法都有其适用场景和特点。在选择具体方法时，需要考虑数据库的类型、数据量大小以及性能要求等因素。通过合理选择合适的方法，可以有效提高数据清理的效率和准确性...

    四种SQL语句删除重复记录的方法

    ### 四种SQL语句删除重复记录的方法 在数据库管理中，经常会出现数据冗余的情况，特别是当数据量庞大时，这种现象更为普遍。对于重复记录的处理是维护数据库完整性和提高查询效率的重要手段之一。本文将详细介绍四...

    SQL删除重复记录的方法

    在SQL中，删除重复记录是一项常见的数据库管理任务，特别是在数据清洗和整理时。本文将详细介绍四种有效的方法来处理这个问题。 **方法1：使用临时表** 这种方法通过创建临时表temp1来存储重复记录，并最终将不重复...

    sql删除表中重复记录方法

    标题与描述概述的知识点是关于如何使用SQL语句来删除数据库表中的重复记录，这是一个在数据清理和维护数据完整性时非常实用的技术。以下是对给定文件中四种方法的详细解析和扩展，旨在帮助读者深入理解并掌握这些...

    SQL删除重复行

    本文将详细讨论如何使用SQL语句来删除重复行，分为基于单个字段和多个字段的情况，并提供两种不同的方法。 首先，我们来看基于单个字段删除重复行的情况。假设我们有一个名为`people`的表，其中`peopleId`字段可能...

    查询及删除重复记录的SQL语句.

    Oracle 数据库提供了一系列 SQL 语句来帮助我们查询和删除这些重复的记录。以下是一些常用的 SQL 技巧，用于处理重复记录的问题。 1. **查询重复记录**： 当我们想找出基于单一字段（如 `Id`）的重复记录时，可以...

    sqlServer删除重复数据

    删除重复数据可以使用多种方法，包括使用 SELECT DISTINCT 语句、使用自动生成的标识符、使用游标、使用子查询等。 完全重复的记录 完全重复的记录是指所有字段均重复的记录。这种情况下，删除重复数据可以使用 ...

    SQL删除表里的重复数据的两种方法

    以上介绍了两种删除SQL表中重复记录的方法：一种是通过子查询直接删除重复项；另一种是通过创建临时表的方式，先将唯一记录保存到临时表中，然后重建原始表。选择哪种方法取决于具体情况，如表的大小、表结构复杂度...

    删除表中重复数据sql语句

    ### 删除表中重复数据SQL语句详解 #### 一、基础知识概述 在数据库管理中，重复数据是一个常见的问题，尤其当数据库经历长时间的数据输入时，可能会出现数据录入错误或者批量导入过程中导致的数据冗余。重复数据的...

    sql 查询重复数据

    本文将详细介绍查询和处理重复数据的方法，包括查找所有重复记录、查找重复记录、删除重复记录等。 查找所有重复记录 使用以下 SQL 语句可以查找所有重复记录： ```sql SELECT * FROM t_info a WHERE ((SELECT ...

    使用Oracle查询并删除重复记录的SQL语句

    使用Oracle查询并删除重复记录的SQL语句 在实际应用中，删除重复记录是非常常见的操作，特别是在数据导入、数据整合和数据清洁等场景中。Oracle数据库提供了多种方式来查询和删除重复记录，本文将详细介绍这些方法...

    sql_查询重复记录方法大全.txt

    以上介绍了几种查询和处理SQL中重复记录的方法。这些方法可以根据不同的需求灵活应用。理解并掌握这些技巧对于高效地管理数据库至关重要。在实际操作中，应根据具体场景选择合适的方法，并注意在执行任何可能影响...

    清除SQL数据库里的重复记录

    本教程将深入讲解如何在SQL数据库中检测并删除重复记录，以确保数据的唯一性和准确性。 首先，我们需要理解SQL中的"唯一性"。一个表的字段如果要求唯一，意味着每个值在这个字段中只能出现一次。例如，员工ID或电子...

    sql查询表中某字段下所有重复的记录

    sql查询表中某字段下所有重复的记录，删除某字段下重复记录最小的那笔记录

    SQL Server删除重复数据的几个方法

    对于SQL Server而言，有多种方法可以用来删除重复的数据，以下将详细介绍几种实用的方法。 #### 方法一：使用游标（Cursor） 这种方法通过创建一个游标来遍历具有重复值的记录，并逐条删除多余的数据。具体步骤...

    C#防SQL注入代码的三种方法

    　二：如果用SQL语句，那就使用参数化，添加Param 　三：尽可能的使用存储过程，安全性能高而且处理速度也快 　四：屏蔽SQL,javascript等注入（很是主要的），对于每个文件写是不太可能的。所以要找到对所有文件起...

    1. 熟悉数据库的交互式SQL工具：如SQL Server2000查询分析器。

    6. 删除数据：使用SQL Server 2000查询分析器可以快速地删除数据，例如删除学生记录等。 三、实验报告 在实验中，我们使用SQL Server 2000查询分析器建立了一个名为“student”的数据库，并在其中创建了三个表：...

    SQL重复记录查询的几种方法

    (peopleId) &gt; 1)2、删除表中多余的重复记录，重复记录是根据单个字段（peopleId）来判断，只留有rowid最小的记录 代码如下:delete from people where peopleId in (select peopleId from people group by 

    JsonSQL:用SQL语句解析JSON文件

    2. 数据转换：在将JSON数据导入关系型数据库之前，可以用JsonSQL预处理数据，提取所需字段，过滤不必要的记录。 3. Web应用开发：JsonSQL可作为中间层，处理前后端的数据交互，简化JSON数据的查询和操作。 **总结**...

Magicbox
Global site tag (gtag.js) - Google Analytics