`

处理表重复记录(查询和删除)

Go 
阅读更多

 

今天遇到一个筛选重复记录的问题，搜索出一篇文章不错，收藏一下，与大家共享啦 哈哈：

 

--处理表重复记录(查询和删除)
/******************************************************************************************************************************************************
1、Num、Name相同的重复值记录,没有大小关系只保留一条
2、Name相同,ID有大小关系时,保留大或小其中一个记录
整理人：中国风(Roy)

日期:2008.06.06
******************************************************************************************************************************************************/

--1、用于查询重复处理记录(如果列没有大小关系时2000用生成自增列和临时表处理,SQL2005用row_number函数处理)

--> --> (Roy)生成測試數據
 
if not object_id('Tempdb..#T') is null
    drop table #T
Go
Create table #T([ID] int,[Name] nvarchar(1),[Memo] nvarchar(2))
Insert #T
select 1,N'A',N'A1' union all
select 2,N'A',N'A2' union all
select 3,N'A',N'A3' union all
select 4,N'B',N'B1' union all
select 5,N'B',N'B2'
Go


--I、Name相同ID最小的记录(推荐用1,2,3),方法3在SQl05时，效率高于1、2
方法1:
Select * from #T a where not exists(select 1 from #T where Name=a.Name and ID<a.ID)

方法2:
select a.* from #T a join (select min(ID)ID,Name from #T group by Name) b on a.Name=b.Name and a.ID=b.ID

方法3:
select * from #T a where ID=(select min(ID) from #T where Name=a.Name)

方法4:
select a.* from #T a join #T b on a.Name=b.Name and a.ID>=b.ID group by a.ID,a.Name,a.Memo having count(1)=1 

方法5:
select * from #T a group by ID,Name,Memo having ID=(select min(ID)from #T where Name=a.Name)

方法6:
select * from #T a where (select count(1) from #T where Name=a.Name and ID<a.ID)=0

方法7:
select * from #T a where ID=(select top 1 ID from #T where Name=a.name order by ID)

方法8:
select * from #T a where ID!>all(select ID from #T where Name=a.Name)

方法9(注:ID为唯一时可用):
select * from #T a where ID in(select min(ID) from #T group by Name)

--SQL2005:

方法10:
select ID,Name,Memo from (select *,min(ID)over(partition by Name) as MinID from #T a)T where ID=MinID

方法11:

select ID,Name,Memo from (select *,row_number()over(partition by Name order by ID) as MinID from #T a)T where MinID=1

生成结果:
/*
ID          Name Memo
----------- ---- ----
1           A    A1
4           B    B1

(2 行受影响)
*/


--II、Name相同ID最大的记录,与min相反:
方法1:
Select * from #T a where not exists(select 1 from #T where Name=a.Name and ID>a.ID)

方法2:
select a.* from #T a join (select max(ID)ID,Name from #T group by Name) b on a.Name=b.Name and a.ID=b.ID order by ID

方法3:
select * from #T a where ID=(select max(ID) from #T where Name=a.Name) order by ID

方法4:
select a.* from #T a join #T b on a.Name=b.Name and a.ID<=b.ID group by a.ID,a.Name,a.Memo having count(1)=1 

方法5:
select * from #T a group by ID,Name,Memo having ID=(select max(ID)from #T where Name=a.Name)

方法6:
select * from #T a where (select count(1) from #T where Name=a.Name and ID>a.ID)=0

方法7:
select * from #T a where ID=(select top 1 ID from #T where Name=a.name order by ID desc)

方法8:
select * from #T a where ID!<all(select ID from #T where Name=a.Name)

方法9(注:ID为唯一时可用):
select * from #T a where ID in(select max(ID) from #T group by Name)

--SQL2005:

方法10:
select ID,Name,Memo from (select *,max(ID)over(partition by Name) as MinID from #T a)T where ID=MinID

方法11:
select ID,Name,Memo from (select *,row_number()over(partition by Name order by ID desc) as MinID from #T a)T where MinID=1

生成结果2:
/*
ID          Name Memo
----------- ---- ----
3           A    A3
5           B    B2

(2 行受影响)
*/



--2、删除重复记录有大小关系时,保留大或小其中一个记录


--> --> (Roy)生成測試數據

if not object_id('Tempdb..#T') is null
    drop table #T
Go
Create table #T([ID] int,[Name] nvarchar(1),[Memo] nvarchar(2))
Insert #T
select 1,N'A',N'A1' union all
select 2,N'A',N'A2' union all
select 3,N'A',N'A3' union all
select 4,N'B',N'B1' union all
select 5,N'B',N'B2'
Go

--I、Name相同ID最小的记录(推荐用1,2,3),保留最小一条
方法1:
delete a from #T a where  exists(select 1 from #T where Name=a.Name and ID<a.ID)

方法2:
delete a  from #T a left join (select min(ID)ID,Name from #T group by Name) b on a.Name=b.Name and a.ID=b.ID where b.Id is null

方法3:
delete a from #T a where ID not in (select min(ID) from #T where Name=a.Name)

方法4(注:ID为唯一时可用):
delete a from #T a where ID not in(select min(ID)from #T group by Name)

方法5:
delete a from #T a where (select count(1) from #T where Name=a.Name and ID<a.ID)>0

方法6:
delete a from #T a where ID<>(select top 1 ID from #T where Name=a.name order by ID)

方法7:
delete a from #T a where ID>any(select ID from #T where Name=a.Name)



select * from #T

生成结果:
/*
ID          Name Memo
----------- ---- ----
1           A    A1
4           B    B1

(2 行受影响)
*/


--II、Name相同ID保留最大的一条记录:

方法1:
delete a from #T a where  exists(select 1 from #T where Name=a.Name and ID>a.ID)

方法2:
delete a  from #T a left join (select max(ID)ID,Name from #T group by Name) b on a.Name=b.Name and a.ID=b.ID where b.Id is null

方法3:
delete a from #T a where ID not in (select max(ID) from #T where Name=a.Name)

方法4(注:ID为唯一时可用):
delete a from #T a where ID not in(select max(ID)from #T group by Name)

方法5:
delete a from #T a where (select count(1) from #T where Name=a.Name and ID>a.ID)>0

方法6:
delete a from #T a where ID<>(select top 1 ID from #T where Name=a.name order by ID desc)

方法7:
delete a from #T a where ID<any(select ID from #T where Name=a.Name)


select * from #T
/*
ID          Name Memo
----------- ---- ----
3           A    A3
5           B    B2

(2 行受影响)
*/





--3、删除重复记录没有大小关系时，处理重复值


--> --> (Roy)生成測試數據
 
if not object_id('Tempdb..#T') is null
    drop table #T
Go
Create table #T([Num] int,[Name] nvarchar(1))
Insert #T
select 1,N'A' union all
select 1,N'A' union all
select 1,N'A' union all
select 2,N'B' union all
select 2,N'B'
Go

方法1:
if object_id('Tempdb..#') is not null
    drop table #
Select distinct * into # from #T--排除重复记录结果集生成临时表#

truncate table #T--清空表

insert #T select * from #    --把临时表#插入到表#T中

--查看结果
select * from #T

/*
Num         Name
----------- ----
1           A
2           B

(2 行受影响)
*/

--重新执行测试数据后用方法2
方法2:

alter table #T add ID int identity--新增标识列
go
delete a from  #T a where  exists(select 1 from #T where Num=a.Num and Name=a.Name and ID>a.ID)--只保留一条记录
go
alter table #T drop column ID--删除标识列

--查看结果
select * from #T

/*
Num         Name
----------- ----
1           A
2           B

(2 行受影响)

*/

--重新执行测试数据后用方法3
方法3:
declare Roy_Cursor cursor local for
select count(1)-1,Num,Name from #T group by Num,Name having count(1)>1
declare @con int,@Num int,@Name nvarchar(1)
open Roy_Cursor
fetch next from Roy_Cursor into @con,@Num,@Name
while @@Fetch_status=0
begin 
    set rowcount @con;
    delete #T where Num=@Num and Name=@Name
    set rowcount 0;
    fetch next from Roy_Cursor into @con,@Num,@Name
end
close Roy_Cursor
deallocate Roy_Cursor

--查看结果
select * from #T
/*
Num         Name
----------- ----
1           A
2           B

(2 行受影响)
*/

 

分享到：
| oracle的一些有用的sql
评论
发表评论

您还没有登录,请您登录后再发表评论

相关推荐

    重复记录查询处理

    除以上介绍的方法外，还有一些其他的处理重复记录的方式，例如使用游标或临时表等技术手段。 ##### 1. 使用游标 游标可以用来逐行处理数据，适合处理较为复杂的重复记录情况。例如： ```sql DECLARE @max INTEGER, ...

    sql分组后二次汇总(处理表重复记录查询和删除)的实现方法

    总的来说，处理重复记录是一项常见的数据库维护任务，通过熟练运用SQL的各种查询技巧，我们可以有效地管理和优化数据库，确保数据的准确性和一致性。在实际应用中，一定要根据具体情况选择最合适的方法，并注意对...

    Oracle数据库删除表中重复记录的方法三则.txt

    ### Oracle数据库删除表中重复记录的方法 在Oracle数据库管理中，经常会遇到需要处理表中的重复数据的情况。重复数据不仅会占用不必要的存储空间，还可能导致数据统计错误或业务逻辑混乱等问题。因此，掌握如何有效...

    查询及删除重复记录的SQL语句.

    以下是一些常用的 SQL 技巧，用于处理重复记录的问题。 1. **查询重复记录**： 当我们想找出基于单一字段（如 `Id`）的重复记录时，可以使用如下的 SQL 语句： ```sql select * from 表 where Id in (select Id ...

    SQL重复记录查询与删除

    在数据库管理中，有时我们需要处理数据表中重复的记录，这通常涉及到查询和删除操作。以下将详细解释如何使用SQL来查找和删除重复记录。 1. 单字段重复记录查询： 当我们只需要考虑单个字段（如`peopleId`）的重复...

    plsql删除重复记录

    在日常的数据库管理与维护工作中，我们经常会遇到需要处理数据表中的重复记录的情况。特别是在大型企业级应用中，由于各种原因（如数据导入错误、系统故障等），数据库表中可能会出现大量的重复记录，这对数据的准确...

    ORACLE重复记录查询.docxORACLE

    总结来说，Oracle提供了强大的查询和删除功能来处理重复记录的问题。通过`GROUP BY`和`HAVING`子句，我们可以对数据进行分组并过滤出重复的行，而`ROWID`则作为确定保留哪条记录的标准。在处理大规模数据时，这些...

    sql查询重复记录方法大全

    在数据库管理与维护过程中，查询和处理重复记录是一项非常重要的工作。本文将详细介绍几种常见的SQL查询重复记录的方法，并提供具体的示例代码。 #### 方法一：查询具有重复值的记录（返回所有重复记录） **SQL...

    sql删除表中重复记录方法

    这种方法采用游标和`ROWCOUNT`设置来逐个处理重复记录。首先声明并打开一个游标，该游标返回每个重复记录的ID及其出现次数。然后，遍历游标结果集，对于每个重复的ID，设置`ROWCOUNT`为重复次数减一，从而仅保留一个...

    删除表中重复数据sql语句

    ### 删除表中重复数据SQL语句详解 #### 一、基础知识概述 在数据库管理中，重复数据是一个...在实际操作中，建议先在测试环境中尝试这些SQL语句，确保它们能够正确地识别和处理重复数据，避免意外删除重要的数据。

    基于深度学习的大规模数据库重复记录删除研究.pdf

    研究结果表明，基于深度学习的大规模数据库重复记录删除方法具有一定的理论和实际价值。 深度学习算法在大规模数据库重复记录删除中的应用具有以下几点优势： 1. 高度准确的分类能力：深度学习算法可以对数据库...

    SQL语句删除数据表中重复的记录

    以下是如何使用SQL语句来删除数据表中重复记录的详细步骤。 首先，我们来看一个简单的例子，假设我们有一个名为`Repeat`的数据表，其中存在重复的记录。要删除这些重复的记录，但保留每个唯一组合的最新（最大`id`...

    删除表中重复记录

    在SQL中，删除表中的重复记录是一个常见的需求，特别是在数据导入或者数据整合过程中。这个问题可以从两个方面来解决：有主键的情况和无主键的情况。下面将详细解释这两种情况下的处理方法。 一、具有主键的情况 1...

    oracle中如何删除重复的记录

    要删除Oracle数据库表中的重复记录，有几种方法可以采用： ##### 方法一：使用子查询与DELETE语句 这种方法适用于只需要删除重复记录中的某些行的情况。步骤如下： 1. **找出重复的记录**：首先，我们需要找到...

    sql查询重复记录语句

    SQL作为最常用的数据库查询语言，其对于处理重复记录的能力尤为重要。本文将深入解析几种常见的SQL查询重复记录的方法，并通过示例代码加以说明，帮助读者更好地理解和掌握这些技巧。 ### SQL查询重复记录方法概览 ...

    SQL语句查询重复记录大全

    以上介绍的是SQL中处理重复记录的基本方法，包括查询和删除。在实际应用中，还需要根据具体的需求选择合适的策略，并注意数据安全问题，确保删除操作不会造成不可逆的数据丢失。此外，在进行删除操作之前，最好对...

    查询和删除表中重复数据sql语句

    对于涉及多个字段的重复记录删除，上述语句使用相同的逻辑，只是增加了`seq`字段作为复合键的一部分，以确保在删除时考虑到所有指定字段的组合。 ### 特殊类型字段的处理 对于`text`、`ntext`、`img`等类型字段，...

Magicbox
Global site tag (gtag.js) - Google Analytics