`
tmuffamd
  • 浏览: 28243 次
  • 性别: Icon_minigender_2
  • 来自: 重庆
社区版块
存档分类
最新评论

查询或删除重复的记录

 
阅读更多

DELETE a FROM transaction_records a WHERE  EXISTS(SELECT 1 FROM transaction_records WHERE inpdate='20171224' AND primary_info=a.primary_info AND ID<a.ID);

 

--其他參考以下:

--处理表重复记录(查询和删除)

/******************************************************************************************

 

************************************************************

1、Num、Name相同的重复值记录,没有大小关系只保留一条

2、Name相同,ID有大小关系时,保留大或小其中一个记录

 

 

日期:2008.06.06

*******************************************************************************************

 

***********************************************************/

 

--1、用于查询重复处理记录(如果列没有大小关系时2000用生成自增列和临时表处理,SQL2005用

 

row_number函数处理)

 

--> --> (Roy)生成測試數據

  

if not object_id('Tempdb..#T') is null

    drop table #T

Go

Create table #T([ID] int,[Name] nvarchar(1),[Memo] nvarchar(2))

Insert #T

select 1,N'A',N'A1' union all

select 2,N'A',N'A2' union all

select 3,N'A',N'A3' union all

select 4,N'B',N'B1' union all

select 5,N'B',N'B2'

Go

 

 

--I、Name相同ID最小的记录(推荐用1,2,3),方法3在SQl05时,效率高于1、2

方法1:

Select * from user a where not exists(select 1 from user where Name=a.Name and ID<a.ID)

 

方法2:

select a.* from user a join (select min(ID)ID,Name from user group by Name) b on 

 

a.Name=b.Name and a.ID=b.ID

 

方法3:

select * from user a where ID=(select min(ID) from user where Name=a.Name)

 

方法4:

select a.* from user a join user b on a.Name=b.Name and a.ID>=b.ID group by 

 

a.ID,a.Name,a.Memo having count(1)=1 

 

方法5:

select * from user a group by ID,Name,Memo having ID=(select min(ID)from user where 

 

Name=a.Name)

 

方法6:

select * from user a where (select count(1) from user where Name=a.Name and ID<a.ID)=0

 

方法7:

select * from user a where ID=(select top 1 ID from user where Name=a.name order by ID)

 

方法8:

select * from user a where ID!>all(select ID from user where Name=a.Name)

 

方法9(注:ID为唯一时可用):

select * from user a where ID in(select min(ID) from user group by Name)

 

--SQL2005:

 

方法10:

select ID,Name,Memo from (select *,min(ID)over(partition by Name) as MinID from user a)T 

 

where ID=MinID

 

方法11:

 

select ID,Name,Memo from (select *,row_number()over(partition by Name order by ID) as MinID 

 

from user a)T where MinID=1

 

生成结果:

/*

ID          Name Memo

----------- ---- ----

1           A    A1

4           B    B1

 

(2 行受影响)

*/

 

 

--II、Name相同ID最大的记录,与min相反:

方法1:

Select * from user a where not exists(select 1 from user where Name=a.Name and ID>a.ID)

 

方法2:

select a.* from user a join (select max(ID)ID,Name from user group by Name) b on 

 

a.Name=b.Name and a.ID=b.ID order by ID

 

方法3:

select * from user a where ID=(select max(ID) from user where Name=a.Name) order by ID

 

方法4:

select a.* from user a join user b on a.Name=b.Name and a.ID<=b.ID group by 

 

a.ID,a.Name,a.Memo having count(1)=1 

 

方法5:

select * from user a group by ID,Name,Memo having ID=(select max(ID)from user where 

 

Name=a.Name)

 

方法6:

select * from user a where (select count(1) from user where Name=a.Name and ID>a.ID)=0

 

方法7:

select * from user a where ID=(select top 1 ID from user where Name=a.name order by ID 

 

desc)

 

方法8:

select * from user a where ID!<all(select ID from user where Name=a.Name)

 

方法9(注:ID为唯一时可用):

select * from user a where ID in(select max(ID) from user group by Name)

 

--SQL2005:

 

方法10:

select ID,Name,Memo from (select *,max(ID)over(partition by Name) as MinID from user a)T 

 

where ID=MinID

 

方法11:

select ID,Name,Memo from (select *,row_number()over(partition by Name order by ID desc) as 

 

MinID from user a)T where MinID=1

 

生成结果2:

/*

ID          Name Memo

----------- ---- ----

3           A    A3

5           B    B2

 

(2 行受影响)

*/

 

 

 

--2、删除重复记录有大小关系时,保留大或小其中一个记录

 

 

--> --> (Roy)生成測試數據

 

if not object_id('Tempdb..user') is null

    drop table user

Go

Create table user([ID] int,[Name] nvarchar(1),[Memo] nvarchar(2))

Insert user

select 1,N'A',N'A1' union all

select 2,N'A',N'A2' union all

select 3,N'A',N'A3' union all

select 4,N'B',N'B1' union all

select 5,N'B',N'B2'

Go

 

--I、Name相同ID最小的记录(推荐用1,2,3),保留最小一条

方法1:

delete a from user a where  exists(select 1 from user where Name=a.Name and ID<a.ID)

 

方法2:

delete a  from user a left join (select min(ID)ID,Name from user group by Name) b on 

 

a.Name=b.Name and a.ID=b.ID where b.Id is null

 

方法3:

delete a from user a where ID not in (select min(ID) from user where Name=a.Name)

 

方法4(注:ID为唯一时可用):

delete a from user a where ID not in(select min(ID)from user group by Name)

 

方法5:

delete a from user a where (select count(1) from user where Name=a.Name and ID<a.ID)>0

 

方法6:

delete a from user a where ID<>(select top 1 ID from user where Name=a.name order by ID)

 

方法7:

delete a from user a where ID>any(select ID from user where Name=a.Name)

 

 

 

select * from user

 

生成结果:

/*

ID          Name Memo

----------- ---- ----

1           A    A1

4           B    B1

 

(2 行受影响)

*/

 

 

--II、Name相同ID保留最大的一条记录:

 

方法1:

delete a from user a where  exists(select 1 from user where Name=a.Name and ID>a.ID)

 

方法2:

delete a  from user a left join (select max(ID)ID,Name from user group by Name) b on 

 

a.Name=b.Name and a.ID=b.ID where b.Id is null

 

方法3:

delete a from user a where ID not in (select max(ID) from user where Name=a.Name)

 

方法4(注:ID为唯一时可用):

delete a from user a where ID not in(select max(ID)from user group by Name)

 

方法5:

delete a from user a where (select count(1) from user where Name=a.Name and ID>a.ID)>0

 

方法6:

delete a from user a where ID<>(select top 1 ID from user where Name=a.name order by ID 

 

desc)

 

方法7:

delete a from user a where ID<any(select ID from user where Name=a.Name)

 

 

select * from user

/*

ID          Name Memo

----------- ---- ----

3           A    A3

5           B    B2

 

(2 行受影响)

*/

 

 

 

 

 

--3、删除重复记录没有大小关系时,处理重复值

 

 

--> --> (Roy)生成測試數據

  

if not object_id('Tempdb..user') is null

    drop table user

Go

Create table user([Num] int,[Name] nvarchar(1))

Insert user

select 1,N'A' union all

select 1,N'A' union all

select 1,N'A' union all

select 2,N'B' union all

select 2,N'B'

Go

 

方法1:

if object_id('Tempdb..#') is not null

    drop table #

Select distinct * into # from user--排除重复记录结果集生成临时表#

 

truncate table user--清空表

 

insert user select * from #    --把临时表#插入到表user中

 

--查看结果

select * from user

 

/*

Num         Name

----------- ----

1           A

2           B

 

(2 行受影响)

*/

 

--重新执行测试数据后用方法2

方法2:

 

alter table user add ID int identity--新增标识列

go

delete a from  user a where  exists(select 1 from user where Num=a.Num and Name=a.Name and 

 

ID>a.ID)--只保留一条记录

go

alter table user drop column ID--删除标识列

 

--查看结果

select * from user

 

/*

Num         Name

----------- ----

1           A

2           B

 

(2 行受影响)

 

*/

 

--重新执行测试数据后用方法3

方法3:

declare Roy_Cursor cursor local for

select count(1)-1,Num,Name from user group by Num,Name having count(1)>1

declare @con int,@Num int,@Name nvarchar(1)

open Roy_Cursor

fetch next from Roy_Cursor into @con,@Num,@Name

while @@Fetch_status=0

begin 

    set rowcount @con;

    delete user where Num=@Num and Name=@Name

    set rowcount 0;

    fetch next from Roy_Cursor into @con,@Num,@Name

end

close Roy_Cursor

deallocate Roy_Cursor

 

--查看结果

select * from user

/*

Num         Name

----------- ----

1           A

2           B

 

(2 行受影响)

 

 

#方法1:

  SELECT * FROM customer a WHERE a.customer_realname='李海锋' AND NOT EXISTS(SELECT 1 FROM 

 

customer WHERE customer_realname=a.customer_realname AND customer_id>a.customer_id AND 

 

customer_realname='李海锋')

 

#方法2:

  SELECT a.* FROM customer a JOIN (SELECT MAX(customer_id) AS customer_id FROM customer 

 

WHERE customer_realname='李海锋'GROUP BY customer_realname) b ON 

 

a.customer_id=b.customer_id  ORDER BY customer_id

 

#方法3:

  SELECT a.* FROM customer a WHERE a.customer_realname='李海锋' AND  a.customer_id=(SELECT 

 

MAX(b.customer_id) FROM customer b WHERE b.customer_realname=a.custo

 

 

分享到:
评论

相关推荐

    查询及删除重复记录的SQL语句.

    1. **查询重复记录**: 当我们想找出基于单一字段(如 `Id`)的重复记录时,可以使用如下的 SQL 语句: ```sql select * from 表 where Id in (select Id from 表 group by Id having count(Id) &gt; 1) ``` 这个...

    plsql删除重复记录

    ### PL/SQL删除Oracle数据库中的重复记录方法详解 在日常的数据库管理与维护工作中,我们经常会遇到需要处理数据表中的重复记录的情况。特别是在大型企业级应用中,由于各种原因(如数据导入错误、系统故障等),...

    删除数据表中重复记录

    2. **标记重复记录**:可以创建一个临时表或使用子查询来标记出需要删除的重复记录。 3. **执行删除操作**:基于标记好的记录执行删除操作。 #### 示例代码解析 以下是一段示例SQL脚本,用于演示如何删除表`a`中的...

    sql查询重复记录方法大全

    - 使用`SELECT DISTINCT`查询去除重复记录,并将结果存储到临时表`#Tmp`。 - 删除原始表,并将临时表中的数据重新导入到原表中。 以上是查询和处理SQL中重复记录的一些常用方法,每种方法都有其适用场景,实际应用...

    使用Oracle查询并删除重复记录的SQL语句

    使用Oracle查询并删除重复记录的SQL语句 在实际应用中,删除重复记录是非常常见的操作,特别是在数据导入、数据整合和数据清洁等场景中。Oracle数据库提供了多种方式来查询和删除重复记录,本文将详细介绍这些方法...

    MySQL中查询、删除重复记录的方法大全

    本文主要给大家介绍了关于MySQL中查询、删除重复记录的方法,分享出来供大家参考学习,下面来看看详细的介绍: 查找所有重复标题的记录: select title,count(*) as count from user_table group by title having ...

    重复记录查询处理

    本文将详细介绍如何通过SQL语句来查询并删除重复记录。 #### 二、查询重复记录 重复记录的查询通常涉及两种情况:基于单一字段的重复记录查询以及基于多个字段的重复记录查询。 ##### 1. 单一字段的重复记录查询 ...

    oracle中如何删除重复的记录

    ### Oracle中如何删除重复的记录 在Oracle数据库中,数据的完整性是非常重要的。有时,由于各种原因(如数据导入...此外,删除操作可能会影响到依赖这些数据的应用程序或查询结果,因此在进行此类操作时要格外小心。

    SQL语句删除重复记录

    SQL语句删除重复记录 在数据库管理中,删除重复记录是一个非常重要的操作。重复记录可能来自于数据导入、系统错误或者其他原因。今天,我们将探讨如何使用 SQL 语句删除重复记录。下面将介绍四种不同的方法来删除...

    数据库 查询删除重复数据

    数据库查询删除重复数据是数据库管理中的一项重要操作,旨在查找和删除表中的重复记录。重复记录是根据单个字段或多个字段来判断的。下面介绍几种查找和删除重复记录的方法。 根据单个字段查找和删除重复记录 可以...

    Oracle查询重复数据与删除重复记录方法(txt)

    ### Oracle查询重复数据与删除重复记录方法 在Oracle数据库中,有时我们需要找出并处理重复的数据。这不仅可以提高数据质量,还能提升查询效率。本文将详细介绍几种常用的查询和删除Oracle数据库中重复记录的方法。...

    基于深度学习的大规模数据库重复记录删除研究.pdf

    基于深度学习的大规模数据库重复记录删除方法首先对已有数据库重复记录删除方法进行分析,找到引起数据库重复记录删除不理想的因素,然后采用深度学习算法对数据库重复记录数据进行学习,建立数据库重复记录的分类器...

    Oracle查询重复数据与删除重复记录方法

    ### Oracle查询重复数据与删除重复记录方法 #### 一、查询重复数据 ##### 1. 使用ROWID方法 ROWID是Oracle中一个特殊的数据类型,它代表了表中每一条记录在物理存储上的唯一地址。利用ROWID可以非常高效地查询和...

    SQL语句查询重复记录大全

    以上介绍的是SQL中处理重复记录的基本方法,包括查询和删除。在实际应用中,还需要根据具体的需求选择合适的策略,并注意数据安全问题,确保删除操作不会造成不可逆的数据丢失。此外,在进行删除操作之前,最好对...

    MySQL删除重复记录

    这些重复记录不仅浪费存储空间,还可能导致查询结果不准确,因此及时删除它们是非常必要的。 #### 方法一:使用唯一键约束 在数据库表中创建唯一键(UNIQUE KEY)是一种有效防止插入重复记录的方法。当尝试插入一...

    sql查询重复记录语句

    SQL作为最常用的数据库查询语言,其对于处理重复记录的能力尤为重要。本文将深入解析几种常见的SQL查询重复记录的方法,并通过示例代码加以说明,帮助读者更好地理解和掌握这些技巧。 ### SQL查询重复记录方法概览 ...

    最高效的删除重复记录方法

    要删除表中的重复记录,首先需要确定哪些字段或组合能够唯一标识一条记录。例如,在员工信息表中,`EMP_NO` 字段通常可以作为唯一的标识符。接下来,可以通过比较这些唯一标识符来判断哪些记录是重复的,并选择适当...

    删除Access数据库中重复的记录

    在Access中一般只能查找10行大概20条重复记录,这样程序就可以任意指定表及多字段检索重复记录,并把重复的记录移除到一个临时表中,并不是进行真正删除,你可以进行恢复。但是执行第二次查找时则自动删除上次查找的...

    SQL重复记录查询与删除

    总之,SQL提供了多种方式来处理数据表中的重复记录,包括查询和删除。选择哪种方法取决于具体的需求,例如是否考虑多个字段的重复,是否保留特定的重复记录等。在实际操作中,务必谨慎执行删除操作,确保不会丢失...

Global site tag (gtag.js) - Google Analytics