--处理表重复记录(查询和删除)
/**********************************************************************************************guodh********************************************************
1、Num、Name相同的重复值记录,没有大小关系只保留一条
2、Name相同,ID有大小关系时,保留大或小其中一个记录
******************************************************************************************************************************************************/
--1、用于查询重复处理记录(如果列没有大小关系时2000用生成自增列和临时表处理,SQL2005用row_number函数处理)
--> --> (Roy)生成測試數據
if not object_id('Tempdb..#T') is null
drop table #T
Go
Create table #T([ID] int,[Name] nvarchar(1),[Memo] nvarchar(2))
Insert #T
select 1,N'A',N'A1' union all
select 2,N'A',N'A2' union all
select 3,N'A',N'A3' union all
select 4,N'B',N'B1' union all
select 5,N'B',N'B2'
Go
--I、Name相同ID最小的记录(推荐用1,2,3),方法3在SQl05时，效率高于1、2
方法1:
Select * from #T a where not exists(select 1 from #T where Name=a.Name and ID<a.ID)
方法2:
select a.* from #T a join (select min(ID)ID,Name from #T group by Name) b on a.Name=b.Name and a.ID=b.ID
方法3:
select * from #T a where ID=(select min(ID) from #T where Name=a.Name)
方法4:
select a.* from #T a join #T b on a.Name=b.Name and a.ID>=b.ID group by a.ID,a.Name,a.Memo having count(1)=1
方法5:
select * from #T a group by ID,Name,Memo having ID=(select min(ID)from #T where Name=a.Name)
方法6:
select * from #T a where (select count(1) from #T where Name=a.Name and ID<a.ID)=0
方法7:
select * from #T a where ID=(select top 1 ID from #T where Name=a.name order by ID)
方法8:
select * from #T a where ID!>all(select ID from #T where Name=a.Name)
方法9(注:ID为唯一时可用):
select * from #T a where ID in(select min(ID) from #T group by Name)
--SQL2005:
方法10:
select ID,Name,Memo from (select *,min(ID)over(partition by Name) as MinID from #T a)T where ID=MinID
方法11:
select ID,Name,Memo from (select *,row_number()over(partition by Name order by ID) as MinID from #T a)T where MinID=1
生成结果:
/*
ID Name Memo
----------- ---- ----
1 A A1
4 B B1
(2 行受影响)
*/
--II、Name相同ID最大的记录,与min相反:
方法1:
Select * from #T a where not exists(select 1 from #T where Name=a.Name and ID>a.ID)
方法2:
select a.* from #T a join (select max(ID)ID,Name from #T group by Name) b on a.Name=b.Name and a.ID=b.ID order by ID
方法3:
select * from #T a where ID=(select max(ID) from #T where Name=a.Name) order by ID
方法4:
select a.* from #T a join #T b on a.Name=b.Name and a.ID<=b.ID group by a.ID,a.Name,a.Memo having count(1)=1
方法5:
select * from #T a group by ID,Name,Memo having ID=(select max(ID)from #T where Name=a.Name)
方法6:
select * from #T a where (select count(1) from #T where Name=a.Name and ID>a.ID)=0
方法7:
select * from #T a where ID=(select top 1 ID from #T where Name=a.name order by ID desc)
方法8:
select * from #T a where ID!<all(select ID from #T where Name=a.Name)
方法9(注:ID为唯一时可用):
select * from #T a where ID in(select max(ID) from #T group by Name)
--SQL2005:
方法10:
select ID,Name,Memo from (select *,max(ID)over(partition by Name) as MinID from #T a)T where ID=MinID
方法11:
select ID,Name,Memo from (select *,row_number()over(partition by Name order by ID desc) as MinID from #T a)T where MinID=1
生成结果2:
/*
ID Name Memo
----------- ---- ----
3 A A3
5 B B2
(2 行受影响)
*/
--2、删除重复记录有大小关系时,保留大或小其中一个记录
--> --> (Roy)生成測試數據
if not object_id('Tempdb..#T') is null
drop table #T
Go
Create table #T([ID] int,[Name] nvarchar(1),[Memo] nvarchar(2))
Insert #T
select 1,N'A',N'A1' union all
select 2,N'A',N'A2' union all
select 3,N'A',N'A3' union all
select 4,N'B',N'B1' union all
select 5,N'B',N'B2'
Go
--I、Name相同ID最小的记录(推荐用1,2,3),保留最小一条
方法1:
delete a from #T a where exists(select 1 from #T where Name=a.Name and ID<a.ID)
方法2:
delete a from #T a left join (select min(ID)ID,Name from #T group by Name) b on a.Name=b.Name and a.ID=b.ID where b.Id is null
方法3:
delete a from #T a where ID not in (select min(ID) from #T where Name=a.Name)
方法4(注:ID为唯一时可用):
delete a from #T a where ID not in(select min(ID)from #T group by Name)
方法5:
delete a from #T a where (select count(1) from #T where Name=a.Name and ID<a.ID)>0
方法6:
delete a from #T a where ID<>(select top 1 ID from #T where Name=a.name order by ID)
方法7:
delete a from #T a where ID>any(select ID from #T where Name=a.Name)
select * from #T
生成结果:
/*
ID Name Memo
----------- ---- ----
1 A A1
4 B B1
(2 行受影响)
*/
--II、Name相同ID保留最大的一条记录:
方法1:
delete a from #T a where exists(select 1 from #T where Name=a.Name and ID>a.ID)
方法2:
delete a from #T a left join (select max(ID)ID,Name from #T group by Name) b on a.Name=b.Name and a.ID=b.ID where b.Id is null
方法3:
delete a from #T a where ID not in (select max(ID) from #T where Name=a.Name)
方法4(注:ID为唯一时可用):
delete a from #T a where ID not in(select max(ID)from #T group by Name)
方法5:
delete a from #T a where (select count(1) from #T where Name=a.Name and ID>a.ID)>0
方法6:
delete a from #T a where ID<>(select top 1 ID from #T where Name=a.name order by ID desc)
方法7:
delete a from #T a where ID<any(select ID from #T where Name=a.Name)
select * from #T
/*
ID Name Memo
----------- ---- ----
3 A A3
5 B B2
(2 行受影响)
*/
--3、删除重复记录没有大小关系时，处理重复值
--> --> (Roy)生成測試數據
if not object_id('Tempdb..#T') is null
drop table #T
Go
Create table #T([Num] int,[Name] nvarchar(1))
Insert #T
select 1,N'A' union all
select 1,N'A' union all
select 1,N'A' union all
select 2,N'B' union all
select 2,N'B'
Go
方法1:
if object_id('Tempdb..#') is not null
drop table #
Select distinct * into # from #T--排除重复记录结果集生成临时表#
truncate table #T--清空表
insert #T select * from # --把临时表#插入到表#T中
--查看结果
select * from #T
/*
Num Name
----------- ----
1 A
2 B
(2 行受影响)
*/
--重新执行测试数据后用方法2
方法2:
alter table #T add ID int identity--新增标识列
go
delete a from #T a where exists(select 1 from #T where Num=a.Num and Name=a.Name and ID>a.ID)--只保留一条记录
go
alter table #T drop column ID--删除标识列
--查看结果
select * from #T
/*
Num Name
----------- ----
1 A
2 B
(2 行受影响)
*/
--重新执行测试数据后用方法3
方法3:
declare Roy_Cursor cursor local for
select count(1)-1,Num,Name from #T group by Num,Name having count(1)>1
declare @con int,@Num int,@Name nvarchar(1)
open Roy_Cursor
fetch next from Roy_Cursor into @con,@Num,@Name
while @@Fetch_status=0
begin
set rowcount @con;
delete #T where Num=@Num and Name=@Name
set rowcount 0;
fetch next from Roy_Cursor into @con,@Num,@Name
end
close Roy_Cursor
deallocate Roy_Cursor
--查看结果
select * from #T
/*
Num Name
----------- ----
1 A
2 B
(2 行受影响)
*/
分享到：
相关推荐
在SQL Server数据库管理中，去重操作是一项常见的数据清洗任务，尤其对于保持数据一致性、准确性至关重要。本篇文章将详细介绍如何在SQL Server中针对单个字段和多个字段进行去重操作。 1. 单字段去重查询： 当...
Oracle语句以免以后忘记 没有存储过程，简单的数据库
根据提供的文件信息，本文将详细解释如何通过 SQL 语句实现按照某一字段去重后获取所有字段的操作。在实际工作中，我们经常会遇到需要对数据表中的记录进行去重的情况，尤其是当某个字段作为唯一标识符时，我们希望...
SQL去重清除冗余数据 SQL去重是指清除查询结果或者是数据库里不必要的相对某个字段的冗余数据。对于查询结果去重，可以使用distinct关键字标注需要去重的字段，也可以使用group by + 关键字。 使用distinct关键字...
本文将详细介绍几种SQL去重的方法，并通过具体的示例来解释每种方法的应用场景及其背后的原理。 ### 方法一：使用 `SELECT DISTINCT` `SELECT DISTINCT` 是最常用的去重方式之一，它可以返回指定列中的不同值。...
【LINQ to SQL 高级查询详解】 LINQ (Language Integrated Query) 是.NET框架中的一种技术，它允许程序员使用一种直观、类似SQL的语法在代码中处理数据。LINQ to SQL 是 LINQ 的一个实现，专门用于与关系数据库进行...
在SQL Oracle领域，掌握高效的语句操作是提升数据库管理与应用能力的关键。Oracle数据库系统是全球广泛使用的数据库管理系统之一，其SQL语法具有丰富的特性和功能。以下是对标题和描述中涉及的一些重要知识点的详细...
- **Union操作**：`UNION`关键字用于合并两个或多个`SELECT`语句的结果集，并且去重。 - **子查询**：一个嵌套在另一个`SELECT`语句中的`SELECT`语句称为子查询。子查询可以在`WHERE`子句、`FROM`子句等中使用。 ##...
SQL查询语句是数据库操作的核心，它用于从数据库中提取所需的数据。本篇文章将深入探讨SQL查询语句的两个关键组成部分：简单查询和FROM子句。 简单查询主要涉及选择列表、FROM子句和WHERE子句。选择列表允许指定...
### SQL查询语句使用 #### 一、基本概念与结构 在进行数据库操作时，**SQL（Structured Query Language）**是一种极为重要的语言工具，用于管理关系型数据库管理系统中的数据。SQL不仅能够帮助我们检索数据，还能...
这些方法利用了ROWID、GROUP BY、DISTINCT等关键字来实现数据去重的功能。 ### 1. 使用ROWID进行去重 ROWID是Oracle中的一种特殊的数据类型，用于唯一标识表中的一行记录。通过比较ROWID可以轻松识别出重复的数据...
### SQL Server去重知识点解析 #### 一、背景与需求 在处理数据库中的重复记录时，去除重复数据是一项常见的需求。对于SQL Server来说，去重不仅能够提高数据查询的效率，还能确保数据的一致性和准确性。本文将...
在SQL中，使用`CREATE TABLE`语句来定义表的结构，包括列名、数据类型、默认值和约束条件。例如，创建一个名为`Student`的表，包含ID、姓名和年龄三列，可以这样写： ``` CREATE TABLE Student ( ID INT PRIMARY ...
本文将详细介绍如何使用SQL语句来查询表中的重复数据，并基于提供的SQL示例进行深入分析。 ### SQL查询重复数据的核心概念 在开始之前，我们需要了解几个关键的概念： 1. **重复数据**：指的是在数据表中存在多条...
按照指定字段查询出出现重复的数据 SELECT m.* FROM dbo.Sheet1$ m,( SELECT ZCMC,ZCFL,XH FROM dbo.Sheet1$ GROUP BY ZCMC,ZCFL,XH HAVING COUNT(1)>1 ...WHERE m.ZCMC=m1.ZCMC AND m.ZCFL=m1.ZCFL and m.XH=m1....
`UNION`操作符用于合并两个或多个`SELECT`语句的结果集，同时会自动去重。 **示例：** ```sql SELECT * FROM department WHERE department_id UNION SELECT * FROM department WHERE department_id > 20; ``` 这...
### MySQL SQL经典语句知识点详解 #### 一、基础操作 **1. 创建数据库** - **语法**: `CREATE DATABASE database-name;` - **说明**: 此命令用于创建一个新的数据库实例。`database-name`应替换为实际数据库名称...
本文主要介绍如何使用SQL语句来实现“去重留一”，即删除重复记录并仅保留一条，且判断重复的标准基于多个字段。以下是对这个问题的详细解答。 首先，面对存在重复记录的需求，通常的思路是通过编程语言遍历数据并...
以下是对标题和描述中提到的经典SQL语句的详细解释和扩展： 1. **创建数据库**：`CREATE DATABASE database-name` 用于创建一个新的数据库，其中`database-name`是你为新数据库指定的名称。 2. **删除数据库**：`...