参考:
http://stackoverflow.com/questions/3311903/remove-duplicate-rows-in-mysql
http://database.51cto.com/art/201011/235159.htm
添加多字段唯一索引,会自动删除重复数据,并不允许插入重复数据。
查询多字段重复数据
select * from plan_device a
where (a.sourceID,a.platformID, a.sourceType) in (select sourceID,platformID,sourceType from plan_device group by sourceID,platformID,sourceType having count(*) > 1)
执行时间很长。
添加不重复的索引
ALTER IGNORE TABLE plan_device ADD UNIQUE INDEX UNIQUE_KEY (`sourceID`, `platformID`, `sourceType`);
--
-- 2014-9-19
--
分享到:
相关推荐
### 删除表中重复数据SQL语句详解 #### 一、基础知识概述 在数据库管理中,重复数据是一个常见的问题,尤其当数据库经历长时间的数据输入时,可能会出现数据录入错误或者批量导入过程中导致的数据冗余。重复数据的...
### 如何删除表中重复数据 在数据库管理与维护的过程中,经常会遇到表中存在重复记录的问题,这不仅会造成数据冗余、浪费存储空间,还可能导致数据分析结果失真。因此,了解如何有效地删除表中的重复数据是一项重要...
删除重复数据是维护数据完整性和准确性的重要步骤。下面介绍几种常见的删除重复数据的方法: #### 1. 删除具有相同 `peopleId` 的重复记录 **示例**: ```sql DELETE FROM people WHERE peopleId IN (SELECT ...
重复数据的存在不仅会占用额外的存储空间,还可能导致数据统计错误、数据分析偏差等问题,因此,有效地删除表中的重复数据是保持数据质量和提高数据库性能的重要环节。本文将详细解析如何在Oracle中删除表中的重复...
标题和描述概述的知识点主要集中在SQL语言中处理表内重复数据的方法上,涵盖了查询与删除重复数据的不同场景。下面将详细解析这些知识点: ### 查询表中重复数据 #### 单字段重复数据查询 ```sql SELECT * FROM ...
本文将详细讲解如何使用SQL语句来查询和删除数据库表中的重复数据。 首先,我们要了解什么是重复数据。在数据库中,重复数据是指具有相同值的一个或多个字段的数据行。例如,如果一个`people`表中有多个人具有相同...
在SQL中,处理重复数据是一项常见的任务,尤其是在数据清洗和数据整理...通过巧妙地组合这些元素,我们可以有效地查询并删除重复数据,确保数据的准确性和一致性。在实际应用中,应根据具体情况选择最合适的解决方案。
6. **自动化过程**:如果经常需要进行此操作,可以考虑编写VBA宏或者使用Access的模块功能,自动化整个删除重复数据的过程。这样,只需点击一下按钮,Access就能自动检查并删除重复数据。 7. **预防措施**:为了...
本文将详细介绍如何使用SQL语句来查询表中的重复数据,并基于提供的SQL示例进行深入分析。 ### SQL查询重复数据的核心概念 在开始之前,我们需要了解几个关键的概念: 1. **重复数据**:指的是在数据表中存在多条...
删除重复记录的核心思想是先识别出哪些记录是重复的,然后通过某种方式将这些重复记录从数据表中移除。通常的做法包括: 1. **识别重复记录**:通过`GROUP BY`和`HAVING`子句找出具有相同字段值的记录。 2. **标记...
在Oracle数据库管理中,经常会遇到需要处理表中的重复数据的情况。重复数据不仅会占用不必要的存储空间,还可能导致数据统计错误或业务逻辑混乱等问题。因此,掌握如何有效地删除Oracle数据库表中的重复记录是一项...
在本例中,我们使用了三种不同的方法来删除重复数据,这些方法都可以达到删除重复数据的目的,但是它们的执行时间和资源消耗不同。其中,方法三的执行时间最短,适合大数据量的情况。在实际操作中,需要根据实际情况...
本文将详细介绍SQL中删除表内重复数据的两种方法,并对每种方法进行深入解析。 #### 方法一:使用子查询删除重复记录 这种方法主要是通过子查询来找到重复记录并删除它们。具体步骤如下: 1. **确定重复字段**:...
本文将详细介绍如何在MySQL中查找并删除重复数据。 首先,我们需要识别哪些数据是重复的。假设我们有一个名为`my_table`的表,其中包含`column1`和`column2`等字段,可能存在重复数据。使用`GROUP BY`和`HAVING`...
链表是一种常用的数据结构,它在计算机科学中用于存储和操作序列数据,特别是在需要高效插入和删除操作的情况下。本文将详细讲解如何用C语言实现一个链表,以及如何删除链表中的重复元素。 首先,我们需要定义链表...
在Oracle数据库中,删除重复数据是一项常见的数据维护任务,尤其当表设计初期未充分考虑到数据唯一性时。本文将详细探讨两种情况下的重复数据删除方法:部分字段重复和完全重复记录。 1. 部分字段重复数据的删除 ...
总结起来,本文介绍了如何在C语言中使用链表数据结构删除重复节点。通过定义链表节点结构体,实现删除重复节点的函数`deleteDupNodes()`,我们可以有效地优化存储,确保链表中没有重复的元素。在实际应用中,还需...
为了确保每条重复的数据中只保留一条记录,我们通常会额外添加一个条件来决定保留哪一条记录。这里采用的方式是最小的ID。 **SQL语句示例:** ```sql DELETE FROM Users WHERE Email IN ( SELECT Email FROM Users...
因此,掌握如何在Excel中删除重复数据是一项非常实用且重要的技能。 ### 标题:Excel中删除重复数据 #### 知识点一:手动删除重复数据 1. **选择数据范围**:首先选中包含重复数据的列或整个数据区域。 2. **使用...