`
无心徘徊
  • 浏览: 162600 次
  • 性别: Icon_minigender_1
  • 来自: 杭州
文章分类
社区版块
存档分类
最新评论

数据库去除重复记录思路一

 
阅读更多
大数据量的更新,最好不要用update,可以这么弄:
步骤1:
create table us_publiccomment_01 nologging as select * from us_publiccomment where rowid in(
  select row_id
     from (select t.rowid row_id,
                  row_number() over(partition by t.msisdn,t.contentid , t.commentary order by t.createtime) rn
             from us_publiccomment t)
    where rn = 1
);

步骤2(软删除重复记录,硬删除忽略):
alter table us_publiccomment_01 nologging;
insert into us_publiccomment_01 select msisdn,contentid,commentary,...,'2'(publishstatus),... from us_publiccomment where rowid in(
  select row_id
     from (select t.rowid row_id,
                  row_number() over(partition by t.msisdn,t.contentid , t.commentary order by t.createtime) rn
             from us_publiccomment t)
    where rn > 1
);
commit;
alter table us_publiccomment_01 logging;

步骤3:
rename us_publiccomment to us_publiccomment_bak;
rename us_publiccomment_01 to us_publiccomment;

步骤4:给新表加约束、主键、索引
如:
alter table us_publiccomment modify msisdn not null;
alter table us_publiccomment modify msisdn default '11111111111';
--
alter table us_publiccomment add constraint pk_us_publiccomment primary key (msisdn) using index tablespace tbs_mread_score_idx;

步骤5:
drop table us_publiccomment_bak;
分享到:
评论

相关推荐

    网上录取数据处理中重复记录去除程序的设计.pdf

    因此,设计一个有效的重复记录去除程序显得尤为必要。 本篇文章探讨了两种针对不同情况的重复记录去除方法: 1. 直接添加源库至目标库并删除重复记录: 这种方法适用于源库与目标库已经合并的情况。首先,将待处理...

    SQL删除重复列

    在数据库管理与维护过程中,数据清洗是一项非常重要的工作,而删除重复记录(或称为去重)是数据清洗中的常见需求之一。本文将围绕“SQL删除重复列”的主题,深入探讨如何有效地利用SQL语句来处理表中的重复数据。 ...

    使用SQL语句去掉重复的记录【两种方法】

    在SQL数据库管理中,删除重复记录是一个常见的需求,特别是在处理大量数据时。本文将探讨两种高效的方法来去除具有相同字段值的重复记录,主要针对MySQL环境。 首先,我们来看传统的方法,即使用`DELETE`语句配合`...

    数据库常见面试题

    数据库设计中遵循的规范称为“范式”,目前主要有六种范式:第一范式(1NF)、第二范式(2NF)、第三范式(3NF)、BCNF(Boyce-Codd范式)、第四范式(4NF)和第五范式(5NF)。这些范式的主要目的是减少数据冗余并...

    SQL server数据库课程实例,数据库技术

    - 消除重复行查询: 使用DISTINCT关键字去除重复记录。 - 限制返回行数查询: 使用TOP关键字限制返回的结果数量。 - 满足条件的元组查询: 使用比较运算符筛选符合条件的记录。 - 确定范围查询: 使用BETWEEN...AND...

    sql语句重复操作

    在给定的标题和描述中,主要涉及如何找出并处理数据库表中的重复记录。这里我们将详细探讨几种不同的方法。 首先,要找出重复的记录,我们可以利用`GROUP BY`和`HAVING`子句。以`emp`表为例,如果我们想要找出名字...

    数据库报告1

    数据库报告1概述了数据采集和处理的流程,主要涉及了运行环境、前置库的选择,以及数据采集、清洗和分析的步骤。以下是对这些知识点的详细解释: 一、系统概述 在进行任何数据库相关的操作之前,都需要对系统环境有...

    数据库课设—集合交,并,差

    在数据库查询中,这有助于找出满足特定条件但不满足另一个条件的记录。比如,找出只在员工表中,不在部门表中的员工,可能是新入职还未分配部门的员工。 描述中提到的程序是基于严蔚敏《数据结构》题集的思路,这...

    常见Oracle数据库面试题目

    - 使用`HAVING COUNT(*) >= 1`确保每个分组中至少有一条记录。 - 最终查询结果应包含部门编号(`deptno`)。 SQL语句示例: ```sql SELECT deptno FROM emp GROUP BY deptno HAVING COUNT(*) >= 1; ``` #### 2. 列出...

    数据库考试题PPT学习教案.pptx

    使用`DISTINCT`关键字去除重复的省份,显示所有不同的省份。 7. 查询学生选修信息表中没有填写成绩的记录。`IS NULL`用于查找值为空的字段。 8. 查询所有学生信息,按照“性别”、“所属省份”和“班级”排序。`...

    经典SQL语句详解清晰的学习思路

    - UNION:返回两个查询结果集的并集,并去除重复行。 - EXCEPT:返回第一个查询结果集中不在第二个查询结果集中的行。 - INTERSECT:返回两个查询结果集的交集。 这些知识点涵盖了SQL中最基本且重要的概念和技术...

    海量数据的优化思路

    预处理步骤包括去除重复值、处理缺失值和异常值,以及转换数据格式等。"上线脚本.txt"可能包含了这些操作的自动化脚本。 7. 源码优化:标签中的“源码”提示我们关注代码层面的优化。编写高效的算法、避免内存泄漏...

    企业内部报表生成思路

    - 数据清洗:去除无效、重复或错误的数据,确保数据质量。 - 数据转换:将原始数据转化为报表所需的格式,可能涉及数据聚合、分组、排序等操作。 - 数据计算:根据业务逻辑进行计算,如计算增长率、利润率等。 4...

    数据库SQL查询语句练习题.doc

    使用`DISTINCT`关键字去除重复的学号。 #### 查询十一:查年龄在 20 至 23 岁之间的学生、系 **SQL语句**: ```sql SELECT Sno, Sdept FROM S WHERE Age BETWEEN 20 AND 23; ``` **解析**: 这个查询用于找出年龄在...

    python入门到高级全栈工程师培训 第3期 附课件代码

    02 ORM多表操作之一对多增加记录 03 ORM多表操作之一对多查询之对象查询 04 ORM多表操作之一对多查询之双下划线查询 05 ORM多表操作之多对多添加记录 06 ORM多表操作之多对多查询 07 ORM多表操作之F查询与Q查询 08 ...

    MySQL 消除重复行的一些方法

    首先创建一个新的临时表,结构与原表相同,并插入原表中不重复的记录。然后删除原表,最后将临时表改名为原表。例如,创建一个名为`test_1`的表,插入重复数据,然后创建一个临时表`tmp`,将`test_1`中的不重复数据...

    易语言快速去重复文本演示源码-易语言

    可能的场景是,程序先将文本导入到数据库中,然后利用SQL查询来去除重复项,最后再将结果导出。 4. **快速去重复文本(无库).e**:这个文件名暗示了没有依赖任何外部库的去重复文本实现,可能是一个纯易语言编写的...

    DM SQL优化实例1

    - **减少重复字段扫描**:通过使用`UNION`操作合并结果集时,可以考虑使用`UNION ALL`来避免去除重复记录的操作,从而提高性能。 - **避免使用子查询**:尽量使用表连接代替子查询,特别是在多个子查询的情况下,...

    气象大数据技术架构思路.docx

    1. **预处理**:清洗数据,去除无效或重复信息。 2. **存储**:选择合适的存储技术以支持高效查询和访问。 3. **分析**:利用统计学和机器学习方法挖掘有价值的信息。 4. **可视化**:将分析结果以图表等形式展示,...

    SQL复习.docx

    **投影**:从结果集中去除重复列,并添加左表中没有匹配的行。 2. **在外键定义中的 on delete casdade,restrict,set null 的含义** - **ON DELETE CASCADE**:当删除父表中的某条记录时,会自动删除子表中...

Global site tag (gtag.js) - Google Analytics