`
swvip
  • 浏览: 154392 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

对大表中数据去重的一种方法

 
阅读更多

 

为了情节重现,先创建一个表为test01 ,很简单的两列。

 

create table shenwei.test01
(
A               VARCHAR2(20)
B               VARCHAR2(20)
);

 

我们往里插入几条数据

SQL> select * from shenwei.test01
  2  ;
 
A                    B
-------------------- --------------------
1                    A
2                    B
3                    C
4                    D
5                    F
3                    C
2                    B
 
7 rows selected
 

限制这张表就类比大表,现在要想要里面重复的数据删除,(当然,如果是小表,我们可以直接delete)但是如果是大表就很慢了,

所以新建一张表,把数据筛选出来后,插入表中

 

create table SHENWEI.TEST021 nologging as
select A, B
  from (select A,
               B,
               row_number() over(partition by A, B order by B desc) rn
          from SHENWEI.TEST01)
 where rn = 1

 

然后创建索引,收集新表统计信息,确保SELECT查询采用正确高效率的执行计划。

如果没有问题就把表修改成log模式

 

alter table shenwei.test01 logging;

最后把表rename,搞定

 

alter table shenwei.test02 rename to shenwei.test01;
 

 

分享到:
评论

相关推荐

    适用于Delphi的完整文本数据快速排序去重代码,可以对几百万几千万数据快速处理

    标题和描述提到的"适用于Delphi的完整文本数据快速排序去重代码",就是针对这种需求的一个解决方案。 首先,快速排序是一种高效的排序算法,由C.A.R. Hoare在1960年提出,其平均时间复杂度为O(n log n),在实际应用...

    行业分类-物理装置-一种数据去重系统中的冷热索引识别与分类管理方法.zip

    标题“行业分类-物理装置-一种数据去重系统中的冷热索引识别与分类管理方法”暗示了我们讨论的主题集中在数据去重系统中如何区分并管理不同类型的数据,特别是冷热数据的识别和分类。 首先,我们需要理解什么是冷热...

    sql_按照某一个字段进行去重后获取全部字段

    这样做的效果是,在保证数据去重的同时,还能确保所选取的是每个分组内的最新记录。 #### 应用场景示例 假设我们需要从 `person_real_time_bill` 表中找出所有金额小于零的账单,并且对于同一个 `serial_number`,...

    ChatGPT技术的训练数据去重方法解析.docx

    针对这个问题,有几种有效的数据去重方法。首先,TF-IDF(Term Frequency-Inverse Document Frequency)是一种常用的技术,它衡量一个词在文档集合中的重要性。在训练数据中,通过对每个句子计算TF-IDF值,可以识别...

    几种sql去重

    最后一种方法是利用 `MIN` 或 `MAX` 函数结合 `GROUP BY` 来保留每组中的最小或最大记录,从而实现去重。例如: ```sql DELETE FROM gz_hospital a WHERE a.id > (SELECT MIN(b.id) FROM gz_hospital b GROUP BY b....

    易语言最简单的数据去除重复

    3. **数据去重**:数据去重的核心算法是遍历数据集,对于每个元素,检查它是否已经存在于哈希表中。如果不存在,则添加到哈希表中;如果存在,则跳过,不将其添加到结果集中。 4. **统计总行数**:在数据去重过程中...

    百万去重.rar

    "百万去重"可能包含的是针对百万级数据量的一种去重实现,可能使用了上述的一种或多种算法。由于作者提到存在问题,这可能涉及到性能优化、内存管理、错误处理等方面。例如,哈希表在处理大量数据时可能会遇到内存...

    网络游戏-一种分布式网络爬虫系统中的URL去重方法.zip

    总结来说,网络游戏-一种分布式网络爬虫系统中的URL去重方法,可能综合运用了上述的一种或多种技术,旨在提高爬虫效率,避免无效工作,同时减少对目标网站的压力。具体的实现细节,可以从“一种分布式网络爬虫系统中...

    C#中datatable去重的方法

    如果数据量很大,或者去重的列包含大量数据,可能会影响性能。因此,在实际应用中,应根据具体情况选择合适的方法。 ### 总结 在C#中处理DataTable时,去重是一项常见的任务。根据数据来源和需求,可以选择使用...

    有趣的代码段实现去重

    本次分享的是一个简短但颇具巧思的代码片段——一种有趣且有效的实现列表去重的方法。 ### 一、问题背景 在实际开发过程中,我们经常需要处理包含重复元素的数据集。例如,在一个用户管理系统中,可能会出现用户ID...

    Oracle删除表中的重复数据

    2. **插入去重后的数据**:接下来,使用`INSERT INTO`语句将原表中去重后的数据插入到临时表中。在给定的部分内容中,`SELECT DISTINCT ... FROM tlinkman`语句用于选择原表中的唯一记录。值得注意的是,`DISTINCT`...

    链表去重内容介绍.zip

    与哈希表类似,Set是另一种可以用来辅助去重的数据结构。遍历链表,将每个元素添加到Set中,如果添加失败(即Set中已存在该元素),则忽略。同时,使用一个新的链表记录不重复的元素。这种方法的时间复杂度同样是O(n...

    Oracle数据库删除表中重复记录的方法三则.txt

    ### Oracle数据库删除表...每种方法都有其适用场景和特点,根据实际需求选择最合适的一种。需要注意的是,在执行删除操作前,务必做好数据备份,以免误删导致数据丢失。此外,对于大型表的处理,还需考虑性能优化问题。

    基于全信息的网络文本信息去重算法研究

    综上所述,基于全信息的网络文本信息去重算法是一种有效的解决方案,它能够显著提升Web信息采集系统的性能,尤其是在处理大量重复信息的情况下。未来的研究可以从以下几个方面进行扩展和完善: - **动态调整**:...

    基于java的单链表增、删、改、查、去重操作

    在Java编程语言中,单链表是一种常见的数据结构,它由一系列节点组成,每个节点包含一个数据元素和指向下一个节点的引用。这个数据结构在处理动态数据集合时非常有用,因为它允许快速插入和删除操作。在给定的“基于...

Global site tag (gtag.js) - Google Analytics