`
cy729215495
  • 浏览: 129230 次
  • 性别: Icon_minigender_1
  • 来自: 武汉
社区版块
存档分类
最新评论

oracle高效的批量删除重复数据

阅读更多

       如何高效删除重复数据?用诸如:

rowid,id相等,速度太慢了。对于大数据量的表的做插入,效率最好的是用临时表。

 

基本上就是这么一流程:

 

drop table t1

create table t1 as select ctemp.id ,max(ctemp.name) name,
max(ctemp.city) city  from  cardtypeid_temp  ctemp 
group by ctemp.id 

truncate table cardtypeid_temp

insert into cardtypeid_temp  select * from t1

 

 

在创建临时表的时候,没有用distinct * ,因为*是整行,如果id(唯一)相同,name不同,在用distinct的时候

任何会认为不同,这显然是不可以的。

如果用 distinct id,name意思是与distinct * 一样的。

 

由于这里我只判断id是重复列,所以分组的时候用就只了id,而其他的列表项除了ctemp.id外,都是单行

函数,必须要取别名。

注意一定要列出原表的全部字段

才能在往原表里面插入的时候就不会报错。好像是报告value is not enough。

分享到:
评论

相关推荐

    Oracle_10g数据仓库实践 (最全面).pdf

    - **数据清洗**:去除重复、错误或不完整的数据。 - **数据验证**:确保数据符合预定义的标准和格式。 #### 1.10 OLAP 技术 - **多维分析**:支持复杂的分析需求,如汇总、切片、切块等。 - **在线分析处理**:...

    ArcGIS10 删除完全重复线

    "ArcGIS10 删除完全重复线"这个主题涉及到一个常见的数据清洗任务,即识别并移除地图数据中的完全重复线段。ArcGIS10是Esri公司推出的一款强大的桌面GIS软件,它提供了丰富的数据处理工具和功能,包括数据建模和数据...

    企业oracle数据分析岗位面试题

    - **减少冗余**:避免重复存储相同数据,减少存储成本,提高数据一致性。 - **数据独立性**:物理结构和逻辑结构的分离,使数据的存储和访问更加灵活。 - **集中控制**:统一管理数据的访问权限和安全性,便于...

    excel批量转换为txt文本文档及数据清洗整理检查小工具

    这个名为"excel批量转换为txt文本文档及数据清洗整理检查小工具"的程序专为处理大量Excel数据而设计,目的是为了方便用户将Excel文件高效地转换为适合Oracle数据库导入的TXT格式,并在转换过程中进行数据清洗和质量...

    基于Oracle的企业数据移植工具的开发.pdf

    在本文中,工具设计考虑到了企业实际数据特点和管理需求,可能包括去除重复数据、数据校验、数据规范化等步骤。 3. **数据装载**:最后,经过转换的数据被加载到Oracle数据库中,这一步可能涉及到批量插入和增量...

    golden6 oracle 工具

    "Golden6 Oracle 工具"是一款专为Oracle数据库管理设计的高效软件,相较于常见的PL/SQL Developer,它在数据导入导出的速度上有着显著优势,据描述称快了10多倍。这样的性能提升对于数据库管理员和开发人员来说,...

    批量数据加载与存储实验.doc.zip

    数据转换阶段是处理数据质量的关键步骤,包括去除重复数据、数据类型转换、缺失值处理、异常值检测等。在实验中,可能会使用编程语言如Python或R,利用Pandas、Numpy等库进行数据预处理。 数据加载则是将处理后的...

    Oracle课件.pdf

    Oracle是世界上最广泛使用的数据库管理系统之一,它提供了丰富的功能和高效的数据管理能力。本课件将深入探讨Oracle的基础知识,包括BI(商业智能)概念、Oracle的安装与配置、用户管理和权限控制,以及SQL数据操作...

    oracle异库同表名的两个数据库中数据合并或数据表结构的修改

    通过以上方法,我们可以在保证数据安全性的前提下高效完成Oracle异库同表名的两个数据库中数据合并或数据表结构的修改工作。当然,在实际操作过程中还可能遇到更多复杂情况,这就需要根据具体情况灵活运用各种技术和...

    英特尔联手Cloudera采用Kafka消息解决方案 为Oracle基础设施集成Hadoop

    8. **系统集成的复杂性**:文章描述了一家金融公司在集成系统时面临的挑战,比如自动配置、持续部署、验证、数据重复删除以及与多个数据源的集成等。这些挑战说明了在实施大数据解决方案时,需要克服的技术复杂性和...

    Oracle性能优化技巧

    7. **删除重复记录**:使用ROWID可以高效地删除重复记录,避免全表扫描。 8. **使用TRUNCATE替代DELETE**:对于整个表的清理,TRUNCATE命令比DELETE更快,因为它不涉及回滚段,资源消耗少。 9. **频繁使用COMMIT**...

    指导学习oracle

    综上所述,在Oracle数据库的学习过程中,理解如何利用索引来优化查询性能、如何处理重复数据以及如何实现高效的数据分页是非常重要的。这些技巧不仅有助于提高系统的整体性能,也能在面试和技术交流中展示出扎实的...

    关于数据仓库的文献

    3. **数据清洗**:去除重复数据、纠正错误数据等,提高数据质量。 4. **数据转换**:将数据从原始格式转换成适合分析的形式。 5. **数据加载**:将处理好的数据加载到数据仓库中。 6. **元数据**:关于数据的数据,...

    Oracle高手必读

    当执行大量数据修改操作时,如批量删除,可能会遇到ORA-01555错误,这是由于事务快照过小导致的。通过设置事务使用特定的回滚段,可以避免此类问题: ```sql SET TRANSACTION USER ROLLBACKSEGMENT roll_abc; ...

    oracle数据库crt连接工具

    一旦连接建立,用户可以通过SQL*Plus或者PL/SQL Developer等数据库客户端在SecureCRT会话中执行SQL语句,进行数据查询、插入、更新和删除操作。 作为DBA,利用SecureCRT还可以实现以下高级功能: 1. **脚本执行**:...

    ORACLE_SQLDeveloper使用教程

    - 这里可以添加、删除或修改列的数据类型、约束条件等。 4. **执行 SQL 语句:** - SQL Developer 提供了一个强大的 SQL 编辑器,支持语法高亮、代码补全等功能。 - 可以直接在编辑器中编写 SQL 语句,然后执行...

    Excel百万级别数据的导入和导出

    7. **数据预处理**:在导入Excel前,对数据进行清洗和预处理,如删除重复项、填充缺失值、转换数据类型,可以提高导入效率和数据质量。 8. **数据导出优化**:导出时,可以使用过滤、排序和分页等功能,避免一次性...

    Toad for Oracle 2018 Edition 13.0.0.80 x64.rar

    - **数据编辑**:提供网格视图进行数据查看和编辑,支持批量更新和删除操作。 - **数据导出导入**:方便地将数据导出到文件或从文件导入数据,支持多种格式,如CSV、Excel等。 4. **性能调优** - **SQL分析**:...

    oracle数据库性能优化宝典

    10. **删除重复记录**:冗余数据可能导致额外的存储和处理开销,定期清理重复记录有助于保持数据库整洁和高效。 11. **用TRUNCATE替代DELETE**:删除大量数据时,TRUNCATE操作比DELETE快,因为它不记录单个行的删除...

Global site tag (gtag.js) - Google Analytics