`

Oracle千万条记录插入与查询小结

阅读更多

最近做了个项目,实现对存在千万条记录的库表进行插入、查询操作。原以为对数据库的插入、查询是件很容易的事,可不知当数据达到百万甚至千万条级别的时候,这一切似乎变得相当困难。几经折腾,总算完成了任务。在此做些简单的小结,不足之处,还望javaeye的高手们帮忙补充补充!

1、 避免使用Hibernate框架
  Hibernate用起来虽然方便,但对于海量数据的操作显得力不从心。
  关于插入:
  试过用Hibernate一次性进行5万条左右数据的插入,若ID使用sequence方式生成,Hibernate将分5万次从数据库取得5万个sequence,构造成相应对象后,再分五万次将数据保存到数据库。花了我十分钟时间。主要的时间不是花在插入上,而是花在5万次从数据库取sequence上,弄得我相当郁闷。虽然后来把ID生成方式改成increase解决了问题,但还是对那十分钟的等待心有余悸。
  关于查询:
  Hibernate对数据库查询的主要思想还是面向对象的,这将使许多我们不需要查询的数据占用了大量的系统资源(包括数据库资源和本地资源)。由于对Hibernate的偏爱,本着不抛弃、不放弃的作风,做了包括配SQL,改进SQL等等的相当多的尝试,可都以失败告终,不得不忍痛割爱了。


2、 写查询语句时,要把查询的字段一一列出
  查询时不要使用类似select * from x_table的语句,要尽量使用select id,name from x_table,以避免查询出不需要的数据浪费资源。对于海量数据而言,一个字段所占用的资源和查询时间是相当可观的。

3、 减少不必要的查询条件
  当我们在做查询时,常常是前台提交一个查询表单到后台,后台解析这个表单,而后进行查询操作。在我们解析表单时,为了方便起见,常常喜欢将一些不需要查询的条件用永真的条件来代替(如:select count(id) from x_table where name like ‘%’),其实这样的SQL对资源的浪费是相当可怕的。我试过对于同样的近一千万条记录的查询来说,使用select count(id) from x_table 进行表查询需要11秒,而使用select count(id) from x_table where name like ‘%’却花了33秒。

4、 避免在查询时使用表连接
  在做海量数据查询时,应尽量避免表连接(特别是左、右连接),万不得已要进行表连接时,被连接的另一张表数据量一定不能太大,若连接的另一张表也是数万条的话,那估计可以考虑重新设计库表了,因为那需要等待的时间决不是正常用户所能忍受的。

5、 嵌套查询时,尽可能地在第一次select就把查询范围缩到最小
  在有多个select嵌套查询的时候,应尽量在最内层就把所要查询的范围缩到最小,能分页的先分页。很多时候,就是这样简单地把分页放到内层查询里,对查询效率来说能形成质的变化。

  就是这些了,希望对遇到类似问题的朋友们能有所帮助!


原文出处:http://chenfengcn.iteye.com/blog/357903

分享到:
评论

相关推荐

    oracle 性能优化建议小结

    ### Oracle性能优化建议小结 在Oracle数据库管理与性能调优的过程中,理解并掌握一系列的优化技巧至关重要。本文将从给定的文件标题、描述、标签以及部分内容中提炼出的关键点进行深入解析,旨在帮助数据库管理员及...

    oracle小结.ppt

    本文将根据提供的"oracle小结.ppt"内容,对Oracle数据库系统及其相关知识点进行详细总结。 1. 数据库系统概述: - 数据:描述事物的符号记录,是数据库中的基本元素。 - 数据库:存储在计算机内,有组织且可共享的...

    Oracle sql优化技术小结

    Oracle SQL优化是数据库管理中的重要环节,其目的是提高查询效率,减少资源消耗,进而提升系统的整体性能。以下是一些常见的优化策略和注意事项: 1. **表替换视图**:视图在某些场景下能简化查询,但它们可能导致...

    oracle Session与lock 解除

    #### 小结 在Oracle数据库中正确理解和使用锁机制是非常重要的,它可以有效避免并发访问时出现的数据不一致问题。通过对锁的不同类型及其应用场景的理解,可以更好地管理和优化数据库性能,确保数据完整性和一致性...

    C_连接oracle数据库操作

    本篇文章将基于一个具体的示例——使用 C# 对 Oracle 数据库进行基本的操作(包括插入、删除、更新记录),来详细解释如何在 C# 应用程序中实现对 Oracle 数据库的连接与操作。 #### 一、环境搭建与配置 为了能够...

    TimesTen与oracle数据交互问题

    #### 小结 通过上述步骤,可以有效地实现TimesTen与Oracle数据库之间的数据同步。这种方法不仅适用于简单的数据同步场景,也可以作为构建复杂数据同步方案的基础。在实际应用过程中,还需要根据具体的应用场景和...

    Oracle11g从入门到精通2

    《Oracle11g从入门到精通》面向数据库管理人员和数据库开发人员,从实际角度出发,系统地介绍了数据库和Oracle的相关概念和原理、Oracle的数据库管理(如安装与启动,用户权限、备份与恢复等),以及Oracle的应用...

    oracle中自动编码

    #### 小结 通过上述步骤,我们可以在Oracle数据库中实现类似自动编码的功能。这种方法不仅能够确保每个记录都有唯一的标识符,还能简化开发人员的工作流程,提高数据的一致性和完整性。对于那些需要频繁添加新记录...

    JAVA调用ORACLE存储过程小结[文].pdf

    Oracle存储过程`adddept`用于向`dept`表中插入新的部门记录。在Java中,我们通过`CallableStatement`来调用这个存储过程。创建一个`Connection`对象,然后使用`DriverManager.getConnection()`方法连接到Oracle...

    oracle中设置自增主键参考

    在Oracle数据库中,自增主键是一种非常实用且常见的设计模式,它能够确保表中的每一条记录都拥有一个唯一的标识符,这对于数据的管理和查询非常重要。本文将详细介绍如何在Oracle中实现自增主键的功能。 #### 创建...

    ORACLE9i_优化设计与系统调整

    第一部分 ORACLE系统优化基本知识 23 第1章 ORACLE结构回顾 23 §1.1 Oracle数据库结构 23 §1.1.1 Oracle数据字典 23 §1.1.2 表空间与数据文件 24 §1.1.3 Oracle实例(Instance) 24 §1.2 Oracle文件 26 §1.2.1...

    oracle_SQL中ROWID与ROWNUM的使用

    ### Oracle SQL中ROWID与...#### 小结 - `ROWNUM` 主要用于限制结果集的大小,实现 TOP-N 查询。 - `ROWID` 则用于快速定位表中的具体行,提高检索效率。 - 在实际应用中,根据不同的需求选择合适的工具是非常重要的。

    Oracle11g从入门到精通

    《Oracle11g从入门到精通》面向数据库管理人员和数据库开发人员,从实际角度出发,系统地介绍了数据库和Oracle的相关概念和原理、Oracle的数据库管理(如安装与启动,用户权限、备份与恢复等),以及Oracle的应用...

    oracle学习记录.docx

    ### 小结 本文详细介绍了在AIX 5.3环境下安装Oracle 10g的全过程,包括硬件准备、系统引导、安装设置验证以及安装后的系统配置等关键步骤。通过遵循这些步骤,可以顺利完成AIX 5.3的基本操作系统安装,并为进一步...

    基于Web的学生成绩网上查询系统 oracle课程设计

    #### 九、课程设计小结 - 本课程设计通过对需求分析、概念结构设计、逻辑结构设计、物理设计等多个环节的详细介绍,展示了如何构建一个基于Web的学生成绩网上查询系统。通过实际的操作实践,加深了对Oracle数据库...

    Oracle 索引练习语句程序

    ### 小结 通过以上示例,我们学习了Oracle数据库中索引的基本使用方法以及一些高级特性,如分区表索引、唯一索引、函数索引等。此外,还了解了如何通过实际的数据操作来测试索引的性能效果。这些知识点对于深入理解...

    在.NET中调用Oracle存储过程经验总结.doc

    接下来,我们将调用第二个存储过程,该存储过程用于向Oracle数据库插入记录。 ```csharp using System; using Oracle.ManagedDataAccess.Client; class Program { static void Main() { string ...

    ORACLE的UNDO表空间

    在这个示例中,我们首先创建了一个表,然后插入了两条数据。最后,我们使用 TRUNCATE TABLE 语句来删除表中的所有数据。 1.5.2. 小结 TRUNCATE TABLE 语句可以快速地删除表中的所有数据,但是它只产生少量的 Undo ...

    Oracle.11g.从入门到精通 (2/2)

    6.5.1 复制原表插入记录 6.5.2 使用视图 6.5.3 使用PL/SQL语言 6.5.4 数据查询 第7章 Oracle数据库管理操作 7.1 学会使用视图 7.1.1 增加安全性 7.1.2 隐藏数据的复杂性 7.1.3 实现命名简洁性和易读性 7.1.4 实现...

    Oracle.11g.从入门到精通 (1/2)

    6.5.1 复制原表插入记录 6.5.2 使用视图 6.5.3 使用PL/SQL语言 6.5.4 数据查询 第7章 Oracle数据库管理操作 7.1 学会使用视图 7.1.1 增加安全性 7.1.2 隐藏数据的复杂性 7.1.3 实现命名简洁性和易读性 7.1.4 实现...

Global site tag (gtag.js) - Google Analytics