`

数据量优化问题

阅读更多

由于最近要处理数据量比较大的问题,在网上找点资料

 

 数据库:oracle
我现在这样执行 rs=handle.executeQuery(strSql)一条语句
这一语句strSql是一个简单的查询语句,但会返回几百万条记录(500w以上)。
问题:
1.如果只是执行这条sql而不用while(rs.next())来取数据的话,是否会需要执行很多的时间,
是用while(rs.next())来遍历所有的记录需要更多的时间,还是执行那条sql(也就是handle.executeQuery(strSql);)花更多的时间?
2.如果我只执行executeQuery(strSql);而不遍历它的结果集会不会耗web服务器上的内存?
3.这个问题其实和问题2差不多,如果我用while(rs.next())来遍历这个结果集,但我不把整个结果集保存在中间变量中(一般是数组中),而是取一条记录,保存一条记录到文件中,这种情况会不会很耗web服务器的内存?

 

回答:
1 executeQuery(strSql);主要是消耗DB服务器上的内存
2 while(rs.next)是消耗WEB服务器上的内存
对于500W条数据,不论DB服务器还是WEB服务器,都会消耗很多内存.
3、“取一条记录,保存一条记录到文件中”:这样做会在一定程度上会节约很多内存(在500W条数据时会很明显),但是在取操作上可能会麻烦点,增加了复杂度,在实际运用中要看项目的具体取舍

分享到:
评论

相关推荐

    Oracle 大数据量操作性能优化

    Oracle大数据量操作性能优化是指在处理大量数据时,如何提高 Oracle 数据库的性能。该优化技术涉及到多个方面,包括分区、Direct Insert、并行和排序处理等。 分区是 Oracle 中的一种优化技术,可以将大型表分割成...

    解决qtablewidget加载大量数据卡顿的问题

    解决qtablewidget加载大量数据卡顿的问题

    大量数据处理优化方案

    在处理大量数据时,这种方式可以显著降低内存消耗,避免一次性加载大量数据导致的内存溢出问题。SQLAPI.dll是一个常用的数据库访问库,它提供了良好的游标支持。 在使用游标处理数据时,有一个关键参数是`...

    Web大数据量页面优化实践

    本文将深入探讨“Web大数据量页面优化实践”,结合提供的标签“源码”和“工具”,我们将从代码优化和利用工具两方面来讨论这个问题。 一、代码优化 1. **懒加载**:对于大数据量的页面,一次性加载所有内容可能...

    大数据量数据存储的优化方案(银行项目)

    因此,如何有效地优化大数据量下的数据存储及查询效率成为了银行信息技术部门面临的关键问题。 #### 二、系统优化现状分析 目前,银行信息系统优化主要集中在以下几个方面: 1. **网络带宽升级**:提高网络传输...

    Oracle大数据量操作优化

    Oracle大数据量操作优化

    Oracle 大数据量操作优化

    这样做的好处是可以避免因数据量过大而导致的资源争抢问题,确保更新过程顺利进行。 - 示例命令: ``` alter session set sort_area_size=100000000; ``` 4. **增加排序缓冲区大小** - 通过调整会话级别的...

    mysql大数据量优化

    MySQL数据库在处理大数据量时,性能优化至关重要。以下是一些关键的优化策略和技术: 1. **连接查询与子查询优化**: - **连接查询**(JOIN):当需要从多个表中获取关联数据时,使用连接查询通常比子查询更有效率...

    大数据量高并发的数据库优化

    《大数据量高并发的数据库优化》 数据库优化在大数据量和高并发场景下显得尤为重要,因为它直接影响到系统的稳定性和效率。本文将深入探讨数据库结构设计、查询优化等方面的关键策略。 首先,数据库结构设计是优化...

    百万数据查询优化海量数据查询优化

    在处理海量数据时,查询优化显得尤为重要,特别是当数据量达到百万级别甚至更高时。查询优化旨在提高数据查询的效率,减少查询时间,提升系统性能。以下是一些关键的优化策略: 1. **合理使用索引**: - **索引...

    车联网络数据传输优化问题研究.pdf

    车联网络数据传输优化问题研究是车联网技术领域中一个非常重要的研究课题。车联网通过无线通信技术实现车辆与车辆(V2V)、车辆与基础设施(V2I)之间的信息交换,旨在提高交通安全、缓解交通拥堵、提供增值服务等。...

    如何优化大数据量加载DataGrid

    因此,优化大数据量加载DataGrid成为提升用户体验的关键步骤之一。 ### 数据源的绑定方式 #### ServerMode绑定 首先,可以采用ServerMode绑定方式来优化DataGrid加载大数据的效率。ServerMode允许DataGrid在服务器...

    Oracle表删除大量数据(千万)后查询变慢问题(原因分析)

    Oracle 表删除大量数据后查询变慢问题分析 在 Oracle 数据库中,如果删除了大量数据(千万级别),可能会出现查询变慢的问题。下面我们将分析这个问题的原因,并提供解决方案。 问题的原因主要有两个方面: 1. 表...

    C# 大数据量快速导出到 Excel方法

    但是,当处理大量数据时,直接使用Interop的方式可能会遇到性能问题,因为这个方法会启动一个实际的Excel进程,内存消耗大且效率较低。因此,我们需要优化这个过程来提高导出速度。 首先,理解Microsoft.Office....

    BaseAdapater加载大量数据之性能优化

    然而,当需要加载大量数据时,未经优化的BaseAdapter可能会导致性能问题,如界面卡顿、内存消耗过大等。本篇文章将深入探讨BaseAdapter在处理大量数据时的性能优化策略。 首先,我们需要理解BaseAdapter的工作原理...

    数据访问优化

    在IT行业中,数据访问优化是提高系统性能的关键环节,尤其对于大数据量和高并发的应用场景。这个主题涉及到数据库查询优化、缓存策略、索引利用、数据结构设计等多个方面。以下将详细介绍这些知识点: 1. **数据库...

Global site tag (gtag.js) - Google Analytics