`

数据量优化问题

阅读更多

由于最近要处理数据量比较大的问题,在网上找点资料

 

 数据库:oracle
我现在这样执行 rs=handle.executeQuery(strSql)一条语句
这一语句strSql是一个简单的查询语句,但会返回几百万条记录(500w以上)。
问题:
1.如果只是执行这条sql而不用while(rs.next())来取数据的话,是否会需要执行很多的时间,
是用while(rs.next())来遍历所有的记录需要更多的时间,还是执行那条sql(也就是handle.executeQuery(strSql);)花更多的时间?
2.如果我只执行executeQuery(strSql);而不遍历它的结果集会不会耗web服务器上的内存?
3.这个问题其实和问题2差不多,如果我用while(rs.next())来遍历这个结果集,但我不把整个结果集保存在中间变量中(一般是数组中),而是取一条记录,保存一条记录到文件中,这种情况会不会很耗web服务器的内存?

 

回答:
1 executeQuery(strSql);主要是消耗DB服务器上的内存
2 while(rs.next)是消耗WEB服务器上的内存
对于500W条数据,不论DB服务器还是WEB服务器,都会消耗很多内存.
3、“取一条记录,保存一条记录到文件中”:这样做会在一定程度上会节约很多内存(在500W条数据时会很明显),但是在取操作上可能会麻烦点,增加了复杂度,在实际运用中要看项目的具体取舍

分享到:
评论

相关推荐

    Oracle 大数据量操作性能优化

    Oracle大数据量操作性能优化是指在处理大量数据时,如何提高 Oracle 数据库的性能。该优化技术涉及到多个方面,包括分区、Direct Insert、并行和排序处理等。 分区是 Oracle 中的一种优化技术,可以将大型表分割成...

    大量数据处理优化方案

    在处理大量数据时,这种方式可以显著降低内存消耗,避免一次性加载大量数据导致的内存溢出问题。SQLAPI.dll是一个常用的数据库访问库,它提供了良好的游标支持。 在使用游标处理数据时,有一个关键参数是`...

    Web大数据量页面优化实践

    本文将深入探讨“Web大数据量页面优化实践”,结合提供的标签“源码”和“工具”,我们将从代码优化和利用工具两方面来讨论这个问题。 一、代码优化 1. **懒加载**:对于大数据量的页面,一次性加载所有内容可能...

    大数据量数据存储的优化方案(银行项目)

    因此,如何有效地优化大数据量下的数据存储及查询效率成为了银行信息技术部门面临的关键问题。 #### 二、系统优化现状分析 目前,银行信息系统优化主要集中在以下几个方面: 1. **网络带宽升级**:提高网络传输...

    Oracle大数据量操作优化

    Oracle大数据量操作优化

    Oracle 大数据量操作优化

    这样做的好处是可以避免因数据量过大而导致的资源争抢问题,确保更新过程顺利进行。 - 示例命令: ``` alter session set sort_area_size=100000000; ``` 4. **增加排序缓冲区大小** - 通过调整会话级别的...

    mysql大数据量优化

    MySQL数据库在处理大数据量时,性能优化至关重要。以下是一些关键的优化策略和技术: 1. **连接查询与子查询优化**: - **连接查询**(JOIN):当需要从多个表中获取关联数据时,使用连接查询通常比子查询更有效率...

    大数据量高并发的数据库优化

    《大数据量高并发的数据库优化》 数据库优化在大数据量和高并发场景下显得尤为重要,因为它直接影响到系统的稳定性和效率。本文将深入探讨数据库结构设计、查询优化等方面的关键策略。 首先,数据库结构设计是优化...

    百万数据查询优化海量数据查询优化

    在处理海量数据时,查询优化显得尤为重要,特别是当数据量达到百万级别甚至更高时。查询优化旨在提高数据查询的效率,减少查询时间,提升系统性能。以下是一些关键的优化策略: 1. **合理使用索引**: - **索引...

    如何优化大数据量加载DataGrid

    因此,优化大数据量加载DataGrid成为提升用户体验的关键步骤之一。 ### 数据源的绑定方式 #### ServerMode绑定 首先,可以采用ServerMode绑定方式来优化DataGrid加载大数据的效率。ServerMode允许DataGrid在服务器...

    BaseAdapater加载大量数据之性能优化

    然而,当需要加载大量数据时,未经优化的BaseAdapter可能会导致性能问题,如界面卡顿、内存消耗过大等。本篇文章将深入探讨BaseAdapter在处理大量数据时的性能优化策略。 首先,我们需要理解BaseAdapter的工作原理...

    数据访问优化

    在IT行业中,数据访问优化是提高系统性能的关键环节,尤其对于大数据量和高并发的应用场景。这个主题涉及到数据库查询优化、缓存策略、索引利用、数据结构设计等多个方面。以下将详细介绍这些知识点: 1. **数据库...

    大数据量翻页查询的一点经验

    在大数据量的翻页查询中,优化查询性能是至关重要的,因为这直接影响到系统的响应速度和用户体验。在本文中,我们将探讨如何针对特定场景优化这种查询。首先,我们需要理解系统的基本设定:每天生成一张包含1000万条...

    C# 大数据量快速导出到 Excel方法

    但是,当处理大量数据时,直接使用Interop的方式可能会遇到性能问题,因为这个方法会启动一个实际的Excel进程,内存消耗大且效率较低。因此,我们需要优化这个过程来提高导出速度。 首先,理解Microsoft.Office....

    大量数据排序算法的优化设计

    针对大规模数据的排序问题,可以采用一种优化策略,其基本思路是将大量数据按照一定的间隔分为若干个小组,对每个小组内的数据进行排序,最后将各个小组的排序结果合并起来。这种方法能够有效减少排序过程中数据的...

    电力系统机组组合优化问题

    MATLAB作为一种强大的数学计算和编程环境,被广泛用于解决此类复杂优化问题。 该压缩包文件包含的MATLAB程序为了解决电力系统机组组合优化提供了工具。"原始数据"部分可能包括了各种发电机组的参数,如容量、启动...

Global site tag (gtag.js) - Google Analytics