`
jackle_liu
  • 浏览: 147393 次
文章分类
社区版块
存档分类
最新评论

使用Java程序从数据库中查询大量的数据时可以这么做

阅读更多

  曾经做过实验,用java程序查询mysql一个表的数据,表的数据量是10w左右.

  仅仅执行statement.executeQuery方法,瞬间cpu的占用达到100%,如果频繁得如此取表的数据的话,那你的程序根本无法运行.所以一定要保证每次取得的数据量在cpu可以承受的范围内.

  并且不能过分频繁的与数据库进行交互,否则cpu占用还是降不下来,曾经尝试不间断地每次取得500条数据,cpu占用也达到100%,而采取每次取得数据后Thread.sleep(100),cpu占用就到了60%-70%,如果Thread.sleep(1000),cpu占用就在0%-20%左右了.

分享到:
评论
1 楼 ahua3515 2008-12-05  
那取2亿数据时 你不是要等死,sleep等待的时间毛长

做这种事情得配一台稍微好一点的机子 相当于专做统计

相关推荐

    用java程序怎么实现200ms往数据库中插入10000条数据

    如果我们需要插入大量数据,可以使用批量插入方式来提高效率。我们可以使用 `addBatch()` 方法将多个插入语句添加到批量中,然后使用 `executeBatch()` 方法执行批量插入操作。 优化插入性能 为了提高插入性能,...

    JAVA使用线程池查询大批量数据

    本文将深入探讨如何在Java中使用线程池来查询大量数据,以及这样做的好处和实现方法。 首先,理解线程池的概念至关重要。线程池是一种多线程处理形式,预先创建了若干个线程,当有任务需要执行时,会从线程池中取出...

    Java的Jtable、从数据库取数据显示在表格中

    ### Java的JTable:从数据库取数据显示在表格中的关键技术点 #### 一、数据库操作与JDBC连接 在Java中,使用JTable显示数据库中的数据是一个常见的应用场景。首先,我们需要了解如何通过Java Database ...

    java连接数据库包、数据报表包

    通过POI,开发者可以在Java程序中创建、修改和显示Excel电子表格。 - **Apache POI**:Apache POI项目提供了HSSF(处理.xls格式)和XSSF(处理.xlsx格式)API,使得开发者能够创建复杂的Excel工作簿、工作表、...

    java多线程处理数据库数据

    在Java编程中,多线程处理是提升程序性能和效率的重要手段,特别是在处理大量数据库数据时。本主题将深入探讨如何使用Java的并发包(java.util.concurrent)来实现多线程对数据库数据的批量处理,包括增、删、改等...

    用java编写的从数据库和XML中读写数据的应用程序

    本应用程序的主题聚焦于使用Java来处理数据,包括从数据库和XML文件中读取以及写入数据。这两种数据存储方式在现代软件系统中扮演着至关重要的角色。 首先,让我们深入了解一下数据库操作。Java通过JDBC(Java ...

    Java数据库应用程序编程指南

    JDBC是Java API,允许Java程序与各种类型的数据库进行通信。它提供了一套标准接口,使得开发者可以编写不依赖于特定数据库系统的代码。通过JDBC,你可以执行SQL语句、处理结果集、管理事务等。 1. **连接数据库**:...

    S2使用Java实现数据库编程

    首先,Java与MySQL的交互主要依赖于JDBC(Java Database Connectivity),这是一个Java API,允许Java程序与各种数据库进行通信。在Java中,我们需要引入`java.sql`和`javax.sql`包中的类和接口来执行SQL语句、管理...

    浅谈Java中Mysql数据库的连接与操作.pdf

    数据挖掘是一种从大量数据中提取或“挖掘”信息的过程,这些信息往往是隐藏的、未知的,但却是潜在有用的知识。Weka是一个基于Java的数据挖掘软件,提供了多种数据挖掘任务的功能,比如分类、回归、聚类、关联规则等...

    java 数据库中图片文件的存取

    要从数据库检索图片,需要执行类似的查询并使用ResultSet获取BLOB数据。 ```java String selectSql = "SELECT image_data FROM images WHERE name = ?"; PreparedStatement selectPstmt = conn.prepareStatement...

    Java+MySQL+将数据导入到Excel中,Java将Excel中的数据导入到MySQL数据库中,

    使用POI,开发者可以方便地在Java程序中创建、修改和解析Excel工作簿、工作表和单元格数据。在Java中,你可以通过以下步骤来操作Excel: 1. 引入POI库:在项目中添加对应的Maven或Gradle依赖。 2. 创建Workbook对象...

    java一次性查询处理几百万数据解决方法

    在Java开发中,处理大数据量是常见的需求之一,特别是当数据规模达到几百万级别时,如何高效、稳定地处理这些数据变得尤为重要。本文将详细介绍一种Java一次性查询处理几百万数据的有效方法,并通过具体代码示例进行...

    java用户登录界面并连接数据库(教师工资查询)

    10. **性能优化**:对于大量数据,可以考虑使用分页查询,避免一次性加载所有数据导致内存压力。此外,合理设计数据库索引,优化查询速度。 这个项目的实施涵盖了Java GUI开发、数据库操作和用户验证等多个方面,是...

    用java编程将txt文件数据导入oracle

    "Java编程将TXT文件数据导入...通过使用 Java 语言编写程序,我们可以轻松地将 TXT 文件中的数据导入 Oracle 数据库,从而提高工作效率和数据处理能力。该程序的编写和应用可以广泛应用于数据处理、数据分析等领域。

    Java web与数据库交互实现三级联动.docx

    在本例中,使用 Ajax 技术来实现数据绑定,将数据库中的数据动态加载到下拉菜单中。 知识点8: JavaScript 语言基础 JavaScript 语言是一种脚本语言,广泛应用于 Web 应用程序开发。JavaScript 语言可以用来实现 ...

    数据库 万能查询程序源代码

    3. **结果集处理**:研究程序如何获取并显示查询结果,以及如何处理大量数据。 4. **异常处理和错误报告**:理解程序如何处理可能出现的错误,提供有用的错误信息。 5. **用户权限和安全**:探究代码如何实现用户...

    使用JAVA内存数据库h2database性能优化

    通过这些策略,h2database能够在内存中快速处理大量数据,从而解决IO瓶颈问题,提高系统整体性能。在处理如ATM监控系统中的复杂业务规则和实时监控时,内存数据库的优势尤为明显。例如,对于ATM监控,可以实时检测并...

Global site tag (gtag.js) - Google Analytics