`
Fkron
  • 浏览: 13909 次
  • 性别: Icon_minigender_1
  • 来自: 深圳
社区版块
存档分类
最新评论

LIST与大数据量的处理

阅读更多
public class ListTest
{
    public static void main(String[] args)
    {
        long start = System.currentTimeMillis();
        List ll = new ArrayList(0);
        List<List<String>> list = new ArrayList<List<String>>(12);
        List<String> l = new ArrayList<String>(12);
        for (int i = 0; i < 1000000; i++)
        {
            if ((i + 1) % 50000 == 0)
            {
                list.add(l);
                l = new ArrayList<String>();
            }
            l.add(i + "aaaaaa");
         }
        long end = System.currentTimeMillis();
        
        System.out.println(end - start);
    }
}



我将100W条数据放入LIST中。会报:java.lang.OutOfMemoryError: Java heap space错误。

请问怎样解决这种问题??
分享到:
评论
1 楼 remoteJavaSky 2012-01-14  
那就把 heap 调大些,或者根本的解决方案是,不要出现那样大的数组,如分页

相关推荐

    大数据量多线程执行分页查询

    在IT行业中,大数据量处理是常见的挑战,尤其是在数据库查询中。多线程技术与分页查询相结合,可以有效地解决这一问题,提高系统性能并优化用户体验。以下是对标题和描述中涉及知识点的详细解释: 1. **大数据量...

    如何处理大数据量的查询

    Value List Handler 模式是J2EE应用中处理大数据量查询的一种经典解决方案。该模式创建一个ValueListHandler对象来控制查询的执行以及结果集的缓存,它通过DAO(Data Access Object)来执行查询,并将数据库返回的结果...

    经验大数据量处理及存储代码优化过程.docx

    在大数据量处理和存储的场景中,代码优化是至关重要的,尤其是在处理20W到200W级别的数据时。原始场景中,客户端上传包含手机号码的文本文件,服务端负责读取、验证和存储。问题在于后台响应缓慢,CPU长时间处于100%...

    c#大数据量分页 大型数据分页程序

    在.NET开发环境中,C#是一种常用的编程语言,尤其在企业级应用中,处理大数据量的分页查询是一项常见的任务。本篇文章将详细讲解如何在C#中实现高效的大数据量分页程序,以及如何利用提供的源码进行实践。 首先,...

    前端 elementUI 穿梭框大量数据分页处理

    然而,当穿梭框处理的数据量非常大时,可能会导致页面卡顿,影响用户体验。针对这个问题,我们可以通过添加分页功能来优化性能。 本文将详细介绍如何在ElementUI的穿梭框组件中实现大量数据的分页处理,并提供一个...

    Java代码中调用shell脚本和python脚本并获得输出结果(分为小数据量和大数据量).docx

    然而,在处理脚本的输出结果时,特别是在处理大数据量的情况下,简单的调用可能会遇到阻塞问题。本文将详细介绍如何在Java中调用Shell脚本和Python脚本,并重点讨论如何正确处理不同规模的数据输出。 #### 二、Java...

    利用itext操作pdf从数据库导出大量数据--汇总(一)

    在实际应用中,我们还需要考虑错误处理和异常管理,确保程序在遇到问题时能够优雅地处理,避免数据丢失。同时,为了提高代码的可读性和可维护性,应遵循良好的编程实践,如注释代码、使用合适的设计模式以及模块化...

    如何处理大数据量的查询[定义].pdf

    在处理大数据量查询时,J2EE平台提供了一种经典的设计模式——Value List Handler模式,该模式主要用于提高查询效率和客户端响应速度。然而,这种模式在应对极端大数据量时会面临一些挑战和局限性。 首先,Value ...

    经验大数据量处理及存储代码优化过程 (2).docx

    在大数据量处理和存储的场景中,代码优化是至关重要的,以确保系统性能和响应速度。以下是从给定内容中提取的关键知识点: 1. **原始场景**:客户端上传包含手机号码的文本文件,服务端读取、验证并保存到数据库。...

    详解Java多线程处理List数据

    在处理大规模数据时,使用单线程来处理List数据可能会导致程序执行速度慢,甚至出现卡顿的情况。使用多线程处理List数据可以将处理时间缩短,提高程序的执行效率。 三、Java多线程处理List数据的优点 使用Java多...

    经验大数据量处理及存储代码优化过程 (2).pdf

    在处理大数据量的问题时,代码优化是至关重要的。在上述案例中,原始场景涉及客户端上传包含大量手机号码的文本文件,服务端负责读取、验证和存储这些数据。当数据量达到20万至200万时,系统响应变慢,CPU持续处于...

    list control数据导入导出

    - **性能优化**:对于大数据量的列表,批量处理可能更高效,避免频繁的界面刷新操作。 - **用户交互**:提供进度条或状态提示,增加用户体验。 总的来说,List Control数据的导入导出涉及文件操作、数据解析、UI...

    java 处理Excel 带 List

    在实际项目中,可能还需要考虑性能问题,因为处理大量数据时,内存消耗可能会很大。为了解决这个问题,可以使用SXSSF(Streaming Usermodel API)作为替代,它允许以流式方式处理Excel,从而减少内存占用。 总结来...

    C# 使用Tcp发送大量数据

    发送大量数据时,一次性发送所有数据可能导致缓冲区溢出,因此需要将大文件或大量数据分割成较小的数据块进行分批传输。以下是一个基本的示例,展示如何分块发送数据: ```csharp using System.IO; using System...

    java一次性查询处理几百万数据解决方法

    在Java开发中,处理大数据量是常见的需求之一,特别是当数据规模达到几百万级别时,如何高效、稳定地处理这些数据变得尤为重要。本文将详细介绍一种Java一次性查询处理几百万数据的有效方法,并通过具体代码示例进行...

    java多线程实现大批量数据导入源码

    本项目以"java多线程实现大批量数据导入源码"为题,旨在通过多线程策略将大量数据切分,并进行并行处理,以提高数据处理速度。 首先,我们需要理解Java中的线程机制。Java通过`Thread`类来创建和管理线程。每个线程...

    读取百万级数据量的xlsx文件的java代码

    该代码可以处理100万数据量的excel文件,xlsx文件数据量太大,用普通的读法会报内存溢出错误,所以用官网提供的方法,一条一条的读取大excel文件,本例子从这点出发,组装excel里读取的单条数据为list,在根据需求...

    Node.js-OrderList优化订单列表大量数据也不会造成卡顿

    为了提供流畅的用户体验,避免因数据量过大导致的卡顿现象,通常会采用一系列高效的数据处理和展示策略。在Android开发中,列表视图(如ListView)是常用的组件,但面对大数据集时,需要特殊的优化手段来提升性能。 ...

    基于Java实现的forkjoin并行任务注解工具, 用于springboot项目下对大量数据单线程处理的性能问题

    基于Java实现的forkjoin... 比如有一个List类型的集合list,需要需要对list中的每个元素进行处理,然后返回处理以后的结果,但是由于list的size太大,处理速度慢,需要将list进行并行化处理,并将结果汇总,就可以使用

Global site tag (gtag.js) - Google Analytics