`

java内存 取出大数据导入新表

阅读更多
    最近写了一段代码,把数据库中老表中的记录导入到新表中,中间涉及到计算处理等步骤。
   
    开始代码:
    1.取出所有的sessionid放入ArrayList中(可能巨大无比)
    2.遍历List,每个sessionid去两个表中取得某此聊天的记录,计算后,把新的数据保存到
      新表中。

    1100条数据后,内存不足。


    第一次解决:
    1.取每天的sessionid放入ArrayList中,问题仍然存在,然后想到Jvm不确定的回收内存,
      则只要放到ArrayList中,问题就会存在。

  
    第二次解决:
    1.取出的sessionid,直接计算保存新表中,完全干掉ArrayList.
    2.监控内存------OK!
分享到:
评论

相关推荐

    Flume笔记.zip

    《Flume:大数据实时数据采集详解》 Apache Flume 是一个分布式、可靠且可用于有效收集、聚合和移动大量日志数据的系统。它设计简洁,易于配置,是大数据环境中进行实时数据流处理的重要工具。Flume 的核心概念包括...

    通用分页Jar 配置文件

    在Java开发中,分页是Web应用程序中一个常见的需求,特别是在处理大数据集合时。"通用分页Jar 配置文件"通常是指一个可复用的Java库,它封装了分页逻辑,使得开发者可以在多个项目中方便地进行数据分页显示。这个库...

    flume-ng-1.6.0-cdh5.14.2.rar

    接收器则将数据从通道中取出并发送到目标位置,如 HDFS、HBase 或其他数据存储系统。 在 `flume-ng-1.6.0-cdh5.14.2` 中,你可以找到以下组件和配置: 1. **源(Sources)**:包括简单的文件读取(File Source)、...

    labs.mallet-tools.scala:使用潜在狄利克雷分配查找书籍主题的实验代码

    在IT领域,文本分析是一项重要的任务,特别是在大数据和机器学习应用中。本实验代码"labs.mallet-tools.scala"聚焦于使用潜在狄利克雷分配(Latent Dirichlet Allocation, LDA)这一方法来探索书籍的主题。Mallet库...

Global site tag (gtag.js) - Google Analytics