java内存取出大数据导入新表 - - ITeye博客

`

divine

浏览: 82220 次
性别:
来自: 北京

最近访客更多访客>>

xzjg

yokoboy

jmhewo8

ch5057997

博主相关

博客

微博

相册

收藏

留言

关于我

文章分类

社区版块

存档分类

最新评论

风车IT：或者给我，留个言，谢谢
SSL RED5 rmpts https CA
风车IT：我也在做red5 rtmps 没有头绪，请您指教一下 QQ 9 ...
SSL RED5 rmpts https CA
TheMatrix：怎么重命名？
sun.net.ftp.FtpClient之java编程
53873039oycg：不错的文章
sun.net.ftp.FtpClient之java编程

java内存取出大数据导入新表

博客分类：

数据库

内存 java ArrayList

阅读更多

    最近写了一段代码，把数据库中老表中的记录导入到新表中，中间涉及到计算处理等步骤。

    开始代码:
    1.取出所有的sessionid放入ArrayList中(可能巨大无比)
    2.遍历List，每个sessionid去两个表中取得某此聊天的记录，计算后，把新的数据保存到
      新表中。

    1100条数据后，内存不足。

    第一次解决:
    1.取每天的sessionid放入ArrayList中，问题仍然存在，然后想到Jvm不确定的回收内存，
      则只要放到ArrayList中，问题就会存在。


    第二次解决:
    1.取出的sessionid，直接计算保存新表中，完全干掉ArrayList.
    2.监控内存------OK!

分享到：

SCM界面布局错乱 | java.lang.OutOfMemoryError:java heap spa ...

2011-12-31 11:49
浏览 1187
评论(0)
分类:数据库
查看更多

评论

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

java 大数据导入工具类: 在Java编程环境中，大数据导入是一项常见的任务，尤其是在处理海量数据时。JDBC（Java Database Connectivity）是Java语言连接数据库的标准接口，它为开发者提供了一种通用的方式来与各种关系型数据库进行交互。本...

java poi 导入大数据量Excel数据防止内存溢出处理.zip: Java中的Apache POI库是用于读取和...通过以上策略，可以有效地处理Java POI在导入大数据量Excel时的内存溢出问题，同时提高程序的运行效率。在实践中，应根据具体场景选择合适的优化方法，确保程序的稳定性和性能。

java基础+大数据: java基础+大数据以及一些学习的方法

java+大数据相关框架实战项目(Hadoop, Spark, Storm, Flink).zip: 这个名为"java+大数据相关框架实战项目(Hadoop, Spark, Storm, Flink).zip"的压缩包文件，包含了四个核心的大数据处理框架——Hadoop、Spark、Storm和Flink的实战项目源码，这些框架都是Java开发的，用于解决大规模...

java大数据面试基础v3.docx: 本文总结java 、大数据有关基础技术知识，可用于面试前的查漏补缺；包含java集合、多线程、异常；包含hadoop、hive、storm、spark、zookeeper、kafka、flume等技术；包括mysql数据库的查询及优化知识点；包括vue、...

Java及大数据相关的一些代码: 此外，Java 8引入了流(Stream)和Lambda表达式，这些新特性极大地简化了对集合的处理，提高了代码的可读性和效率。接下来，我们关注大数据处理。Java在大数据领域的应用主要体现在Hadoop和Spark等框架上。Hadoop是...

java版本大数据各种算法集合: 本资料集专注于"java版本大数据各种算法集合"，涵盖18种经典的大数据挖掘算法及其代码实现。下面将详细讨论这些算法以及它们在实际应用中的作用。首先，决策树（Decision Tree）是一种监督学习算法，常用于分类...

大数据excel导入源码需要的lib包: 5. **关闭自动刷新和事件模型**：在处理大型工作表时，关闭自动刷新功能并使用事件模型（Event API或SXSSF的EventUsermodel）可以显著减少内存使用。事件模型只在需要时处理数据，而不是一次性加载所有内容。 6. **...

Java大数据课程核心笔记: Java大数据课程核心笔记是针对那些想要深入理解和应用Java在大数据领域的开发者所准备的宝贵资源。这份笔记涵盖了Java的基础以及在大数据处理中的应用，适合不同层次的学习者，无论你是初入编程殿堂的新手，还是有着...

excel导入大数据失败解决方法: 例如，Apache Commons CSV库和OpenCSV都是广泛使用的库，它们提供API来读取、写入CSV文件，可以方便地进行大数据导入和导出操作。下面是一个使用Apache Commons CSV库将Excel文件转换为CSV的基本步骤： 1. 添加依赖...

你为什么从java开发转大数据？大数据方向能走的更远吗？.docx: ### 为什么从Java开发转向大数据？ #### 背景与动机从Java开发转向大数据领域，这一转变背后的原因多种多样。对于很多技术工作者而言，这种转型不仅关乎个人职业发展的选择，也是对未来技术趋势的一种判断。 - *...

Java写入大数据文件: 在Java中，写入大数据文件通常需要考虑文件的大小、写入速度、内存占用等因素，以确保写入操作的高效性和可靠性。在给定的Java代码中，我们可以看到，程序首先定义了写入文件的路径、切分文件的路径、数据的个数、...

JAVA大数据教育培训服务合同保证就业版.pdf: JAVA大数据教育培训服务合同保证就业版.pdf 本资源摘要信息是关于JAVA大数据教育培训服务合同保证就业版的知识点总结，涵盖了合同的主要内容、培训项目、培训目标、培训周期、培训费用、甲方权利与义务、乙方权利与...

基于Java的校园大数据系统设计源码 - my_university: 本源码提供了一个基于Java的校园大数据系统的设计。项目包含580个文件，其中包括529个Java文件、8个XML文件、7个gitignore文件、7个YAML文件、6个Markdown文档、6个Properties文件、6个CMD文件和5个JAR文件。此外，...

java大数据培训视频完整版，用于就业培训的视频，由于文件过大，用百度网盘保存，让你快速学习java大数据: Java大数据培训视频是针对想要进入或提升在大数据领域技能的学员设计的一套全面教程。这套课程旨在帮助学员深入理解Java编程语言以及如何将其应用于大数据处理。由于数据量的爆炸式增长，大数据技术变得越来越重要，...

毕设源码基于java和大数据开发的智慧城市地理信息平台.7z: 毕设源码基于java和大数据开发的智慧城市地理信息平台.7z毕设源码基于java和大数据开发的智慧城市地理信息平台.7z毕设源码基于java和大数据开发的智慧城市地理信息平台.7z毕设源码基于java和大数据开发的智慧城市...

Java开发者或者大数据开发者面试知识点整理.zip: Java开发者或者大数据开发者面试知识点整理

java大数据教程.pdf: Java大数据教程涵盖了多个核心概念，其中重点讨论了数据挖掘、机器学习以及它们在实际问题中的应用。数据挖掘是从海量数据中提取未知且有价值信息的过程，涉及统计学、计算机编程、数学、算法、数据库、机器学习、...

java实现大数据相乘: 请输入你想要的数据长度 2000 第一个数据长度：…………………… 第二个数据长度：…………………… 数据总长度：…………………………

Global site tag (gtag.js) - Google Analytics