`
啸笑天
  • 浏览: 3460046 次
  • 性别: Icon_minigender_1
  • 来自: China
社区版块
存档分类
最新评论

Java IO读写大文件的几种方式及测试

    博客分类:
  • java
 
阅读更多

读取文件大小:1.45G 
第一种,OldIO: (注意文件和系统编码)

 

public static void oldIOReadFile() throws IOException {
		BufferedReader br = new BufferedReader(new FileReader("G://lily_947.txt"));
		PrintWriter pw = new PrintWriter("G://oldIO.tmp");
		char[] c = new char[100*1024*1024];
		while(br.read(c) != -1){
			pw.print(c);
		}
		pw.close();
		br.close();
	}
 

耗时70.79s 


第二种,newIO: 

Java代码   收藏代码
  1. public static void newIOReadFile() throws IOException{  
  2.         FileChannel read = new RandomAccessFile("G://lily_947.txt","r").getChannel();  
  3.         FileChannel writer = new RandomAccessFile("G://newIO.tmp","rw").getChannel();  
  4.         ByteBuffer bb = ByteBuffer.allocate(200*1024*1024);  
  5.         while(read.read(bb)!=-1){  
  6.             bb.flip();  
  7.             writer.write(bb);  
  8.             bb.clear();  
  9.         }  
  10.         read.close();  
  11.         writer.close();  
  12.           
  13.     }  


耗时47.24s 


第三种,RandomAccessFile: 

Java代码   收藏代码
  1. public static void randomReadFile() throws IOException{  
  2.         RandomAccessFile read = new RandomAccessFile("G://lily_947.txt","r");  
  3.         RandomAccessFile writer = new RandomAccessFile("G://random.tmp","rw");  
  4.         byte[] b = new byte[200*1024*1024];  
  5.         while(read.read(b)!=-1){  
  6.             writer.write(b);  
  7.         }  
  8.         writer.close();  
  9.         read.close();  
  10.     }  


耗时46.65 

第四种,MappedByteBuffer: 

Java代码   收藏代码
  1. public static void mappedBuffer() throws IOException{  
  2.         FileChannel read = new FileInputStream("G://lily_947.txt").getChannel();  
  3.         FileChannel writer = new RandomAccessFile("G://buffer.tmp","rw").getChannel();  
  4.         long i = 0;  
  5.         long size = read.size()/30;  
  6.         ByteBuffer bb,cc = null;  
  7.         while(i<read.size()&&(read.size()-i)>size){  
  8.             bb = read.map(FileChannel.MapMode.READ_ONLY, i, size);  
  9.             cc = writer.map(FileChannel.MapMode.READ_WRITE, i, size);  
  10.             cc.put(bb);  
  11.             i+=size;  
  12.             bb.clear();  
  13.             cc.clear();  
  14.         }  
  15.         bb = read.map(FileChannel.MapMode.READ_ONLY, i, read.size()-i);  
  16.         cc.put(bb);  
  17.         bb.clear();  
  18.         cc.clear();  
  19.         read.close();  
  20.         writer.close();  
  21.           
  22.     }  


耗时:36 

前三种读法对应的资源占用图如下: 



 

 

 
相对于最后一种内存直接映射方式前面的测试其实无意义,基本秒杀。。。。。 
对于很大的文件直接分块映射时内存会不够,这是因为MappedByteBuffer未被释放造成的,sun未提供直接回收MappedByteBuffer区域的方法,这个时候有两种方法解决,第一种比较愚笨的: 

Java代码   收藏代码
  1.           System.gc();   
  2.          System.runFinalization();   
  3.          try {  
  4.     Thread.sleep(3000);  
  5. catch (InterruptedException e) {  
  6.       
  7.     e.printStackTrace();  
  8. }  


第二种网上找来的,利用反射调用clean方法: 

Java代码   收藏代码
  1. public static void unmap(final MappedByteBuffer buffer) {  
  2.         if (buffer == null) {  
  3.             return;  
  4.         }  
  5.         AccessController.doPrivileged(new PrivilegedAction<Object>() {  
  6.             public Object run() {  
  7.                 try {  
  8.                     Method getCleanerMethod = buffer.getClass().getMethod("cleaner"new Class[0]);  
  9.                     if (getCleanerMethod != null) {  
  10.                         getCleanerMethod.setAccessible(true);  
  11.                         Object cleaner = getCleanerMethod.invoke(buffer, new Object[0]);  
  12.                         Method cleanMethod = cleaner.getClass().getMethod("clean"new Class[0]);  
  13.                         if (cleanMethod != null) {  
  14.                             cleanMethod.invoke(cleaner, new Object[0]);  
  15.                         }  
  16.                     }  
  17.                 } catch (Exception e) {  
  18.                     e.printStackTrace();  
  19.                 }  
  20.                 return null;  
  21.             }  
  22.    
  23.         });  
  24.     }  


以上两种方法感觉都别扭,还有就是可以自己分割成物理文件再循环调用,这个也不太美观。 
速度也会减慢好多。

 

感谢:http://aronlulu.iteye.com/blog/1018370#comments

  • 大小: 14.4 KB
  • 大小: 14.2 KB
  • 大小: 12.9 KB
分享到:
评论

相关推荐

    pandas-1.3.5-cp37-cp37m-macosx_10_9_x86_64.zip

    pandas whl安装包,对应各个python版本和系统(具体看资源名字),找准自己对应的下载即可! 下载后解压出来是已.whl为后缀的安装包,进入终端,直接pip install pandas-xxx.whl即可,非常方便。 再也不用担心pip联网下载网络超时,各种安装不成功的问题。

    基于java的大学生兼职信息系统答辩PPT.pptx

    基于java的大学生兼职信息系统答辩PPT.pptx

    基于java的乐校园二手书交易管理系统答辩PPT.pptx

    基于java的乐校园二手书交易管理系统答辩PPT.pptx

    tornado-6.4-cp38-abi3-musllinux_1_1_i686.whl

    tornado-6.4-cp38-abi3-musllinux_1_1_i686.whl

    Android Studio Ladybug(android-studio-2024.2.1.10-mac.zip.002)

    Android Studio Ladybug 2024.2.1(android-studio-2024.2.1.10-mac.dmg)适用于macOS Intel系统,文件使用360压缩软件分割成两个压缩包,必须一起下载使用: part1: https://download.csdn.net/download/weixin_43800734/89954174 part2: https://download.csdn.net/download/weixin_43800734/89954175

    基于ssm框架+mysql+jsp实现的监考安排与查询系统

    有学生和教师两种角色 登录和注册模块 考场信息模块 考试信息模块 点我收藏 功能 监考安排模块 考场类型模块 系统公告模块 个人中心模块: 1、修改个人信息,可以上传图片 2、我的收藏列表 账号管理模块 服务模块 eclipse或者idea 均可以运行 jdk1.8 apache-maven-3.6 mysql5.7及以上 tomcat 8.0及以上版本

    tornado-6.1b2-cp38-cp38-macosx_10_9_x86_64.whl

    tornado-6.1b2-cp38-cp38-macosx_10_9_x86_64.whl

    Android Studio Ladybug(android-studio-2024.2.1.10-mac.zip.001)

    Android Studio Ladybug 2024.2.1(android-studio-2024.2.1.10-mac.dmg)适用于macOS Intel系统,文件使用360压缩软件分割成两个压缩包,必须一起下载使用: part1: https://download.csdn.net/download/weixin_43800734/89954174 part2: https://download.csdn.net/download/weixin_43800734/89954175

    基于MATLAB车牌识别代码实现代码【含界面GUI】.zip

    matlab

    基于java的毕业生就业信息管理系统答辩PPT.pptx

    基于java的毕业生就业信息管理系统答辩PPT.pptx

    基于Web的毕业设计选题系统的设计与实现(springboot+vue+mysql+说明文档).zip

    随着高等教育的普及和毕业设计的日益重要,为了方便教师、学生和管理员进行毕业设计的选题和管理,我们开发了这款基于Web的毕业设计选题系统。 该系统主要包括教师管理、院系管理、学生管理等多个模块。在教师管理模块中,管理员可以新增、删除教师信息,并查看教师的详细资料,方便进行教师资源的分配和管理。院系管理模块则允许管理员对各个院系的信息进行管理和维护,确保信息的准确性和完整性。 学生管理模块是系统的核心之一,它提供了学生选题、任务书管理、开题报告管理、开题成绩管理等功能。学生可以在此模块中进行毕业设计的选题,并上传任务书和开题报告,管理员和教师则可以对学生的报告进行审阅和评分。 此外,系统还具备课题分类管理和课题信息管理功能,方便对毕业设计课题进行分类和归档,提高管理效率。在线留言功能则为学生、教师和管理员提供了一个交流互动的平台,可以就毕业设计相关问题进行讨论和解答。 整个系统设计简洁明了,操作便捷,大大提高了毕业设计的选题和管理效率,为高等教育的发展做出了积极贡献。

    机器学习(预测模型):2000年至2015年期间193个国家的预期寿命和相关健康因素的数据

    这个数据集来自世界卫生组织(WHO),包含了2000年至2015年期间193个国家的预期寿命和相关健康因素的数据。它提供了一个全面的视角,用于分析影响全球人口预期寿命的多种因素。数据集涵盖了从婴儿死亡率、GDP、BMI到免疫接种覆盖率等多个维度,为研究者提供了丰富的信息来探索和预测预期寿命。 该数据集的特点在于其跨国家的比较性,使得研究者能够识别出不同国家之间预期寿命的差异,并分析这些差异背后的原因。数据集包含22个特征列和2938行数据,涉及的变量被分为几个大类:免疫相关因素、死亡因素、经济因素和社会因素。这些数据不仅有助于了解全球健康趋势,还可以辅助制定公共卫生政策和社会福利计划。 数据集的处理包括对缺失值的处理、数据类型转换以及去重等步骤,以确保数据的准确性和可靠性。研究者可以使用这个数据集来探索如教育、健康习惯、生活方式等因素如何影响人们的寿命,以及不同国家的经济发展水平如何与预期寿命相关联。此外,数据集还可以用于预测模型的构建,通过回归分析等统计方法来预测预期寿命。 总的来说,这个数据集是研究全球健康和预期寿命变化的宝贵资源,它不仅提供了历史数据,还为未来的研究和政策制

    基于微信小程序的高校毕业论文管理系统小程序答辩PPT.pptx

    基于微信小程序的高校毕业论文管理系统小程序答辩PPT.pptx

    基于java的超市 Pos 收银管理系统答辩PPT.pptx

    基于java的超市 Pos 收银管理系统答辩PPT.pptx

    基于java的网上报名系统答辩PPT.pptx

    基于java的网上报名系统答辩PPT.pptx

    基于java的网上书城答辩PPT.pptx

    基于java的网上书城答辩PPT.pptx

    婚恋网站 SSM毕业设计 附带论文.zip

    婚恋网站 SSM毕业设计 附带论文 启动教程:https://www.bilibili.com/video/BV1GK1iYyE2B

    基于java的戒烟网站答辩PPT.pptx

    基于java的戒烟网站答辩PPT.pptx

    基于微信小程序的“健康早知道”微信小程序答辩PPT.pptx

    基于微信小程序的“健康早知道”微信小程序答辩PPT.pptx

    机器学习(预测模型):自行车共享使用情况的数据集

    Capital Bikeshare 数据集是一个包含从2020年5月到2024年8月的自行车共享使用情况的数据集。这个数据集记录了华盛顿特区Capital Bikeshare项目中自行车的租赁模式,包括了骑行的持续时间、开始和结束日期时间、起始和结束站点、使用的自行车编号、用户类型(注册会员或临时用户)等信息。这些数据可以帮助分析和预测自行车共享系统的需求模式,以及了解用户行为和偏好。 数据集的特点包括: 时间范围:覆盖了四年多的时间,提供了长期的数据观察。 细节丰富:包含了每次骑行的详细信息,如日期、时间、天气条件、季节等,有助于深入分析。 用户分类:数据中区分了注册用户和临时用户,可以分析不同用户群体的使用习惯。 天气和季节因素:包含了天气情况和季节信息,可以研究这些因素对骑行需求的影响。 通过分析这个数据集,可以得出关于自行车共享使用模式的多种见解,比如一天中不同时间段的使用高峰、不同天气条件下的使用差异、季节性变化对骑行需求的影响等。这些信息对于城市规划者、交通管理者以及自行车共享服务提供商来说都是非常宝贵的,可以帮助他们优化服务、提高效率和满足用户需求。同时,这个数据集也

Global site tag (gtag.js) - Google Analytics