`

JAVA NIO——MappedByteBuffer 分割拷贝超大文件

    博客分类:
  • java
 
阅读更多
	/**
	 * NIO —— MappedByteBuffer 分割拷贝大文件
	 * @throws FileNotFoundException 
	 * @throws IOException
	 * @author sdylag
	 * time: 2011-10-01 1:49 
	 * 
	 * 
	 * 测试:拷贝4.96GB 电影:720p高清阿凡达178分钟加长收藏版.mkv 用时:4分钟0.1秒
	 * 机器配置:联想Z460 i5CPU 2.53GHz 4GB内存 500GB硬盘 1GB显存
	 * 
	 */
	public static void NioCopyFile(String sourcePath , String targetPath) throws FileNotFoundException, IOException {
		long before = System.currentTimeMillis();
		
		File files = new File(sourcePath);	//源文件
		File filet = new File(targetPath);	//目标文件

		long size = files.length(); 		// 文件总大小
		long copycount = size * 2 / Integer.MAX_VALUE; //获取读、写之和所占用虚拟内存 倍数
		int copynum = copycount >= 1 ? (int) copycount + 2 : (int) copycount + 1; // 根据倍数确认分割份数

		long countSize = Integer.MAX_VALUE  / copynum; 	//每块分割大小<每次读写的大小>															
		long lontemp = countSize;		//初始读、写大小
		FileChannel channels = new RandomAccessFile(files, "r").getChannel();		//得到映射读文件的通道
		FileChannel channelt = new RandomAccessFile(filet, "rw").getChannel();		//得到映射写文件的通道

		long j = 0; // 每次循环累加字节的起始点
		MappedByteBuffer mbbs = null; // 声明读源文件对象
		MappedByteBuffer mbbt = null; // 声明写目标文件对象
		while (j < size) {
			mbbs = channels.map(FileChannel.MapMode.READ_ONLY, j, lontemp);		//每次读源文件都重新构造对象
			mbbt = channelt.map(FileChannel.MapMode.READ_WRITE, j, lontemp);	//每次写目标文件都重新构造对象
			for (int i = 0; i < lontemp; i++) {
				byte b = mbbs.get(i);			//从源文件读取字节
				mbbt.put(i, b);					//把字节写到目标文件中
			}
			System.gc();				//手动调用 GC		<必须的,否则出现异常>
			System.runFinalization();	//运行处于挂起终止状态的所有对象的终止方法。<必须的,否则出现异常>
			j += lontemp;				//累加每次读写的字节
			lontemp = size - j;			//获取剩余字节
			lontemp = lontemp > countSize ? countSize : lontemp;	//如果剩余字节 大于 每次分割字节 则 读取 每次分割字节 ,否则 读取剩余字节
		}
		System.out.println("MillTime : "
				+ (double) (System.currentTimeMillis() - before) / 1000 + "s");
	}

 

 

分割多文件:

 

public static void NioSpilitFile(String sourcePath, String targetPath)
			throws FileNotFoundException, IOException {
		long before = System.currentTimeMillis();

		File files = new File(sourcePath); // 源文件		

		long size = files.length(); // 文件总大小
		long copycount = size * 2 / Integer.MAX_VALUE; // 获取读、写之和所占用虚拟内存 倍数
		int copynum = copycount >= 1 ? (int) copycount + 2
				: (int) copycount + 1; // 根据倍数确认分割份数

		long countSize = Integer.MAX_VALUE / copynum; // 每块分割大小<每次读写的大小>
		long lontemp = countSize; // 初始读、写大小
		
		long target_lontemp = lontemp;
		FileChannel channels = new RandomAccessFile(files, "r").getChannel(); // 得到映射读文件的通道
		

		long j = 0; // 每次循环累加字节的起始点
		MappedByteBuffer mbbs = null; // 声明读源文件对象
		
		
		int x=0;
		while (j < size) {
			String temp_targetPath = targetPath+System.getProperty("file.separator")+x+"_"+files.getName();
			System.out.println(temp_targetPath);
			x++;
			File filet = new File(temp_targetPath); // 目标文件
			FileChannel channelt = new RandomAccessFile(filet, "rw").getChannel(); // 得到映射写文件的通道
			MappedByteBuffer mbbt = null; // 声明写目标文件对象
			
			mbbs = channels.map(FileChannel.MapMode.READ_ONLY, j, lontemp); // 每次读源文件都重新构造对象
			mbbt = channelt.map(FileChannel.MapMode.READ_WRITE, 0, target_lontemp); // 每次写目标文件都重新构造对象
			for (int i = 0; i < lontemp; i++) {
				byte b = mbbs.get(i); // 从源文件读取字节
				mbbt.put(i, b); // 把字节写到目标文件中
			}
			System.gc(); // 手动调用 GC <必须的,否则出现异常>
			System.runFinalization(); // 运行处于挂起终止状态的所有对象的终止方法。<必须的,否则出现异常>
			j += lontemp; // 累加每次读写的字节
			lontemp = size - j; // 获取剩余字节
			lontemp = lontemp > countSize ? countSize : lontemp; // 如果剩余字节 大于
			// 每次分割字节 则
			// 读取 每次分割字节
			// ,否则
			// 读取剩余字节
		}
		System.out.println("MillTime : "
				+ (double) (System.currentTimeMillis() - before) / 1000 + "s");
	}
 
分享到:
评论

相关推荐

    Java NIO——Java NIO

    Java NIO——Java NIO——Java NIO

    java nio 包读取超大数据文件

    ### Java NIO 处理超大数据文件的知识点详解 #### 一、Java NIO简介 Java NIO(New IO)是Java平台上的新输入/输出流API,它提供了与传统IO(即Java IO)不同的数据处理方式。NIO在Java 1.4版本引入,并在后续版本...

    Java NIO——Selector机制解析三(源码分析)

    Java NIO,全称为Non-blocking Input/Output,是Java在1.4版本引入的一个新特性,旨在提供一种更高效、更灵活的I/O操作方式。相比于传统的BIO(Blocking I/O),NIO允许我们以非阻塞的方式读写数据,提高了系统资源...

    NIO与零拷贝_javanio_nio和零拷贝_

    - **直接内存(Direct Byte Buffer)**:Java NIO中的直接缓冲区可以分配在JVM堆外内存,减少从Java对象到本机内存的拷贝,从而实现零拷贝。 - **mmap(Memory Mapped File)**:Java的FileChannel提供了一个映射...

    java NIO.zip

    Java NIO支持多种类型的通道,包括文件通道(FileChannel)、套接字通道(SocketChannel)和服务器套接字通道(ServerSocketChannel)等。通道可以同时进行读写操作,并且可以实现异步读写。 2. **缓冲区(Buffers...

    JAVA NIO 按行读取大文件支持 GB级别-修正版

    本类,是专门为了处理大文件,按行读取开发的类。 采用读文件的缓存 fbb 1024*5 行缓存 bb 256 字节 设计思想: 每次通过nio读取字节到 fbb中 然后对fbb自己中的内容进行行判断即 10 回车 13 行号 0 文件结束 ...

    java NIO和java并发编程的书籍

    java NIO和java并发编程的书籍java NIO和java并发编程的书籍java NIO和java并发编程的书籍java NIO和java并发编程的书籍java NIO和java并发编程的书籍java NIO和java并发编程的书籍java NIO和java并发编程的书籍java...

    java NIO实例

    `NIOServer.java`和`NIOClient.java`这两个文件很可能是用于演示Java NIO服务器端和客户端的基本操作。下面将详细介绍Java NIO的主要组件和工作原理,并结合这两个文件名推测它们可能包含的内容。 1. **Selector...

    JavaNIO chm帮助文档

    Java NIO系列教程(一) Java NIO 概述 Java NIO系列教程(二) Channel Java NIO系列教程(三) Buffer Java NIO系列教程(四) Scatter/Gather Java NIO系列教程(五) 通道之间的数据传输 Java NIO系列教程(六)...

    JAVA NIO 按行读取大文件,支持 GB级别

    本类,是专门为了处理大文件,按行读取开发的类。 采用读文件的缓存 fbb 1024*5 行缓存 bb 256 字节 设计思想: 每次通过nio读取字节到 fbb中 然后对fbb自己中的内容进行行判断即 10 回车 13 行号 0 文件...

    Java NIO英文高清原版

    Java NIO,全称为Non-Blocking Input/Output(非阻塞输入/输出),是Java平台中用于替代标准I/O(BIO)模型的一种新机制。NIO在Java 1.4版本引入,提供了更高效的数据处理和通道通信方式,特别适用于高并发、大数据...

    java nio 读文件

    在本篇文章中,我们将深入探讨Java NIO如何读取文件。 一、NIO的基本概念 1. 缓冲区(Buffer):NIO的核心组件,用于存储数据。Java提供了多种Buffer类,如ByteBuffer、CharBuffer、IntBuffer等,分别对应不同数据...

    java NIO 写文件

    在这个主题中,我们将深入探讨Java NIO如何用于写文件,特别是在处理大数据文件时如何提高性能。 首先,理解Java NIO的基本概念非常重要。NIO中的“N”代表“非阻塞”,这意味着在进行I/O操作时,程序可以继续执行...

    Java NIO 中文 Java NIO 中文 Java NIO 中文文档

    Java NIO 深入探讨了 1.4 版的 I/O 新特性,并告诉您如何使用这些特性来极大地提升您所写的 Java 代码的执行效率。这本小册子就程序员所面临的有代表性的 I/O 问题作了详尽阐述,并讲解了 如何才能充分利用新的 I/O ...

    nio.rar_FastCopyFile.java_NIO_UseFloatBuffer.java_java nio_文件锁

    在给定的压缩包文件中,我们关注的是"FastCopyFile.java"、"UseFloatBuffer.java"以及NIO中的文件锁功能。 首先,让我们详细了解一下`FastCopyFile.java`。这个文件很可能是一个示例程序,演示了如何使用Java NIO...

    java nio入门学习,两个pdf

    4. **文件系统(File Systems)**:NIO提供FileChannel和FileLock用于处理文件系统操作,支持随机访问、映射到内存(MappedByteBuffer)等功能。 三、Java NIO的工作流程 1. **打开通道**:首先,我们需要创建一个或多...

    java nio 写文件

    本篇将详细探讨Java NIO在写文件方面的应用。 1. **通道(Channels)** 在Java NIO中,数据的读取和写入都是通过通道(Channel)进行的。通道可以理解为连接到I/O设备的桥梁,例如文件、网络套接字等。要使用NIO写...

    java NIO 视频教程

    Java NIO(New IO)是一个可以替代标准Java IO API的IO API(从Java 1.4开始),Java NIO提供了与标准IO不同的IO工作方式。 Java NIO: Channels and Buffers(通道和缓冲区) 标准的IO基于字节流和字符流进行操作的,...

    Java NIO测试示例

    使用MappedByteBuffer,NIO可以将文件映射到内存,使得文件操作如同操作内存一样快速,特别适合大数据处理。 在实际应用中,Java NIO通常用于高性能的服务器编程,例如在开发聊天服务器、Web服务器或游戏服务器时...

Global site tag (gtag.js) - Google Analytics