对比较大的而不能放入内存的文件进行I/O操作时,如果使用NIO中的内存映射文件对性能效率和速度的提高是非常显著的。首先需要获取文件的通道,然后调用通道的map(FileChannel.MapMode mode,long position,long size)函数将文件从position位置开始的长度为size的内容映射到内存中。具体的效率比较代码示例如下:
import java.io.BufferedInputStream;
import java.io.BufferedOutputStream;
import java.io.DataInputStream;
import java.io.DataOutputStream;
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.RandomAccessFile;
import java.nio.IntBuffer;
import java.nio.channels.FileChannel;
//测试代码是借用thingking in java中的
public class MappedIO {
//先声明需要写入的文件的内容的大小
private static final int NUMOFINT=4000000;
private static final int NUMOFOUT=2000000;
//测试类,用来测试使用普通的I/O操作和使用内存文件映射时速度的差别
abstract static class Tester{
private String name;
public Tester(String name){
this.name=name;
}
public void runTest(){
System.out.println("使用"+name+"所消耗的时间:");
try{
//以毫微秒为单位获取测试函数开始前的时间
long begin=System.nanoTime();
test();
//将测试函数结束后的系统的时间减去开始之前的时间获取
double duration=System.nanoTime()-begin;
//PrintStream中的使用指定格式字符串和参数将格式化字符串写入此输出流中的方法
System.out.format("%.2f\n", duration/1.0e9);
}catch(IOException e){
e.printStackTrace();
}
}
//具体的测试函数中其实不仅有对文件进行读取或写入的时间,还包括消耗的各种初始化I/O对象的时间,而且内存映射文件的初始化对象消耗更要比普通的操作大
public abstract void test() throws IOException;
}
private static Tester[] tests={
//先使用普通的stream write,并且还是用了Buffered缓冲
new Tester("stream write"){
public void test()throws IOException{
DataOutputStream dos=new DataOutputStream(new BufferedOutputStream(new FileOutputStream("baolei.txt")));
for(int i=0;i<NUMOFINT;i++){
dos.writeInt(i);
}
dos.close();
}
},
//使用内存映射文件方式写入文件时的测试内部类
new Tester("mapped write"){
public void test() throws IOException{
//利用RandomAccessFile初始化文件获取通道
FileChannel fc=new RandomAccessFile("baolei.txt","rw").getChannel();
//利用IntBuffer基本类型视图缓冲器来修改底层的ByteBuffer,实际上ByteBuffer是将数据移进移出通道的唯一方式
IntBuffer ib=fc.map(FileChannel.MapMode.READ_WRITE, 0,fc.size()).asIntBuffer();
for(int i=0;i<NUMOFINT;i++){
ib.put(i);
}
fc.close();
}
},
//下面的两个测试方法是测试read文件时的速度,基本和上面的两个一样
new Tester("stream read"){
public void test()throws IOException{
DataInputStream dis=new DataInputStream(new BufferedInputStream(new FileInputStream("baolei.txt")));
for(int i=0;i<NUMOFOUT;i++){
dis.readInt();
}
dis.close();
}
},
new Tester("mapped read"){
public void test() throws IOException{
FileChannel fc=new RandomAccessFile("baolei.txt","rw").getChannel();
IntBuffer ib=fc.map(FileChannel.MapMode.READ_WRITE, 0, fc.size()).asIntBuffer();
while(ib.hasRemaining()){
ib.get();
}
fc.close();
}
}
};
public static void main(String[] args){
for(Tester test:tests){
test.runTest();
}
}
}
可以看到运行后的结果如下:
使用stream write所消耗的时间:
0.92
使用mapped write所消耗的时间:
0.12
使用stream read所消耗的时间:
0.50
使用mapped read所消耗的时间:
0.06
效率确实大幅度提高啊。
分享到:
相关推荐
**在Java中使用内存映射文件进行IPC:** 1. **打开文件通道**:首先需要通过`FileChannel`类的静态方法`open()`或者`new FileInputStream().getChannel()`等方法获取文件通道。 2. **映射文件**:使用`FileChannel....
- 考虑使用内存映射文件(`MappedByteBuffer`)来提高读取效率,尤其是在操作系统支持大文件的情况下。 - 如果内存允许,可以采用Bloom Filter或布隆过滤器来减少排序过程中不必要的比较,降低CPU使用。 - 使用...
19. **内存映射文件**:`java.nio.MappedByteBuffer`提供内存映射文件功能,提升大文件处理效率。 以上只是Java文件操作的一部分知识点,实际开发中还会涉及文件权限控制、并发访问、流操作等更多内容。了解并熟练...
9. 性能优化:通过缓存技术提高文件操作的速度,例如使用内存缓存频繁访问的文件或目录项。 10. 错误处理:良好的文件系统应该能够处理各种异常情况,如磁盘满、文件不存在、IO错误等。 在进行课程设计时,学生...
- **内存映射文件**:可以直接将文件映射到内存中进行操作,提高读写性能。 - **分散/聚合读取**:可以在单次操作中将数据从一个Channel分散到多个Buffers,或将数据从多个Buffers聚集到一个Channel。 ### Redis #...
5. **内存映射文件(Memory-Mapped Files)**:NIO支持将文件直接映射到内存,使得读写操作如同访问数组一样快速高效。 在"nio-study-main"中,可能包含以下内容: - **示例代码**:展示了如何创建和使用通道、...
- **内存映射文件**:使用`java.nio`包的`MappedByteBuffer`,可以将文件内容映射到内存,提高读写效率。 - **数据库替代**:在实际应用中,为了数据安全和性能,通常会使用关系型数据库(如MySQL)或NoSQL数据库...
另外,使用内存映射文件(Memory-Mapped Files)或者NIO(New IO)框架可以进一步提升文件处理速度。 10. **存储策略**: 上传的文件可能需要存储在不同的位置,如本地文件系统、云存储服务(如Amazon S3或阿里云...
为了提高效率,文件通常不会直接存储在内存中,而是写入到磁盘。 6. **文件操作**: 使用`java.nio.file`包中的类,如`Files`和`Paths`,可以方便地进行文件读写和管理。例如,`Files.copy()`方法可用于将上传的`...
如果文件较大,可能需要使用`FileChannel`和内存映射文件(MappedByteBuffer)来提高性能。 对于源码分析,Java的反射API允许在运行时检查类、接口、字段和方法的信息,甚至动态调用方法。这对于工具开发、插件系统...
此外,可能还使用了FileChannel和MappedByteBuffer进行内存映射文件操作,以提高文件读写效率。 5. **用户界面**:JavaFX或Swing库可能被用来构建图形用户界面,让用户能够直观地选择文件、查看传输进度和管理连接...
可以使用数据库连接池(如HikariCP、C3P0)来优化数据库访问性能,同时,使用多线程处理大文件可提高效率。另外,错误处理和日志记录也是确保数据完整性和系统稳定性的关键。 5. **文件操作**: Java的`java.io`和...
在Java中,可以使用`java.nio`包中的`FileChannel`和`MappedByteBuffer`来处理文件分块和内存映射,`HttpURLConnection`或`HttpClient`处理HTTP请求,以及`ExecutorService`来管理多线程。 9. **源码分析**: ...
6. **泛型注解**:JDK6允许在泛型声明中使用注解,这对于编写元编程或验证工具非常有用。 7. **JSR 203 (NIO.2)**:也称为“New I/O”或“NIO 2”,提供了更好的文件I/O操作,包括异步I/O、路径API、文件属性查询...
- **字符串in switch语句(Strings in Switch)**:可以直接在switch语句中使用字符串,增强了语法的灵活性。 - **改进的文件I/O API(NIO.2)**:引入了新的`java.nio.file`包,提供了更强大的文件系统操作能力,...
Java NIO(New I/O)在1.6版本中引入了NIO.2,提供了更高级别的文件系统操作API,如异步I/O、文件通道、文件属性和文件遍历等,增强了Java对非阻塞I/O的支持。 5. **Scripting API**: JSR 223引入了脚本引擎接口...
JDK 1.7还提供了诸如`javadoc`(生成API文档)、`jmap`(内存映射工具)和`jconsole`(监控Java应用程序)等丰富的开发和诊断工具。 总结来说,JDK 1.7作为Java编程的重要组成部分,为开发者提供了强大的开发环境和...