`

JAVA读写大容量数据

阅读更多
JAVA操作大数据量的文件利用FileReader的会把所有的内容加载到内存中,因此没有意义。
如果要使用BIO,建议使用java.io.RandomAccessFile来做,读取部分信息。
如果要使用NIO,建议使用java.nio.channels.FileChannel,使用虚拟内存来Mapping大文件。

有如下情况下可以用到内存文件映射技术解决问题:
 1.不要复制文件中所有的数据,只需要修改文件中局部的数据。
 2.并行\分段处理大文件。

如下代码示使用javaNIO局部修改文件中指定位置的部分数据:
Java代码
/**
     * 修改文件中的某一部分的数据测试:将字定位置的字母改为大写
     * @param fName :要修改的文件名字
     * @param start:起始字节
     * @param len:要修改多少个字节
     * @return :是否修改成功
     * @throws Exception:文件读写中可能出的错
* @author javaFound
     */  
    public static boolean changeFile(String fName,int start,int len) throws Exception{  
      //创建一个随机读写文件对象  
        java.io.RandomAccessFile raf=new java.io.RandomAccessFile(fName,"rw");  
        long totalLen=raf.length();  
        System.out.println("文件总长字节是: "+totalLen);  
        //打开一个文件通道  
        java.nio.channels.FileChannel channel=raf.getChannel();  
        //映射文件中的某一部分数据以读写模式到内存中  
        java.nio.MappedByteBuffer buffer= channel.map(FileChannel.MapMode.READ_WRITE, start, len);  
        //示例修改字节  
        for(int i=0;i<len;i++){  
        byte src=   buffer.get(i);  
        buffer.put(i,(byte)(src-31));//修改Buffer中映射的字节的值  
        System.out.println("被改为大写的原始字节是:"+src);  
       }  
        buffer.force();//强制输出,在buffer中的改动生效到文件  
        buffer.clear();  
        channel.close();  
        raf.close();  
        return true;  
    }  
    //测试主方法  
    public static void main(String[] args) throws Exception{  
        changeFile("BigFileRW.java",3,5);  
        System.out.println(" change OK... ");  
    }  



要想看到测试结果,需要在项目的的当前目录下创建一个名为BigFileRW.java文本文件,其中写上10上以上的字母。运行如上程序,文件中第3个字母起后面5个都变为大写了。

   NIO可以理解为传统IO的加强版,功能和性能都加强了,但使用变得更复杂。本节通过一些典型的用例展示了NIO的应用特征。深入灵活地将NIO用巧用好只有一个办法:有战斗中学习战斗,在实践中应用!
转贴自:http://hi.baidu.com/victorlin23/blog/item/8e59fd66d6fbf32faa184cf9.html
分享到:
评论

相关推荐

    java按行读取大文件并解析入库

    在Java编程中,处理大容量文本文件是一项挑战,因为传统的逐行读取方式可能会消耗大量内存,导致程序崩溃。为了高效地处理这类问题,我们可以利用Java的`java.nio`包中的BufferedReader和FileChannel等类,实现按行...

    java读取sqlserver image字段.docx

    SQL Server 提供了`IMAGE`类型来存储大容量的二进制数据。然而,如何有效地从数据库中读取这些二进制数据,并将其转换为可用的格式,如图像文件,则是一个常见的技术问题。本文将详细介绍如何使用Java语言读取SQL ...

    Java解析JSON文本,大数据量工具包

    解决当内存资源不充足时大数据量的JSON文本解析为JSON对象会导致内存溢出的问题。 基于org.json的部分源代码,以及新增的JsonLazyer类。 原理:用时创建的规则降低传统解析器一次性将...大容量JSON文本解析为JSON对象。

    java读取xml文件

    在Java编程中,XML(可扩展标记语言)是一种常见的数据交换格式,用于存储结构化数据。为了读取XML文件,开发者通常会利用Java API或第三方库。本篇将详细介绍如何在Java中读取XML文件,以及如何利用第三方库增强XML...

    java读取大文件

    Java中的缓冲区是用于提高数据读写效率的工具。在上述代码中,定义了一个名为`BUFFER_SIZE`的常量,其值为3MB (0x300000字节)。这是每次读取文件时使用的缓冲区大小。使用缓冲区的优点是可以减少磁盘I/O操作的次数...

    Java 大文件读取排序

    这个主题,"Java 大文件读取排序",主要关注如何高效地操作那些超出内存容量的大文件,同时保持程序的性能和稳定性。在本文中,我们将探讨几个关键的技术和策略,它们对于理解和实现大文件的读取排序至关重要。 ...

    java写文件固定大小为2G

    这通常涉及到文件分割策略,以便在文件达到其最大容量时创建新的文件继续写入数据。下面我们将深入探讨如何实现这一目标,以及相关的Java文件读写技术。 首先,Java提供了一系列的文件I/O类,如`java.io.File`、`...

    读大文件Java

    "读大文件Java"这个主题主要关注如何高效、安全地读取那些可能超过内存容量的大文件。这里我们将深入探讨Java中几种常用的方法,并提供一些最佳实践。 1. **BufferedReader与FileReader**: Java的基础读取方式是...

    java通道处理程序

    NIO,全称为New Input/Output,是Java从1.4版本开始引入的一个新特性,它提供了与标准I/O不同的I/O操作方式,特别是在处理大量并发连接和大容量数据流时,性能表现更优。 在Java NIO中,通道(Channel)是数据传输...

    java io.pdf

    7. **NIO(New IO)**:从Java 1.4开始引入,NIO提供了一种非阻塞的I/O模型,适合高并发和大容量数据传输场景。关键组件包括选择器(Selector)、通道(Channel)和缓冲区(Buffer)。 8. **文件系统操作**:Java还提供了...

    Java工具包提供了强大的数据结构

    Java 作为一种广泛使用的开发语言,其工具包(Java API)为开发者提供了丰富的数据结构支持,使得程序员能够高效地处理各种复杂的数据。在Java早期版本中,一些基础数据结构包括枚举(Enumeration)、位集合(BitSet...

    串口通信解决数据乱码和数据丢失

    确保软件实现上考虑了这些细节,例如使用异步事件处理,及时读取缓冲区数据。 三、串口通信实践 在`SerialPort`类中,你可以设置波特率、数据位、停止位和校验位,以及监听数据接收事件。例如: ```csharp ...

    Java IO_NIO

    1. 容量:缓冲区有一个固定大小的容量,写入数据不能超过这个容量。 2. 位置和限制:缓冲区有一个当前读写位置(position),以及一个限制(limit),限制了可读写的数据范围。 3. 缓冲区状态:缓冲区有两种状态,未...

    Java开发技术大全(500个源代码).

    readDataThread.java 读取数据的线程类 demoEnhanceThread.java 使用自己定义的线程类示例 producer_consumer.java 演示生产者-消费者线程 consumer.java 消费者线程 producer.java 生产者线程 common.java ...

    Java实现用Mysql存取图片操作实例

    在Java编程中,有时我们需要将图片等大容量的二进制数据存储到数据库中,MySQL提供了BLOB(Binary Large Object)类型,专门用于存储大块的二进制数据。本实例将详细介绍如何使用Java和MySQL进行图片的存取操作。 ...

    数据结构与算法分析(Java版)

    这部分探讨了如何有效地处理大量数据,特别是当数据量超过内存容量时,如何利用磁盘进行高效的数据读写。此外,还介绍了散列表(哈希表)、堆等数据结构,它们在平均情况下能提供非常快的查找速度。 #### 第五部分...

Global site tag (gtag.js) - Google Analytics