`
blueyanghualong
  • 浏览: 228544 次
  • 性别: Icon_minigender_1
  • 来自: 杭州
社区版块
存档分类
最新评论

Java操作大文件

 
阅读更多

 

JAVA操作大数据量的文件利用FileReader的会把所有的内容加载到内存中,因此没有意义。 
如果要使用BIO,建议使用java.io.RandomAccessFile来做,读取部分信息。 
如果要使用NIO,建议使用java.nio.channels.FileChannel,使用虚拟内存来Mapping大文件。 

有如下情况下可以用到内存文件映射技术解决问题: 
 1.不要复制文件中所有的数据,只需要修改文件中局部的数据。 
 2.并行\分段处理大文件。 

如下代码示使用javaNIO局部修改文件中指定位置的部分数据: 
Java代码 
/** 
     * 修改文件中的某一部分的数据测试:将字定位置的字母改为大写 
     * @param fName :要修改的文件名字 
     * @param start:起始字节 
     * @param len:要修改多少个字节 
     * @return :是否修改成功 
     * @throws Exception:文件读写中可能出的错 
* @author javaFound 
     */   
    public static boolean changeFile(String fName,int start,int len) throws Exception{   
      //创建一个随机读写文件对象   
        java.io.RandomAccessFile raf=new java.io.RandomAccessFile(fName,"rw");   
        long totalLen=raf.length();   
        System.out.println("文件总长字节是: "+totalLen);   
        //打开一个文件通道   
        java.nio.channels.FileChannel channel=raf.getChannel();   
        //映射文件中的某一部分数据以读写模式到内存中   
        java.nio.MappedByteBuffer buffer= channel.map(FileChannel.MapMode.READ_WRITE, start, len);   
        //示例修改字节   
        for(int i=0;i<len;i++){   
        byte src=   buffer.get(i);   
        buffer.put(i,(byte)(src-31));//修改Buffer中映射的字节的值   
        System.out.println("被改为大写的原始字节是:"+src);   
       }   
        buffer.force();//强制输出,在buffer中的改动生效到文件   
        buffer.clear();   
        channel.close();   
        raf.close();   
        return true;   
    }   
    //测试主方法   
    public static void main(String[] args) throws Exception{   
        changeFile("BigFileRW.java",3,5);   
        System.out.println(" change OK... ");   
    }   



要想看到测试结果,需要在项目的的当前目录下创建一个名为BigFileRW.java文本文件,其中写上10上以上的字母。运行如上程序,文件中第3个字母起后面5个都变为大写了。 
分享到:
评论

相关推荐

    java 操作文件工具类 java 操作文件工具类

    java 操作文件工具类java 操作文件工具类 java 操作文件工具类java 操作文件工具类java 操作文件工具类 java 操作文件工具类java 操作文件工具类java 操作文件工具类 java 操作文件工具类java 操作文件工具类java ...

    java操作CSV文件

    ### Java操作CSV文件知识点 #### 一、简介与背景 在日常的数据处理工作中,CSV(Comma-Separated Values)文件是一种常见的数据交换格式。它简单易用且跨平台兼容性好,常被用于导入导出数据、数据分析等场景。在...

    java实现对文件的各种操作的工具类.md

    # java实现对文件的各种操作的工具类 ## 可以实现的操作有: 1. 删除单个文件 2. 删除文件夹及文件夹下的文件 3. 使用文件流对单个文件进行复制 4. 复制整个文件夹内容(包含子文件夹中的所有内容) 5. ...

    java文件操作类

    java文件操作类java文件操作类java文件操作类java文件操作类java文件操作类java文件操作类java文件操作类java文件操作类java文件操作类java文件操作类java文件操作类java文件操作类java文件操作类java文件操作类java...

    java操作mongodb存储文件实例

    将一系列图片文件存储到MongoDB中 java操作mongodb存储文件

    java 分割文件 将大文件分割成小文件

    总结起来,Java提供了丰富的API来处理文件操作,包括分割大文件。通过结合`FileInputStream`、`FileOutputStream`以及适当的逻辑,我们可以根据文件大小或时间间隔来分割大文件。在实际开发中,应根据具体需求调整...

    JAVA代码实现远程操作服务器文件

    "JAVA代码实现远程操作服务器文件" Titulo: JAVA代码实现远程操作服务器文件 JAVA代码实现远程操作服务器文件是指使用JAVA语言实现远程操作服务器文件的功能,实现FTP,共享文件夹操作。该功能可以实现远程服务器...

    Java写入大数据文件

    Java语言中写入大数据文件是指使用Java语言编写程序将大量数据写入到文件中的一种操作。这种操作在实际应用中非常常见,如数据分析、数据挖掘、科学计算等领域。在Java中,写入大数据文件通常需要考虑文件的大小、...

    SAX.java 操作xml文件

    SAX.java 操作xml文件SAX.java 操作xml文件SAX.java 操作xml文件SAX.java 操作xml文件SAX.java 操作xml文件SAX.java 操作xml文件SAX.java 操作xml文件SAX.java 操作xml文件

    java视频教程—Java文件操作

    java视频教程 Java文件操作 JavaFile

    利用java操作Excel文件

    "Java操作Excel文件" Java操作Excel文件是指使用Java语言来读取和写入Excel文件的内容。下面是关于Java操作Excel文件的知识点总结: 一、读取Excel文件内容 在Java中,读取Excel文件内容可以使用jxl.jar这个开源...

    基于Java的FastDFS大文件上传与断点续传设计源码

    本源码项目是基于Java的FastDFS大文件上传与断点续传设计,包含36个文件,主要使用Java、JavaScript和CSS编程语言。该项目旨在实现h5与fastdfs之间...系统界面友好,易于操作,适合用于各类大文件上传与断点续传场景。

    java实现windows文件系统操作监控

    在Java编程环境中,实现Windows文件系统的操作监控是一个有趣且实用的技术挑战。这涉及到对系统底层事件的捕获,通常需要借助于系统钩子(System Hooks)的概念。在Java中,虽然原生支持并不完善,但我们可以通过...

    java按行读取大文件并解析入库

    在Java编程中,处理大容量文本文件是一项挑战,因为传统的逐行读取方式可能会消耗大量内存,导致程序崩溃。为了高效地处理这类问题,我们可以利用Java的`java.nio`包中的BufferedReader和FileChannel等类,实现按行...

    JAVA解析DBC文件

    总结来说,用JAVA解析DBC文件涉及的关键技术包括文件I/O操作、字符串处理、数据类型转换以及对象建模。在处理过程中需关注数据的大小端问题,以确保解析的正确性。同时,解析后的数据可以用于多种汽车相关的软件开发...

    java实现大文件上传并有进度条及其代码解析

    在Java开发中,处理大文件上传是一项常见的任务,特别是在Web应用中。为了提供更好的用户体验,通常需要添加进度条功能,让用户了解文件上传的状态。本文将详细介绍如何使用Java实现大文件的上传并展示进度条,同时...

    java操作csv文件(读、写)

    在做项目的时候,发现使用POI无法解析以csv文件结尾的文件,虽然csv文件能用Excel打开,但是csv文件没有像Excel一样有规定的电子表格形式,故使用POI无法解析csv文件,在网上找了一下,发现java有提供java csv文件来...

    java nio 包读取超大数据文件

    相较于传统的Java IO,NIO具有更高的性能和更丰富的功能,尤其适合处理大文件或高并发场景。 #### 二、Java NIO关键组件 Java NIO的核心组件包括: - **Channels**:用于表示IO源或目标的一个连接点。 - **Buffers*...

    java 连接 FTP 文件操作(上传,下载,删除,复制

    在IT行业中,Java是一种广泛应用的编程语言,尤其在文件操作和网络通信方面有着广泛的应用。本文将详细讨论如何使用Java连接FTP(File Transfer Protocol)服务器,进行文件的上传、下载、删除以及复制等操作。 ...

    java操作文件工具类

    文件工具类java操作文件工具类java操作文件工具类java操作文件工具类java操作文件工具类

Global site tag (gtag.js) - Google Analytics