如何分段读取文件

项目中使用到了读文件，但是有的文件很大。一下子加入到内存中再循环取，效率很底，试着用分段读，这个方法可行。把代码贴出来，如果大家有更好的方法。欢迎指正。

 

public static List<Keyword> readFile(int formIndex, int toIndex) {
        List<Keyword> lists = new ArrayList<Keyword>();
        String path = getPadFilePath();
        try {
            FileReader fr = new FileReader(path);
            BufferedReader br = new BufferedReader(fr);

            String temp;
            int i = 0;
            while ((temp = br.readLine()) != null) {
                i++;
                if (i > formIndex && i < toIndex) {
                    lists.add(new Keyword(temp));
                }
            }
            fr.close();
        } catch (Exception e) {
           
            log.error("read file exception :" + getExceptionStr(e));
        }
        return lists;
    }

 

  注：fromIndex -- 起始位置。toIndex --- 结束位置。

  之前的做法是用的是List中有一个subList的方法，这个也可以实现，但是目的不一样。如果是那样的话。做起来很简单。

评论

15 楼 windywany 2010-03-14  

MAPPING应该是最好的解决办法

14 楼 FeiXing2008 2010-03-14  

楼主这里并没有将所有数据加载到内存里，但是这样的做法需要多次读文件

13 楼 云中苍月 2010-03-14  

RandomAccessFile可以很好的解决楼主的需求。
内存映射也是好的选择，在think in java的IO章节有很完整的介绍。

12 楼 yvfish 2010-03-14  

javafound兄给出的正解！

11 楼 javafound 2010-03-13  

有如下情况下可以用到内存文件映射技术解决问题:
 1.不要复制文件中所有的数据，只需要修改文件中局部的数据。
 2.并行\分段处理大文件。

  如下代码示使用javaNIO局部修改文件中指定位置的部分数据：

/**
	 * 修改文件中的某一部分的数据测试:将字定位置的字母改为大写
	 * @param fName  :要修改的文件名字
	 * @param start:起始字节
	 * @param len:要修改多少个字节
	 * @return :是否修改成功
	 * @throws Exception:文件读写中可能出的错
* @author  javaFound
	 */
	public static boolean changeFile(String fName,int start,int len) throws Exception{
	  //创建一个随机读写文件对象
		java.io.RandomAccessFile raf=new java.io.RandomAccessFile(fName,"rw");
		long totalLen=raf.length();
		System.out.println("文件总长字节是: "+totalLen);
		//打开一个文件通道
		java.nio.channels.FileChannel channel=raf.getChannel();
		//映射文件中的某一部分数据以读写模式到内存中
		java.nio.MappedByteBuffer buffer=  channel.map(FileChannel.MapMode.READ_WRITE, start, len);
		//示例修改字节
		for(int i=0;i<len;i++){
		byte src=	buffer.get(i);
		buffer.put(i,(byte)(src-31));//修改Buffer中映射的字节的值
		System.out.println("被改为大写的原始字节是:"+src);
	   }
		buffer.force();//强制输出,在buffer中的改动生效到文件
		buffer.clear();
		channel.close();
		raf.close();
		return true;
	}
	//测试主方法
	public static void main(String[] args) throws Exception{
		changeFile("BigFileRW.java",3,5);
		System.out.println(" change OK... ");
	}

要想看到测试结果，需要在项目的的当前目录下创建一个名为BigFileRW.java文本文件，其中写上10上以上的字母。运行如上程序，文件中第3个字母起后面5个都变为大写了。

   NIO可以理解为传统IO的加强版，功能和性能都加强了，但使用变得更复杂。本节通过一些典型的用例展示了NIO的应用特征。深入灵活地将NIO用巧用好只有一个办法：有战斗中学习战斗，在实践中应用！

10 楼 qiren83 2010-03-13  

看不懂 有啥实际含义

要是分段为N
按你的要求 你把整个文件从头到尾全读了N次

9 楼 C_J 2010-03-13  

楼上的兄弟说这段代码确实是有问题的。

-finally都没有一个关闭句柄的。
-RandomAccessFile确实好点。
-break都没有，没意义了。

8 楼 vsover 2010-03-13  

用序列化吧! 

7 楼 mercyblitz 2010-03-13  

利用FileReader的会把所有的内容加载到内存中，因此没有意义。
如果要使用BIO，建议使用java.io.RandomAccessFile来做，读取部分信息。
如果要使用NIO,建议使用java.nio.channels.FileChannel,使用虚拟内存来Mapping大文件。

6 楼 ssy8110 2010-03-13  

应在不符合条件时跳出来...

5 楼 超级潜水艇 2010-03-13  

读都读完了，这又分段不分段有啥意义。

4 楼 xprayc 2010-03-12  

<div class="quote_title">lz这样还是遍历了整个文件啊。当你取到所需内容之后就可以break了吧。另一方面，这种情况下还是随机访问的方式效率好一些吧。</div>
<div class="quote_title">p_x1984 写道</div>
<div class="quote_div">
<p>项目中使用到了读文件，但是有的文件很大。一下子加入到内存中再循环取，效率很底，试着用分段读，这个方法可行。把代码贴出来，如果大家有更好的方法。欢迎指正。</p>
<p> </p>
<p>public static List&lt;Keyword&gt; readFile(int formIndex, int toIndex) {<br>
        List&lt;Keyword&gt; lists = new ArrayList&lt;Keyword&gt;();<br>
        String path = getPadFilePath();<br>
        try {<br>
            FileReader fr = new FileReader(path);<br>
            BufferedReader br = new BufferedReader(fr);<br><br>
            String temp;<br>
            int i = 0;<br>
            while ((temp = br.readLine()) != null) {<br>
                i++;<br>
                if (i &gt; formIndex &amp;&amp; i &lt; toIndex) {<br>
                    lists.add(new Keyword(temp));<br>
                }<br>
            }<br>
            fr.close();<br>
        } catch (Exception e) {<br>
            <br>
            log.error("read file exception :" + getExceptionStr(e));<br>
        }<br>
        return lists;<br>
    }</p>
<p> </p>
<p>  注：fromIndex -- 起始位置。toIndex --- 结束位置。</p>
<p>  之前的做法是用的是List中有一个subList的方法，这个也可以实现，但是目的不一样。如果是那样的话。做起来很简单。</p>
</div>
<p> </p>

3 楼 p_x1984 2010-03-12  

WorldHello

你有好的做法贴上来看看阿。别在说瞎话

2 楼 Jacky-Q 2010-03-12  

while ((temp = br.readLine()) != null) {
                i++;
                if (i > formIndex && i < toIndex) {
                    lists.add(new Keyword(temp));
                }
            }

一直到文件读完指针才会停下来？那分段的意义在哪里？

1 楼 WorldHello 2010-03-12  

<div class="quote_title">p_x1984 写道</div>
<div class="quote_div">
<p>项目中使用到了读文件，但是有的文件很大。一下子加入到内存中再循环取，效率很底，试着用分段读，这个方法可行。把代码贴出来，如果大家有更好的方法。欢迎指正。</p>
<p> </p>
<p>public static List&lt;Keyword&gt; readFile(int formIndex, int toIndex) {<br>
        List&lt;Keyword&gt; lists = new ArrayList&lt;Keyword&gt;();<br>
        String path = getPadFilePath();<br>
        try {<br>
            FileReader fr = new FileReader(path);<br>
            BufferedReader br = new BufferedReader(fr);<br><br>
            String temp;<br>
            int i = 0;<br>
            while ((temp = br.readLine()) != null) {<br>
                i++;<br>
                if (i &gt; formIndex &amp;&amp; i &lt; toIndex) {<br>
                    lists.add(new Keyword(temp));<br>
                }<br>
            }<br>
            fr.close();<br>
        } catch (Exception e) {<br>
            <br>
            log.error("read file exception :" + getExceptionStr(e));<br>
        }<br>
        return lists;<br>
    }</p>
<p> </p>
<p>  注：fromIndex -- 起始位置。toIndex --- 结束位置。</p>
<p>  之前的做法是用的是List中有一个subList的方法，这个也可以实现，但是目的不一样。如果是那样的话。做起来很简单。</p>
</div>
<p> </p>
<p> </p>
<p>你头上的星星怎么来的？</p>
<p>这代码写的</p>
<p>看着不爽</p>
<p> </p>