论坛首页 Java企业应用论坛

如何分段读取文件

浏览 10869 次
精华帖 (0) :: 良好帖 (0) :: 新手帖 (14) :: 隐藏帖 (2)
作者 正文
   发表时间:2010-03-12  

项目中使用到了读文件,但是有的文件很大。一下子加入到内存中再循环取,效率很底,试着用分段读,这个方法可行。把代码贴出来,如果大家有更好的方法。欢迎指正。

 

public static List<Keyword> readFile(int formIndex, int toIndex) {
        List<Keyword> lists = new ArrayList<Keyword>();
        String path = getPadFilePath();
        try {
            FileReader fr = new FileReader(path);
            BufferedReader br = new BufferedReader(fr);

            String temp;
            int i = 0;
            while ((temp = br.readLine()) != null) {
                i++;
                if (i > formIndex && i < toIndex) {
                    lists.add(new Keyword(temp));
                }
            }
            fr.close();
        } catch (Exception e) {
           
            log.error("read file exception :" + getExceptionStr(e));
        }
        return lists;
    }

 

  注:fromIndex -- 起始位置。toIndex --- 结束位置。

  之前的做法是用的是List中有一个subList的方法,这个也可以实现,但是目的不一样。如果是那样的话。做起来很简单。

   发表时间:2010-03-12  
p_x1984 写道

项目中使用到了读文件,但是有的文件很大。一下子加入到内存中再循环取,效率很底,试着用分段读,这个方法可行。把代码贴出来,如果大家有更好的方法。欢迎指正。

 

public static List<Keyword> readFile(int formIndex, int toIndex) {
        List<Keyword> lists = new ArrayList<Keyword>();
        String path = getPadFilePath();
        try {
            FileReader fr = new FileReader(path);
            BufferedReader br = new BufferedReader(fr);

            String temp;
            int i = 0;
            while ((temp = br.readLine()) != null) {
                i++;
                if (i > formIndex && i < toIndex) {
                    lists.add(new Keyword(temp));
                }
            }
            fr.close();
        } catch (Exception e) {
           
            log.error("read file exception :" + getExceptionStr(e));
        }
        return lists;
    }

 

  注:fromIndex -- 起始位置。toIndex --- 结束位置。

  之前的做法是用的是List中有一个subList的方法,这个也可以实现,但是目的不一样。如果是那样的话。做起来很简单。

 

 

你头上的星星怎么来的?

这代码写的

看着不爽

 

0 请登录后投票
   发表时间:2010-03-12  
while ((temp = br.readLine()) != null) {
                i++;
                if (i > formIndex && i < toIndex) {
                    lists.add(new Keyword(temp));
                }
            }

一直到文件读完指针才会停下来?那分段的意义在哪里?
5 请登录后投票
   发表时间:2010-03-12  
WorldHello

你有好的做法贴上来看看阿。别在说瞎话
0 请登录后投票
   发表时间:2010-03-12  
lz这样还是遍历了整个文件啊。当你取到所需内容之后就可以break了吧。另一方面,这种情况下还是随机访问的方式效率好一些吧。
p_x1984 写道

项目中使用到了读文件,但是有的文件很大。一下子加入到内存中再循环取,效率很底,试着用分段读,这个方法可行。把代码贴出来,如果大家有更好的方法。欢迎指正。

 

public static List<Keyword> readFile(int formIndex, int toIndex) {
        List<Keyword> lists = new ArrayList<Keyword>();
        String path = getPadFilePath();
        try {
            FileReader fr = new FileReader(path);
            BufferedReader br = new BufferedReader(fr);

            String temp;
            int i = 0;
            while ((temp = br.readLine()) != null) {
                i++;
                if (i > formIndex && i < toIndex) {
                    lists.add(new Keyword(temp));
                }
            }
            fr.close();
        } catch (Exception e) {
           
            log.error("read file exception :" + getExceptionStr(e));
        }
        return lists;
    }

 

  注:fromIndex -- 起始位置。toIndex --- 结束位置。

  之前的做法是用的是List中有一个subList的方法,这个也可以实现,但是目的不一样。如果是那样的话。做起来很简单。

 

0 请登录后投票
   发表时间:2010-03-13  
读都读完了,这又分段不分段有啥意义。
0 请登录后投票
   发表时间:2010-03-13  
应在不符合条件时跳出来...
0 请登录后投票
   发表时间:2010-03-13  
利用FileReader的会把所有的内容加载到内存中,因此没有意义。
如果要使用BIO,建议使用java.io.RandomAccessFile来做,读取部分信息。
如果要使用NIO,建议使用java.nio.channels.FileChannel,使用虚拟内存来Mapping大文件。
0 请登录后投票
   发表时间:2010-03-13  
用序列化吧! 
0 请登录后投票
   发表时间:2010-03-13  
楼上的兄弟说这段代码确实是有问题的。

-finally都没有一个关闭句柄的。
-RandomAccessFile确实好点。
-break都没有,没意义了。
0 请登录后投票
论坛首页 Java企业应用版

跳转论坛:
Global site tag (gtag.js) - Google Analytics