java写文件方法之比较

  (转)最近对以前开发的一个通用数据迁移的软件进行优化。除了用JDK5.0的多线程技术进行的改进之外，也比较了一下java写文件的性能。
    在 java写文件中，通常会使用FileOutputStream和FileWriter，FileWriter只能写文本文件。 FileOutputStream也经常结合BufferedOutputStream。因为实际应用中写文本文件的情况占了大多数。所以下面测试用不同 的方式生成一个相同行数、大小相同的文件的三种不同方式。
   

import java.io.File;
import java.io.FileOutputStream;
import java.io.*;

public class FileTest {
    public FileTest() {
    }

    public static void main(String[] args) {
        FileOutputStream out = null;
        FileOutputStream outSTr = null;
        BufferedOutputStream Buff=null;
        FileWriter fw = null;
        int count=1000;//写文件行数
        try {
            out = new FileOutputStream(new File("C:/add.txt"));
            long begin = System.currentTimeMillis();
            for (int i = 0; i < count; i++) {
                out.write("测试java 文件操作\r\n".getBytes());
            }
            out.close();
            long end = System.currentTimeMillis();
            System.out.println("FileOutputStream执行耗时:" + (end - begin) + " 豪秒");

            outSTr = new FileOutputStream(new File("C:/add0.txt"));
             Buff=new BufferedOutputStream(outSTr);
            long begin0 = System.currentTimeMillis();
            for (int i = 0; i < count; i++) {
                Buff.write("测试java 文件操作\r\n".getBytes());
            }
            Buff.flush();
            Buff.close();
            long end0 = System.currentTimeMillis();
            System.out.println("BufferedOutputStream执行耗时:" + (end0 - begin0) + " 豪秒");


            fw = new FileWriter("C:/add2.txt");
            long begin3 = System.currentTimeMillis();
            for (int i = 0; i < count; i++) {
                fw.write("测试java 文件操作\r\n");
            }
                        fw.close();
            long end3 = System.currentTimeMillis();
            System.out.println("FileWriter执行耗时:" + (end3 - begin3) + " 豪秒");

        } catch (Exception e) {
            e.printStackTrace();
        }
        finally {
            try {
                fw.close();
                Buff.close();
                outSTr.close();
                out.close();
            } catch (Exception e) {
                e.printStackTrace();
            }
        }
    }


}    

以下结果经过多次执行，取常出现的数据，由于只是简单比较，不做详细统计。

1.当count＝1000的，即写文件1000行的时候，写出的文件大小为18.5KB：
FileOutputStream执行耗时:46 豪秒
BufferedOutputStream执行耗时:31 豪秒
FileWriter执行耗时:15 豪秒


2.当count＝10000的，即写文件10000行的时候，写出的文件大小为185KB：
FileOutputStream执行耗时:188 豪秒
BufferedOutputStream执行耗时:32 豪秒
FileWriter执行耗时:16 豪秒

 

3.当count＝100000的，即写文件100000行的时候，写出的文件大小为1856KB：
FileOutputStream执行耗时:1266 豪秒
BufferedOutputStream执行耗时:125 豪秒
FileWriter执行耗时:93 豪秒

 

4.当count＝1000000的，即写文件1000000行的时候，写出的文件大小为18555KB：
FileOutputStream执行耗时:12063 豪秒
BufferedOutputStream执行耗时:1484 豪秒
FileWriter执行耗时:969 豪秒

    由 以上数据可以看到，如果不用缓冲流BufferedOutputStream，FileOutputStream写文件的鲁棒性是很不好的。当写 1000000行的文件的时候，FileOutputStream比FileWriter要慢11094毫秒（11 秒），BufferedOutputStream比FileWriter慢515毫秒。
    不要小看这几秒的时间。当操作的数据量很大的时候，这点性能的差距就会很大了。在通用数据迁移工具导出数据库2千万条记录生成sql脚本文件的时候，性能性能相差10分钟以上。

评论

3 楼 zhangzcz1999 2010-04-19  

lin36 写道

楼主的程序有问题，测试的时间包含有调用
"测试java 文件操作\r\n".getBytes()
的开销
以下程序在我的Linux下运行结果为：
FileOutputStream执行耗时:3375 豪秒
BufferedOutputStream执行耗时:142 豪秒
FileWriter执行耗时:608 豪秒

hnbcjzj 写道

FileOutputStream 用于写入诸如图像数据之类的原始字节的流。要写入字符流，请考虑使用 FileWriter。 这是API里的一句话，楼主用FileWriter，其实还可以把他再封装一下。用BufferedWriter再封装，性能更好。但是如果是文件比较大的话，BufferedWriter性能会下降
这是我的测试代码：结果
int lines=10000;时
writer共耗时：47毫秒
BufferedWriter共耗时：16毫秒
int lines=100000;时
writer共耗时：203毫秒
BufferedWriter共耗时：156毫秒
int lines=1000000;时
writer共耗时：3453毫秒
BufferedWriter共耗时：2265毫秒
int lines=1000000;时千万时
writer共耗时：24578毫秒
BufferedWriter共耗时：23047毫秒
每次的结果会不一样，

呵呵，谢谢两位啊～
我也只是转过来的呢，没有做过测试～～

2 楼 hnbcjzj 2010-04-19  

FileOutputStream 用于写入诸如图像数据之类的原始字节的流。要写入字符流，请考虑使用 FileWriter。 这是API里的一句话，楼主用FileWriter，其实还可以把他再封装一下。用BufferedWriter再封装，性能更好。但是如果是文件比较大的话，BufferedWriter性能会下降

private void exportFile(/*File file*/){
FileWriter writer=null;//new FileWriter(file);
BufferedWriter bf=null;//new BufferedWriter(writer);
File file=null;
try {
file=new File("E:/tool/20100419.test1");
writer =new FileWriter(file);
int lines=100000;
long t1=System.currentTimeMillis();
for(int i=0;i<lines;i++){
writer.write("测试一地;sadfdsfsad可耕地非机动车无可厚非地方工业厅12!@#$%^&*()7981323322");
}
writer.flush();
writer.close();
long t2=System.currentTimeMillis();
System.out.println("writer共耗时："+(t2-t1)+"毫秒");
file=new File("E:/tool/20100419.test2");
bf=new BufferedWriter(new FileWriter(file));
long t3=System.currentTimeMillis();
for(int i=0;i<lines;i++){
bf.write("测试一地;sadfdsfsad可耕地非机动车无可厚非地方工业厅12!@#$%^&*()7981323322");
}
bf.flush();
bf.close();
long t4=System.currentTimeMillis();
System.out.println("BufferedWriter共耗时："+(t4-t3)+"毫秒");
} catch (IOException e) {
e.printStackTrace();
}finally{
try {
if(bf!=null)
bf.close();
if(writer!=null)
writer.close();
} catch (IOException e) {
e.printStackTrace();
}
}
}
public static void main(String args[]){
ExportTbExcutService test=new ExportTbExcutService();
// test.createFilePath("test.txt");
test.exportFile();
}
这是我的测试代码：结果
int lines=10000;时
writer共耗时：47毫秒
BufferedWriter共耗时：16毫秒
int lines=100000;时
writer共耗时：203毫秒
BufferedWriter共耗时：156毫秒
int lines=1000000;时
writer共耗时：3453毫秒
BufferedWriter共耗时：2265毫秒
int lines=1000000;时千万时
writer共耗时：24578毫秒
BufferedWriter共耗时：23047毫秒
每次的结果会不一样，

1 楼 lin36 2009-12-22  

楼主的程序有问题，测试的时间包含有调用
"测试java 文件操作\r\n".getBytes()
的开销
以下程序在我的Linux下运行结果为：
FileOutputStream执行耗时:3375 豪秒
BufferedOutputStream执行耗时:142 豪秒
FileWriter执行耗时:608 豪秒


PS：

import java.io.File;
import java.io.FileOutputStream;
import java.io.*;

public class WriteFile {

public static void main(String[] args) {
FileOutputStream out = null;
FileOutputStream outSTr = null;
BufferedOutputStream Buff = null;
FileWriter fw = null;
int count = 1000000;// 写文件行数
try {
byte[] b = "测试java 文件操作\n".getBytes();
String str = "测试java 文件操作\n";
out = new FileOutputStream(new File("/tmp/add.txt"));
long begin = System.currentTimeMillis();
for (int i = 0; i < count; i++) {
out.write(b);
}
out.close();
long end = System.currentTimeMillis();
System.out.println("FileOutputStream执行耗时:" + (end - begin) + " 豪秒");

outSTr = new FileOutputStream(new File("/tmp/add.txt2"));
Buff = new BufferedOutputStream(outSTr);
long begin0 = System.currentTimeMillis();
for (int i = 0; i < count; i++) {
Buff.write(b);
}
Buff.flush();
Buff.close();
long end0 = System.currentTimeMillis();
System.out.println("BufferedOutputStream执行耗时:" + (end0 - begin0)
+ " 豪秒");

fw = new FileWriter("/tmp/add.txt3");
long begin3 = System.currentTimeMillis();
for (int i = 0; i < count; i++) {
fw.write(str);
}
fw.close();
long end3 = System.currentTimeMillis();
System.out.println("FileWriter执行耗时:" + (end3 - begin3) + " 豪秒");
} catch (Exception e) {
e.printStackTrace();
} finally {
try {
fw.close();
Buff.close();
outSTr.close();
out.close();
} catch (Exception e) {
e.printStackTrace();
}
}
}
}