Java读取超大文本文件

近日由于相关业务，需要读取一个将近1G的文件，然后将符合条件的数据insert进数据库。而执行完程序之后，最后写入数据库的数据是将近100w条，在linux系统下运行时间将近3个小时，操作量还是上了一个相当的规模。

由于之前没有进行过超大文件的读写，一开始以为需要使用分布式系统等复杂的操作才能进行。后来google了一下，发现jdk本身就支持超大文件的读写，真是虚惊一场。
网上的文章基本分为两大类，一类是使用BufferedReader类读写超大文件；另一类是使用RandomAccessFile类读取，经过比较，最后使用了前一种方式进行超大文件的读取，下面是相关代码，其实很简单

File file = new File(filepath);   
BufferedInputStream fis = new BufferedInputStream(new FileInputStream(file));    
BufferedReader reader = new BufferedReader(new InputStreamReader(fis,"utf-8"),5*1024*1024);// 用5M的缓冲读取文本文件  
		
String line = "";
while((line = reader.readLine()) != null){
//TODO: write your business
}

注意代码，在实例化BufferedReader时，增加一个分配缓存的参数即可

评论

8 楼 甜甜奥利奥 2012-11-07  

多谢分享~正好需要呢  

7 楼 sharong 2011-02-20  

smallboby 写道

不允许使用工具？ 比如sqlload。读入1G文本几分钟。

噢，这个工具可以学习一下哈，不过这个文本不是sql语句。就是一行一行的文本，读取后需要用程序分析一下，然后把分析出来的元数据insert到数据库

6 楼 sharong 2011-02-20  

sdh5724 写道

这。。。无论多大的文件读取， 跟语言没有什么关系吧。 这是OS的支持特性。 底层操作上， 只需要操作文件的移动指针就可以了。 要多看看OS IO函数。

java对文本的操作分为字节流和字符流两种，jvm采用的是不同的缓存策略。

5 楼 lemon_1227 2011-02-20  

有个问题：如果导入5m数据的时候，正好把某个数据给分割了，这不造成数据读取错误了嘛

4 楼 smallboby 2011-02-20  

不允许使用工具？ 比如sqlload。读入1G文本几分钟。

3 楼 herecomes 2011-02-20  

有关系吧，还是需要看实现方式的。

2 楼 Loudyn 2011-02-20  

sdh5724 写道

这。。。无论多大的文件读取， 跟语言没有什么关系吧。 这是OS的支持特性。 底层操作上， 只需要操作文件的移动指针就可以了。 要多看看OS IO函数。

1 楼 sdh5724 2011-02-20  

这。。。无论多大的文件读取， 跟语言没有什么关系吧。 这是OS的支持特性。 底层操作上， 只需要操作文件的移动指针就可以了。 要多看看OS IO函数。