java 使用线程池处理文件夹下面的文件

读取某个文件夹下面的所有文件，使用多线程处理，例如读取E盘下面的文件内容：

package thread;

import java.io.File;
import java.util.concurrent.BlockingQueue;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;
import java.util.concurrent.LinkedBlockingQueue;

public class BigDataFile {
	
	private class DealFile implements Runnable
	{
		
		//存放遍历的结果
		BlockingQueue<File> bFile = null;
		
		//每个线程独有的file文件夹
		File file = null;
		
		public DealFile(BlockingQueue<File> bFile, File file)
		{
			this.bFile = bFile;
			this.file = file;
		}

		@Override
		public void run() {
			getFileName(file.listFiles());
		}
		
		/**
		 * 迭代遍历文件夹。
		 * */
		private final void getFileName(File[] fileDirectory)
		{
			for(File file : fileDirectory)
			{
				if(file.isDirectory())
				{
					//继续迭代处理
					getFileName(file.listFiles());
				}
				else
				{
					//输出文件的名称
					System.out.println(file.getName());
					bFile.add(file);
				}
			}
		}
	}
	
	public static void main(String[] args) throws InterruptedException {
		
		/**
		 * 由于LinkedBlockingQueue实现是线程安全的，实现了先进先出等特性，是作为生产者消费者的首选，LinkedBlockingQueue 
		 * 可以指定容量，也可以不指定，不指定的话，默认最大是Integer.MAX_VALUE，
		 * 其中主要用到put和take方法，put方法在队列满的时候会阻塞直到有队列成员被消费，take方法在队列空的时候会阻塞，
		 * 直到有队列成员被放进来。
		 * */
		BlockingQueue<File> bFile = new LinkedBlockingQueue<File>();
		
		//需要遍历的文件夹
		File file = new File("D://");
		
		//线程池
		ExecutorService es = Executors.newCachedThreadPool();
		
		BigDataFile bf = new BigDataFile();
		
		/**
		 * new File("D://") 文件夹下面有几个文件夹new 几个线程执行。
		 * */
		for(File f : file.listFiles())
		{
			if(f.isDirectory())
			{
				es.execute(bf.new DealFile(bFile, f));
			}
			else
			{
				System.out.println(f.getName());
				bFile.add(f);
			}
		}
		
		//关闭线程池
		es.shutdown();
	}
	
}

评论

1 楼 KeepChanging 2017-11-20  

你这个根本就不对，我遍历了5遍，每次的到的count结果都不一样
private final void getFileName(File[] fileDirectory) {
for (File file : fileDirectory) {
if (file.isDirectory()) {
// 继续迭代处理
getFileName(file.listFiles());
} else {
// 输出文件的名称
System.out.println(file.getName() + "==========" + count++);
bFile.add(file);
}
}
}