合并HDFS和本地文件系统中的小文件

 

众所周知，HDFS中过多的小文件，会给NameNode造成很大的压力，所谓的小文件，是指远远小于文件块大小的文件。

在使用HDFS的过程中，应尽量避免生成过多的小文件。

 

本文以TextFile为例，介绍一下从本地–>HDFS、HDFS–>本地、以及HDFS–>HDFS的文件上传下载移动过程中，对小文件的合并方法

将本地的小文件合并，上传到HDFS

假设存放在本地的数据由很多个小文件组成，需要上传到HDFS。一般的做法是在本地使用脚本、程序先把小文件合并后再上传。

其实没有必要，HDFS中提供了一个很有用的命令 appendToFile，就可以解决这个问题。

假设本地有两个小文件1.txt和2.txt，里面内容如下：

1. [liuxiaowen@dev ~]$ cat 1.txt
2. 111111
3. 111111
4. 111111
5. 111111
6. [liuxiaowen@dev ~]$ cat 2.txt
7. 222222
8. 222222
9. 222222
10. 222222

使用下面的命令，可以将1.txt和2.txt合并，并上传到HDFS：

 

1. [liuxiaowen@dev ~]$ hadoop fs -appendToFile 1.txt2.txt hdfs://cdh5/tmp/lxw1234.txt
2. [liuxiaowen@dev ~]$ hadoop fs -cat hdfs://cdh5/tmp/lxw1234.txt
3. 111111
4. 111111
5. 111111
6. 111111
7. 222222
8. 222222
9. 222222
10. 222222

 

下载HDFS的小文件到本地，合并成一个大文件

假设在HDFS的/tmp/lxw1234/目录下，有两个小文件1.txt和2.txt

需要将它们下载到本地的一个文件中。

1. [liuxiaowen@dev ~]$ hadoop fs -cat /tmp/lxw1234/1.txt
2. 111111
3. 111111
4. 111111
5. 111111
6. [liuxiaowen@dev ~]$ hadoop fs -cat /tmp/lxw1234/2.txt
7. 222222
8. 222222
9. 222222
10. 222222

使用下面的命令：

 

1. [liuxiaowen@dev ~]$ hadoop fs -getmerge hdfs://cdh5/tmp/lxw1234/*.txt local_largefile.txt
2. [liuxiaowen@dev ~]$ cat local_largefile.txt
3. 111111
4. 111111
5. 111111
6. 111111
7. 222222
8. 222222
9. 222222
10. 222222

 

合并HDFS上的小文件

如果需要合并HDFS上的某个目录下有很多小文件，可以尝试使用下面的命令：

1. [liuxiaowen@dev ~]$ hadoop fs -cat hdfs://cdh5/tmp/lxw1234/*.txt | hadoop fs -appendToFile - hdfs://cdh5/tmp/hdfs_largefile.txt
2. [liuxiaowen@dev ~]$ hadoop fs -cat hdfs://cdh5/tmp/hdfs_largefile.txt
3. 111111
4. 111111
5. 111111
6. 111111
7. 222222
8. 222222
9. 222222
10. 222222

注意：这种处理方法在数据量非常大的情况下可能不太适合，最好使用MapReduce来合并。

 

本文转载:http://lxw1234.com/archives/2015/09/481.htm