【Hadoop二】Hadoop常用命令

以Hadoop运行Hadoop自带的wordcount为例，

 

hadoop脚本位于/home/hadoop/hadoop-2.5.2/bin/hadoop，需要说明的是，这些命令的使用必须在Hadoop已经运行的情况下才能执行

 

Hadoop HDFS相关命令

•  hadoop fs -ls

 列出HDFS文件系统的第一级文件和第一级目录，如：

 

hadoop@hadoop-Inspiron-3521:~/hadoop-2.5.2/bin$ ./hadoop fs -ls
Found 5 items
drwxr-xr-x   - hadoop supergroup          0 2014-11-24 23:13 QuasiMonteCarlo_1416841948675_1031539484
drwxr-xr-x   - hadoop supergroup          0 2014-11-23 10:37 input
drwxr-xr-x   - hadoop supergroup          0 2014-11-23 09:54 out
drwxr-xr-x   - hadoop supergroup          0 2014-11-23 10:44 out1
drwxr-xr-x   - hadoop supergroup          0 2014-11-23 10:38 output

 其中input目录是上传文本的目录(文本中包含了要统计的单词)，out，out1和output是输出目录，

 

• hadoop fs -ls ./input/*
  

列出input目录下的所有内容

 

 

 * 文件操作
 * 查看目录文件
 * $ hadoop dfs -ls /user/cl
 *
 * 创建文件目录
 * $ hadoop dfs -mkdir /user/cl/temp
 *
 * 删除文件
 * $ hadoop dfs -rm /user/cl/temp/a.txt
 *
 * 删除目录与目录下所有文件
 * $ hadoop dfs -rmr /user/cl/temp
 *
 * 上传文件
 * 上传一个本机/home/cl/local.txt到hdfs中/user/cl/temp目录下
 * $ hadoop dfs -put /home/cl/local.txt /user/cl/temp
 *
 * 下载文件
 * 下载hdfs中/user/cl/temp目录下的hdfs.txt文件到本机/home/cl/中
 * $ hadoop dfs -get /user/cl/temp/hdfs.txt /home/cl
 *
 * 查看文件
 * $ hadoop dfs –cat /home/cl/hdfs.txt

 

 

 

hdfs dfs -du -h -s 目录

可以用于查看指定目录占用的空间