HDFS文件的相关操作命令汇总

hdfs文件的相关操作主要使用hadoop fs、hadoop dfs、hdfs dfs 命令，以下对最常用的相关命令进行简要说明。

hadoop fs -ls  显示当前目录结构，-ls -R 递归显示目录结构

hadoop fs -mkdir  创建目录

hadoop fs -rm   删除文件，-rm -R 递归删除目录和文件

hadoop fs -put  [localsrc] [dst]  从本地加载文件到HDFS

hadoop fs -get  [dst] [localsrc]  从HDFS导出文件到本地

hadoop fs - copyFromLocal [localsrc] [dst]  从本地加载文件到HDFS，与put一致

hadoop fs -copyToLocal [dst] [localsrc]  从HDFS导出文件到本地，与get一致

hadoop fs -test -e  检测目录和文件是否存在，存在返回值$?为0，不存在返回1

hadoop fs -text  查看文件内容

hadoop fs -du  统计目录下各文件大小，单位字节。-du -s 汇总目录下文件大小，-du -h 显示单位

hadoop fs -tail  显示文件末尾

hadoop fs -cp [src] [dst] 从源目录复制文件到目标目录

hadoop fs -mv [src] [dst] 从源目录移动文件到目标目录

 

下面的对上面命令的操作演示

 

1，hadoop fs -ls  显示当前目录结构，-ls -R 递归显示目录结构

 

2，hadoop fs -mkdir  创建目录

 

3，hadoop fs -rm   删除文件，-rm -R 递归删除目录和文件

 

4，hadoop fs -put  [localsrc] [dst]  从本地加载文件到HDFS

 

 

5，hadoop fs -get  [dst] [localsrc]  从HDFS导出文件到本地

 

 

6，hadoop fs - copyFromLocal [localsrc] [dst]  从本地加载文件到HDFS，与put一致

 

7，hadoop fs -copyToLocal [dst] [localsrc]  从HDFS导出文件到本地，与get一致

 

8，hadoop fs -test -e  检测目录和文件是否存在，存在返回值$?为0，不存在返回1

 

9，hadoop fs -text  查看文件内容

 

 

10，hadoop fs -du  统计目录下各文件大小，单位字节。-du -s 汇总目录下文件大小，-du -h 显示单位

 

 

11，hadoop fs -tail  显示文件末尾

 

12，hadoop fs -cp [src] [dst] 从源目录复制文件到目标目录

 

13，hadoop fs -mv [src] [dst] 从源目录移动文件到目标目录

 

from：https://blog.csdn.net/afafawfaf/article/details/80254989 

 

HDFS 文件操作命令

注，其实常用命令不用网上搜，和linux下的命令很类似，触类旁通，直接在linux 上 hadoop fs 看一下就行了，不需要刻意去记

我把 linux 上的 help 列举下，方便直接看吧，hdfs dfs 与 hadoop fs 效果一样

常用的就是

hdfs dfs -copyFromLocal /local/data /hdfs/data：将本地文件上传到 hdfs 上（原路径只能是一个文件）

hdfs dfs -put /tmp/ /hdfs/ ：和 copyFromLocal 区别是，put 原路径可以是文件夹等

hadoop fs -ls / ：查看根目录文件

hadoop fs -ls /tmp/data：查看/tmp/data目录

hadoop fs -cat /tmp/a.txt ：查看 a.txt，与 -text 一样

hadoop fs -mkdir dir：创建目录dir

hadoop fs -rmr dir：删除目录dir

刚开始学hdfs的时候，不知道怎么cd到hdfs的下级目录，我以为同linux命令一样是cd进去的，然而。。恩，不知道有新司机也一样想

 

[orco@node1 sbin]$ hadoop fs
Usage: hadoop fs [generic options]
    [-appendToFile <localsrc> ... <dst>]
    [-cat [-ignoreCrc] <src> ...]
    [-checksum <src> ...]
    [-chgrp [-R] GROUP PATH...]
    [-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]
    [-chown [-R] [OWNER][:[GROUP]] PATH...]
    [-copyFromLocal [-f] [-p] [-l] <localsrc> ... <dst>]
    [-copyToLocal [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
    [-count [-q] [-h] <path> ...]
    [-cp [-f] [-p | -p[topax]] <src> ... <dst>]
    [-createSnapshot <snapshotDir> [<snapshotName>]]
    [-deleteSnapshot <snapshotDir> <snapshotName>]
    [-df [-h] [<path> ...]]
    [-du [-s] [-h] <path> ...]
    [-expunge]
    [-find <path> ... <expression> ...]
    [-get [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
    [-getfacl [-R] <path>]
    [-getfattr [-R] {-n name | -d} [-e en] <path>]
    [-getmerge [-nl] <src> <localdst>]
    [-help [cmd ...]]
    [-ls [-d] [-h] [-R] [<path> ...]]
    [-mkdir [-p] <path> ...]
    [-moveFromLocal <localsrc> ... <dst>]
    [-moveToLocal <src> <localdst>]
    [-mv <src> ... <dst>]
    [-put [-f] [-p] [-l] <localsrc> ... <dst>]
    [-renameSnapshot <snapshotDir> <oldName> <newName>]
    [-rm [-f] [-r|-R] [-skipTrash] <src> ...]
    [-rmdir [--ignore-fail-on-non-empty] <dir> ...]
    [-setfacl [-R] [{-b|-k} {-m|-x <acl_spec>} <path>]|[--set <acl_spec> <path>]]
    [-setfattr {-n name [-v value] | -x name} <path>]
    [-setrep [-R] [-w] <rep> <path> ...]
    [-stat [format] <path> ...]
    [-tail [-f] <file>]
    [-test -[defsz] <path>]
    [-text [-ignoreCrc] <src> ...]
    [-touchz <path> ...]
    [-truncate [-w] <length> <path> ...]
    [-usage [cmd ...]]

 

HDFS的管理命令

一般管理员才会用下面的命令，举例：

hdfs dfsadmin -report：显示所有dataNode

hdfs dfsadmin -safemode leave：离开安全模式

[orco@node1 hadoop-2.7.3]$ bin/hdfs dfsadmin
Usage: hdfs dfsadmin
Note: Administrative commands can only be run as the HDFS superuser.
    [-report [-live] [-dead] [-decommissioning]]
    [-safemode <enter | leave | get | wait>]
    [-saveNamespace]
    [-rollEdits]
    [-restoreFailedStorage true|false|check]
    [-refreshNodes]
    [-setQuota <quota> <dirname>...<dirname>]
    [-clrQuota <dirname>...<dirname>]
    [-setSpaceQuota <quota> [-storageType <storagetype>] <dirname>...<dirname>]
    [-clrSpaceQuota [-storageType <storagetype>] <dirname>...<dirname>]
    [-finalizeUpgrade]
    [-rollingUpgrade [<query|prepare|finalize>]]
    [-refreshServiceAcl]
    [-refreshUserToGroupsMappings]
    [-refreshSuperUserGroupsConfiguration]
    [-refreshCallQueue]
    [-refresh <host:ipc_port> <key> [arg1..argn]
    [-reconfig <datanode|...> <host:ipc_port> <start|status>]
    [-printTopology]
    [-refreshNamenodes datanode_host:ipc_port]
    [-deleteBlockPool datanode_host:ipc_port blockpoolId [force]]
    [-setBalancerBandwidth <bandwidth in bytes per second>]
    [-fetchImage <local directory>]
    [-allowSnapshot <snapshotDir>]
    [-disallowSnapshot <snapshotDir>]
    [-shutdownDatanode <datanode_host:ipc_port> [upgrade]]
    [-getDatanodeInfo <datanode_host:ipc_port>]
    [-metasave filename]
    [-triggerBlockReport [-incremental] <datanode_host:ipc_port>]
    [-help [cmd]]

 

单独启动某个服务

hadoop-deamon.sh start namenode

启动一个 DN

hadoop-daemon.sh start datanode

hadoop-daemon.sh start nodemanager

 

from:https://www.cnblogs.com/sorco/p/6898807.html

 

Others:

hadoop-daemon.sh start namenode

 

hadoop-daemon.sh start zkfc

 

yarn-daemon.sh start resourcemanager

yarn-daemon.sh stop resourcemanager 

 

zkServer.sh start

zkServer.sh stop

 

start-dfs.sh  

start-yarn.sh

 

hadoop-daemon.sh start zkfc

hadoop-daemon.sh start namenode

hadoop-daemon.sh start journalnode

 

hdfs namenode -bootstrapStandby

zkServer.sh status 

 

 

hdfs dfs -ls /data/wc/output

hdfs dfs -get /data/wc/output/* ./

 

hdfs dfs -get /data/wc/output/* ./

hdfs dfs -cat /data/wc/output/* ./

hdfs dfs -cat /data/wc/output/part-r-00000

hdfs dfs -cat /data/wc/output/_SUCCESS

hadoop jar hadoop-mapreduce-examples-2.6.5.jar  wordcount /user/root/test.txt /data/wc/output

hdfs dfs -mkdir -p  /user/root 

hdfs dfs -D dfs.blocksize=1048576 -put test.txt