`

hadoop_hdfs常用shell 集群数据拷贝

 
阅读更多

 

0 写法类似于linux命令

 

[root@hadoop0 hadoop]# hadoop
Warning: $HADOOP_HOME is deprecated.

Usage: hadoop [--config confdir] COMMAND
where COMMAND is one of:
  namenode -format     format the DFS filesystem
  secondarynamenode    run the DFS secondary namenode
  namenode             run the DFS namenode
  datanode             run a DFS datanode
  dfsadmin             run a DFS admin client
  mradmin              run a Map-Reduce admin client
  fsck                 run a DFS filesystem checking utility
  fs                   run a generic filesystem user client
  balancer             run a cluster balancing utility
  fetchdt              fetch a delegation token from the NameNode
  jobtracker           run the MapReduce job Tracker node
  pipes                run a Pipes job
  tasktracker          run a MapReduce task Tracker node
  historyserver        run job history servers as a standalone daemon
  job                  manipulate MapReduce jobs
  queue                get information regarding JobQueues
  version              print the version
  jar <jar>            run a jar file
  distcp <srcurl> <desturl> copy file or directories recursively
  archive -archiveName NAME -p <parent path> <src>* <dest> create a hadoop archive
  classpath            prints the class path needed to get the
                       Hadoop jar and the required libraries
  daemonlog            get/set the log level for each daemon
 or
  CLASSNAME            run the class named CLASSNAME
Most commands print help when invoked w/o parameters.

 

[root@hadoop0 hadoop]# hadoop fs
Warning: $HADOOP_HOME is deprecated.

Usage: java FsShell
           [-ls <path>]
           [-lsr <path>]
           [-du <path>]
           [-dus <path>]
           [-count[-q] <path>]
           [-mv <src> <dst>]
           [-cp <src> <dst>]
           [-rm [-skipTrash] <path>]
           [-rmr [-skipTrash] <path>]
           [-expunge]
           [-put <localsrc> ... <dst>]
           [-copyFromLocal <localsrc> ... <dst>]
           [-moveFromLocal <localsrc> ... <dst>]
           [-get [-ignoreCrc] [-crc] <src> <localdst>]
           [-getmerge <src> <localdst> [addnl]]
           [-cat <src>]
           [-text <src>]
           [-copyToLocal [-ignoreCrc] [-crc] <src> <localdst>]
           [-moveToLocal [-crc] <src> <localdst>]
           [-mkdir <path>]
           [-setrep [-R] [-w] <rep> <path/file>]
           [-touchz <path>]
           [-test -[ezd] <path>]
           [-stat [format] <path>]
           [-tail [-f] <file>]
           [-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]
           [-chown [-R] [OWNER][:[GROUP]] PATH...]
           [-chgrp [-R] GROUP PATH...]
           [-help [cmd]]

 

 

 

1. 常用命令简述

 对hdfs操作的命令格式是hadoop fs
 1.1 -ls  <path> 表示对hdfs下一级目录的查看
 1.2 -lsr <path> 表示对hdfs目录的递归查看
 1.3 -mkdir <path> 创建目录
 1.4 -put <src> <des> 从linux上传文件到hdfs
 1.5 -get <src> <des> 从hdfs下载文件到linux
 1.6 -text <path> 查看文件内容
 1.7 -rm  <path> 表示删除文件
 1.7 -rmr <path> 表示递归删除文件

 

常用命令详述：

 

1.0 上述命令 并不一定非要在 hadoop目录下执行，可以在别的linux目录下执行

 

1.1 -ls <path> 表示对hdfs下一级目录的查看

 

 

[root@master hadoop]# hadoop fs -ls hdfs://master:9000/
Warning: $HADOOP_HOME is deprecated.

Found 1 items
drwxr-xr-x   - root supergroup          0 2014-07-19 21:07 /usr
[root@master hadoop]# 

对上面信息的解释如下：
1 hdfs://master:9000是hadoop core-site.xml内配置的信息，也就是hdfs的根路径
2 hdfs://master:9000 写法可以类比于 http://192.168.1.113:8080 
  （协议类型://主机:端口）
3 请进入到hadoop目录内执行上面的命令，上述命令是展示hdfs根目录下的文件
4 drwxr-xr-x   - root supergroup          0 2014-07-19 21:07 /usr
  第一位为d表示目录， -表文件
  第十一位 - 表示副本个数， 副本个数只有文件才有，
  如果类型是文件夹的话(文件夹的作用仅仅是组织文件，不占用物理空间)则副本个数用-表示
  第十四位 0 表示文件大小
  第十五位 表示文件最近修改时间
  第十六位 .usr 表示文件名

综述： 查看hdfs根目录下的内容，得到 /usr这个文件

同样用上述方式，可以进入 hdfs的 /usr目录看下面的文件

[root@master hadoop]# hadoop fs -ls hdfs://master:9000/usr

 

 

 

 

 1.2 -lsr <path> 表示对hdfs目录的递归查看

 

[root@master hadoop]# hadoop fs -lsr hdfs://master:9000/
Warning: $HADOOP_HOME is deprecated.

drwxr-xr-x   - root supergroup          0 2014-07-19 21:07 /usr
drwxr-xr-x   - root supergroup          0 2014-07-19 21:07 /usr/local
drwxr-xr-x   - root supergroup          0 2014-07-19 21:08 /usr/local/hadoop
drwxr-xr-x   - root supergroup          0 2014-07-19 21:08 /usr/local/hadoop/tmp
drwxr-xr-x   - root supergroup          0 2014-07-30 06:42 /usr/local/hadoop/tmp/mapred
drwx------   - root supergroup          0 2014-07-30 06:42 /usr/local/hadoop/tmp/mapred/system
-rw-------   1 root supergroup          4 2014-07-30 06:42 /usr/local/hadoop/tmp/mapred/system/jobtracker.info

 

执行
[root@master hadoop]# hadoop fs -lsr /
Warning: $HADOOP_HOME is deprecated.

drwxr-xr-x   - root supergroup          0 2014-07-19 21:07 /usr
drwxr-xr-x   - root supergroup          0 2014-07-19 21:07 /usr/local
drwxr-xr-x   - root supergroup          0 2014-07-19 21:08 /usr/local/hadoop
drwxr-xr-x   - root supergroup          0 2014-07-19 21:08 /usr/local/hadoop/tmp
drwxr-xr-x   - root supergroup          0 2014-07-30 06:42 /usr/local/hadoop/tmp/mapred
drwx------   - root supergroup          0 2014-07-30 06:42 /usr/local/hadoop/tmp/mapred/system
-rw-------   1 root supergroup          4 2014-07-30 06:42 /usr/local/hadoop/tmp/mapred/system/jobtracker.info


其中在执行 # hadoop fs -lsr / 时， 因为没有发现hdfs协议的路径，因此会自动去
hadoop/conf/core-site.xml 
中找hdfs默认路径， 如下所示，此文件中配置的fs.default.name默认路径为 hdfs://master:9000 因此/就隐士的代表了配置文件中配置的hdfs根路径
<configuration>
 <property>
        <name>fs.default.name</name>
        <value>hdfs://master:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop/tmp</value>
    </property>  
</configuration>

 

  1.3 -mkdir <path> 创建目录

 

 

[root@master conf]# hadoop fs -mkdir /d1
Warning: $HADOOP_HOME is deprecated.

[root@master conf]# hadoop fs -ls /
Warning: $HADOOP_HOME is deprecated.

Found 2 items
drwxr-xr-x   - root supergroup          0 2014-07-31 07:28 /d1
drwxr-xr-x   - root supergroup          0 2014-07-19 21:07 /usr

 

1.4 -put <src> <des> 从linux上传文件到hdfs

 

[root@master conf]# hadoop fs -put ./core-site.xml hdfs://master:9000/d1
Warning: $HADOOP_HOME is deprecated.

[root@master conf]# hadoop fs -ls /d1
Warning: $HADOOP_HOME is deprecated.

Found 1 items
-rw-r--r--   1 root supergroup        398 2014-07-31 07:35 /d1/core-site.xml
[root@master conf]# 



./core-site.xml 表示当前目录(.)下的文件 core-site.xml
上述命令是将当前目录conf下的文件 core-site.xml 上传到 hdfs根目录/d1目录内

 

 

1.5 -get <src> <des> 从hdfs下载文件到linux

[root@master sbin]# cd /root/Desktop/
[root@master Desktop]# hadoop fs -get /d1/core-site.xml .
Warning: $HADOOP_HOME is deprecated.

[root@master Desktop]# ls
core-site.xml


进入桌面，然后将 hdfs/d1/core-site.xml 下载到桌面   

hadoop fs -get /d1/core-site.xml . 中的.表示linux目录中的当前目录

 

 

1.6 -text <path> 查看文件内容

 

  

[root@master ~]# hadoop fs -text /d1/core-site.xml
Warning: $HADOOP_HOME is deprecated.

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
 <property>
        <name>fs.default.name</name>
        <value>hdfs://master:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop/tmp</value>
    </property>  
</configuration>
[root@master ~]#

 1.7 -rm  <path> 表示删除文件

[root@master ~]# hadoop fs -rm /d1/core-site.xml
Warning: $HADOOP_HOME is deprecated.

Deleted hdfs://master:9000/d1/core-site.xml
[root@master ~]# hadoop fs -ls /d1
Warning: $HADOOP_HOME is deprecated.

Found 1 items
-rw-r--r--   1 root supergroup      71528 2014-07-31 07:48 /d1/ifconfig
[root@master ~]#

 

1.7 -rmr <path> 表示递归删除文件
[root@master ~]# hadoop fs -rmr hdfs://master:9000/*
Warning: $HADOOP_HOME is deprecated.

Deleted hdfs://master:9000/d1
Deleted hdfs://master:9000/usr
[root@master ~]# hadoop fs -ls /
Warning: $HADOOP_HOME is deprecated.

[root@master ~]# 



hadoop fs -rmr hdfs://master:9000/* 
上述操作是 递归删除hdfs根路径下的所有文件，  递归删除时，必须要带上全路径名称 上述命令中的*表示删除所有
 
1.8 查看所有命令写法：、
[root@master ~]# hadoop fs
Warning: $HADOOP_HOME is deprecated.

Usage: java FsShell
           [-ls <path>]
           [-lsr <path>]
           [-du <path>]
           [-dus <path>]
           [-count[-q] <path>]
           [-mv <src> <dst>]
           [-cp <src> <dst>]
           [-rm [-skipTrash] <path>]
           [-rmr [-skipTrash] <path>]
           [-expunge]
           [-put <localsrc> ... <dst>]
           [-copyFromLocal <localsrc> ... <dst>]
           [-moveFromLocal <localsrc> ... <dst>]
           [-get [-ignoreCrc] [-crc] <src> <localdst>]
           [-getmerge <src> <localdst> [addnl]]
           [-cat <src>]
           [-text <src>]
           [-copyToLocal [-ignoreCrc] [-crc] <src> <localdst>]
           [-moveToLocal [-crc] <src> <localdst>]
           [-mkdir <path>]
           [-setrep [-R] [-w] <rep> <path/file>]
           [-touchz <path>]
    ..........
 
1.9 具体某个命令帮助查看
[root@master ~]# hadoop fs -help put
Warning: $HADOOP_HOME is deprecated.

-put <localsrc> ... <dst>:      Copy files from the local file system 
                into fs.
 
2.0 查看hdfs文件夹大小的两种写法：
1 统计文件夹大小    单位是bytes   需要/1024/1024/1024 = GB
[root@chinadaas109 ~]# hdfs dfs -count -q  /gsinfo
none             inf            none             inf           10           82           16634317 /gsinfo
[root@chinadaas109 ~]# hdfs dfs -du -s /gsinfo
16634317  /gsinfo
 
3.0   集群间复制
hadoop distcp hdfs://source  hdfs://destination
 
分享到：
| hadoop_ssh简介
评论
发表评论

您还没有登录,请您登录后再发表评论

相关推荐

    Hadoop_HDFS安装和管理

    将`/home/hdfs/hdfsinstall/hadoop/conf/`中的文件拷贝到`hadoop-config`目录中。 6. 设置环境变量`HADOOP_CONF_DIR`: - 在`/home/hdfs/.bash_profile`中添加: ```shell HADOOP_CONF_DIR=/home/hdfs/...

    Ubuntu20.04搭建hadoop2.10.0集群.md

    ### Ubuntu20.04环境下Hadoop2.10.0集群搭建详解 #### 一、环境准备 本文档详细介绍了如何在Ubuntu20.04操作系统上搭建Hadoop2.10.0集群，包括环境配置、软件安装、网络设置、集群启动等多个方面。 ##### 1. ...

    hadoop2.6及hbase0.96伪分布式安装配置文件

    3. **Hadoop整合**：确保HBase知道Hadoop的配置，可以通过在`hbase-site.xml`中设置`hbase.rootdir`指向HDFS的路径，如`hdfs://localhost:9000/hbase`，并拷贝Hadoop的配置文件到HBase的conf目录。 4. **初始化...

    hadoop命令手册

    在Hadoop环境中，掌握相关命令是至关重要的，本文将详细介绍Hadoop的常用命令，帮助用户更好地管理和操作Hadoop集群。 1. **通用选项**： - `--config confdir`：设置配置文件目录，默认为`${HADOOP_HOME}/conf`。...

    拓思爱诺大数据-第二天Hadoop高级编程

    - **Hadoop Shell**：作为操作Hadoop集群的工具，Hadoop Shell提供了一系列用于文件管理、数据传输等功能的强大命令，是日常维护和开发工作中不可或缺的一部分。 - **HDPData文件夹**：这是每个Hadoop集群节点上的...

    大数据hadoop的暂时性的小总结.docx

    例如，通过`tar`命令解压，`yum -y install`安装依赖，修改`core-site.xml`、`hdfs-site.xml`等配置文件，设置HDFS的名称节点和数据节点路径，并配置Hadoop的环境变量。安装完成后，可以通过`...

    hadoop-spark配置文档1

    在分布式计算领域，Hadoop 和 Spark 是两个重要的组件，它们共同构建了一个高效、可扩展的数据处理框架。本篇主要介绍如何配置 Hadoop 和 Spark 环境，确保这两个组件能够协同工作。 一、SSH 配置 SSH (Secure ...

    Hadoop-Eclipse开发环境配置经验

    为验证配置是否成功，可以新建一个Map/Reduce工程，将WordCount程序的代码拷贝到项目中，并确保输入文件和输出目录在HDFS中存在和不存在。执行时选择`RunAs`—&gt;`Run on Hadoop`，选中新建的hadooplocation。作业...

    实验2-在Hadoop平台上部署WordCount程序-孙淼1

    4. **Hadoop联合部署**：理解Hadoop分布式文件系统（HDFS）和MapReduce模型的工作原理，安装和配置Hadoop集群，确保NameNode和DataNode之间的通信正常。 5. **SSH工具**：Secure Shell (SSH)用于在不同主机之间安全...

    hadoop-CDH4.6-install.docx

    - **HDFS (Hadoop Distributed File System)**：一种分布式文件系统，用于存储大量数据。 - **NameNode**：管理文件系统的命名空间和客户端对文件的访问。 - **DataNode**：存储实际的数据块。 - **Secondary ...

    大数据作业1

    这涉及到Hadoop的HDFS shell命令，如`hadoop fs -mkdir`、`hadoop fs -put`、`hadoop fs -ls`、`hadoop fs -get`等。 最后，作业还涉及到了Java环境的配置，学生需要在`.bashrc`文件中设置JAVA_HOME变量，并能通过...

    基于hadoop的hive数据仓库的配置

    ### 基于Hadoop的Hive数据仓库配置详解 #### 概述 本文档将详细介绍如何在Linux环境下搭建基于Hadoop的Hive数据仓库。Hive是一个建立在Hadoop之上的数据仓库工具，主要用于对存储在Hadoop文件系统中的大数据集进行...

    hadoop单结点配置

    启动Hadoop集群有两种方式：一是通过`sbin/start-dfs.sh`启动HDFS，再通过`sbin/start-yarn.sh`启动YARN（Yet Another Resource Negotiator）；二是使用`sbin/start-all.sh`一次性启动所有服务。在浏览器中，可以...

    hbase_libJar包

    但这仅仅是基础配置，为了让HBase能够正常运行，还需要配置其他环境变量，如`HADOOP_HOME`（指向Hadoop安装目录）和`ZOOKEEPER_HOME`（指向Zookeeper安装目录），因为HBase依赖于Hadoop的HDFS和Zookeeper进行协调和...

    HBase的安装、配置、管理与编程

    同时，将hadoop的hdfs-site.xml拷贝到hbase的conf目录下。确保ZooKeeper的zoo.cfg文件被添加到所有HBase节点的CLASSPATH中。此外，还需在conf/regionservers文件中列出所有region server节点。 管理HBase涉及到监控...

    hbase安装教程

    ln -s /path/to/hadoop/etc/hadoop/hdfs-site.xml /opt/hbase-1.2.6/conf/hdfs-site.xml ln -s /path/to/hadoop/etc/hadoop/core-site.xml /opt/hbase-1.2.6/conf/core-site.xml ``` **8. 远程拷贝到其他主机** - ...

    hbase-0.98.9部署

    总的来说，HBase-0.98.9的分布式部署涉及多方面的配置和设置，包括操作系统环境、Hadoop集成、ZooKeeper协作、节点间通信以及数据存储路径等，正确配置这些参数是确保HBase集群稳定运行的关键。在生产环境中，还需要...

Magicbox
Global site tag (gtag.js) - Google Analytics