`
chenhua_1984
  • 浏览: 1253858 次
  • 性别: Icon_minigender_1
  • 来自: 杭州
文章分类
社区版块
存档分类
最新评论

hadoop学习笔记之三：hadoop hdfs fs 指令学习

hdfs fs 指令 
阅读更多

查看指令参数：

 

[root@bigdata2 bin]# ./hadoop fs --help
           [-lsr <path>]
           [-du <path>]
           [-dus <path>]
           [-count[-q] <path>]
           [-mv <src> <dst>]
           [-cp <src> <dst>]
           [-rm [-skipTrash] <path>]
           [-rmr [-skipTrash] <path>]
           [-expunge]
           [-put <localsrc> ... <dst>]
           [-copyFromLocal <localsrc> ... <dst>]
           [-moveFromLocal <localsrc> ... <dst>]
           [-get [-ignoreCrc] [-crc] <src> <localdst>]
           [-getmerge <src> <localdst> [addnl]]
           [-cat <src>]
           [-text <src>]
           [-copyToLocal [-ignoreCrc] [-crc] <src> <localdst>]
           [-moveToLocal [-crc] <src> <localdst>]
           [-mkdir <path>]
           [-setrep [-R] [-w] <rep> <path/file>]
           [-touchz <path>]
           [-test -[ezd] <path>]
           [-stat [format] <path>]
           [-tail [-f] <file>]
           [-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]
           [-chown [-R] [OWNER][:[GROUP]] PATH...]
           [-chgrp [-R] GROUP PATH...]
           [-help [cmd]]

 做一些尝试

  

[root@bigdata2 bin]# ./hadoop fs -ls
Warning: $HADOOP_HOME is deprecated.

Found 1 items
drwxr-xr-x   - root supergroup          0 2014-11-27 16:20 /user/root/testhdfs
[root@bigdata2 bin]# ./hadoop fs -mkdir in
Warning: $HADOOP_HOME is deprecated.

[root@bigdata2 bin]# ./hadoop fs -lsr
Warning: $HADOOP_HOME is deprecated.

drwxr-xr-x   - root supergroup          0 2014-11-27 17:07 /user/root/in
-rw-r--r--   3 root supergroup         12 2014-11-27 17:07 /user/root/in/helloword.txt
drwxr-xr-x   - root supergroup          0 2014-11-27 17:09 /user/root/out
drwxr-xr-x   - root supergroup          0 2014-11-27 17:08 /user/root/out/helloword_20141127170832
-rw-r--r--   3 root supergroup          0 2014-11-27 17:08 /user/root/out/helloword_20141127170832/_SUCCESS
-rw-r--r--   3 root supergroup         12 2014-11-27 17:08 /user/root/out/helloword_20141127170832/part-r-00000
drwxr-xr-x   - root supergroup          0 2014-11-27 17:09 /user/root/out/helloword_20141127170921
-rw-r--r--   3 root supergroup          0 2014-11-27 17:09 /user/root/out/helloword_20141127170921/_SUCCESS
-rw-r--r--   3 root supergroup         12 2014-11-27 17:09 /user/root/out/helloword_20141127170921/part-r-00000
drwxr-xr-x   - root supergroup          0 2014-11-27 16:20 /user/root/testhdfs


[root@bigdata2 bin]# ./hadoop fs -du 
Warning: $HADOOP_HOME is deprecated.

Found 3 items
12          hdfs://bigdata2:9000/user/root/in
24          hdfs://bigdata2:9000/user/root/out
0           hdfs://bigdata2:9000/user/root/testhdfs


[root@bigdata2 bin]# ./hadoop fs -dus
Warning: $HADOOP_HOME is deprecated.

hdfs://bigdata2:9000/user/root  36

[root@bigdata2 bin]# ./hadoop fs -mv /ussr/root/testhdfs  /user/root/out
Warning: $HADOOP_HOME is deprecated.

mv: /ussr/root/testhdfs: No such file or directory
[root@bigdata2 bin]# ./hadoop fs -mv hdfs://bigdata2:9000/user/root/testhdfs hdfs://bigdata2:9000/user/root/out
Warning: $HADOOP_HOME is deprecated.

[root@bigdata2 bin]# ./hadoop fs -lsr
Warning: $HADOOP_HOME is deprecated.

drwxr-xr-x   - root supergroup          0 2014-11-27 17:07 /user/root/in
-rw-r--r--   3 root supergroup         12 2014-11-27 17:07 /user/root/in/helloword.txt
drwxr-xr-x   - root supergroup          0 2014-11-27 17:15 /user/root/out
drwxr-xr-x   - root supergroup          0 2014-11-27 17:08 /user/root/out/helloword_20141127170832
-rw-r--r--   3 root supergroup          0 2014-11-27 17:08 /user/root/out/helloword_20141127170832/_SUCCESS
-rw-r--r--   3 root supergroup         12 2014-11-27 17:08 /user/root/out/helloword_20141127170832/part-r-00000
drwxr-xr-x   - root supergroup          0 2014-11-27 17:09 /user/root/out/helloword_20141127170921
-rw-r--r--   3 root supergroup          0 2014-11-27 17:09 /user/root/out/helloword_20141127170921/_SUCCESS
-rw-r--r--   3 root supergroup         12 2014-11-27 17:09 /user/root/out/helloword_20141127170921/part-r-00000
drwxr-xr-x   - root supergroup          0 2014-11-27 16:20 /user/root/out/testhdfs


[root@bigdata2 bin]# ./hadoop fs -cp  hdfs://bigdata2:9000/user/root/out/testhdfs hdfs://bigdata2:9000/user/root/
Warning: $HADOOP_HOME is deprecated.

[root@bigdata2 bin]# ./hadoop fs -lsr 
Warning: $HADOOP_HOME is deprecated.

drwxr-xr-x   - root supergroup          0 2014-11-27 17:07 /user/root/in
-rw-r--r--   3 root supergroup         12 2014-11-27 17:07 /user/root/in/helloword.txt
drwxr-xr-x   - root supergroup          0 2014-11-27 17:15 /user/root/out
drwxr-xr-x   - root supergroup          0 2014-11-27 17:08 /user/root/out/helloword_20141127170832
-rw-r--r--   3 root supergroup          0 2014-11-27 17:08 /user/root/out/helloword_20141127170832/_SUCCESS
-rw-r--r--   3 root supergroup         12 2014-11-27 17:08 /user/root/out/helloword_20141127170832/part-r-00000
drwxr-xr-x   - root supergroup          0 2014-11-27 17:09 /user/root/out/helloword_20141127170921
-rw-r--r--   3 root supergroup          0 2014-11-27 17:09 /user/root/out/helloword_20141127170921/_SUCCESS
-rw-r--r--   3 root supergroup         12 2014-11-27 17:09 /user/root/out/helloword_20141127170921/part-r-00000
drwxr-xr-x   - root supergroup          0 2014-11-27 16:20 /user/root/out/testhdfs
drwxr-xr-x   - root supergroup          0 2014-11-27 17:16 /user/root/testhdfs


[root@bigdata2 bin]# ./hadoop fs -rmr /user/root/testhdfs
Warning: $HADOOP_HOME is deprecated.

Deleted hdfs://bigdata2:9000/user/root/testhdfs
[root@bigdata2 bin]# 

[root@bigdata2 bin]# ./hadoop fs -copyFromLocal  /root/software/hadoop-1.0.1/bin/start-all.sh  /user/root/out/testhdfs
Warning: $HADOOP_HOME is deprecated.

[root@bigdata2 bin]# ./hadoop fs -lsr 
Warning: $HADOOP_HOME is deprecated.

drwxr-xr-x   - root supergroup          0 2014-11-27 17:07 /user/root/in
-rw-r--r--   3 root supergroup         12 2014-11-27 17:07 /user/root/in/helloword.txt
drwxr-xr-x   - root supergroup          0 2014-11-27 17:15 /user/root/out
drwxr-xr-x   - root supergroup          0 2014-11-27 17:08 /user/root/out/helloword_20141127170832
-rw-r--r--   3 root supergroup          0 2014-11-27 17:08 /user/root/out/helloword_20141127170832/_SUCCESS
-rw-r--r--   3 root supergroup         12 2014-11-27 17:08 /user/root/out/helloword_20141127170832/part-r-00000
drwxr-xr-x   - root supergroup          0 2014-11-27 17:09 /user/root/out/helloword_20141127170921
-rw-r--r--   3 root supergroup          0 2014-11-27 17:09 /user/root/out/helloword_20141127170921/_SUCCESS
-rw-r--r--   3 root supergroup         12 2014-11-27 17:09 /user/root/out/helloword_20141127170921/part-r-00000
drwxr-xr-x   - root supergroup          0 2014-11-27 17:19 /user/root/out/testhdfs
-rw-r--r--   1 root supergroup       1166 2014-11-27 17:19 /user/root/out/testhdfs/start-all.sh

[root@bigdata2 bin]# ./hadoop fs -copyToLocal  /user/root/in/helloword.txt /root/
Warning: $HADOOP_HOME is deprecated.

[root@bigdata2 bin]# ls -l /root
total 128
-rw-------. 1 root root  1556 Feb 22  2014 anaconda-ks.cfg
drwxr-xr-x. 2 root root  4096 Mar 10  2014 bea
drwxr-xr-x. 2 root root  4096 Feb 23  2014 Desktop
drwxr-xr-x. 2 root root  4096 Feb 22  2014 Documents
drwxr-xr-x. 2 root root  4096 Feb 23  2014 Downloads
-rw-r--r--  1 root root    12 Nov 27 17:21 helloword.txt
-rw-r--r--. 1 root root 49565 Feb 22  2014 install.log
-rw-r--r--. 1 root root 10033 Feb 22  2014 install.log.syslog
drwxr-xr-x. 2 root root  4096 Feb 22  2014 Music
drwxr-xr-x. 3 root root  4096 Mar 10  2014 Oracle
drwxr-xr-x. 2 root root  4096 Feb 22  2014 Pictures
drwxr-xr-x. 2 root root  4096 Feb 22  2014 Public
drwxr-xr-x. 6 root root  4096 Nov 27 16:07 software
drwxr-xr-x. 2 root root  4096 Feb 22  2014 Templates
drwxr-xr-x  3 root root  4096 Nov 26 17:25 u
drwxr-xr-x. 2 root root  4096 Feb 22  2014 Videos
drwxr-xr-x  5 root root  4096 Nov 27 15:57 workspace
[root@bigdata2 bin]#

 

分享到：
| ERROR: transport error 202: gethostbynam ...
评论
发表评论

您还没有登录,请您登录后再发表评论

相关推荐

    最新Hadoop学习笔记

    **Hadoop学习笔记详解** Hadoop是一个开源的分布式计算框架，由Apache基金会开发，主要用于处理和存储海量数据。它的核心组件包括HDFS（Hadoop Distributed File System）和MapReduce，两者构成了大数据处理的基础...

    HADOOP学习笔记

    【HADOOP学习笔记】 Hadoop是Apache基金会开发的一个开源分布式计算框架，是云计算领域的重要组成部分，尤其在大数据处理方面有着广泛的应用。本学习笔记将深入探讨Hadoop的核心组件、架构以及如何搭建云计算平台。...

    Hadoop学习文档笔记，基本原理 HDFS

    在Java代码中，首先需要创建一个`Configuration`对象，并设置HDFS的默认名称服务地址，例如：`config.set("fs.default.name", "hdfs://192.168.146.130:9000");`，这里指定的是HDFS的NameNode地址。 2. **获取...

    hadoop3.1.3学习资料

    这个学习资料包含的"笔记"可能涵盖了Hadoop的核心组件、生态系统、安装配置以及实际操作等多个方面。以下是对Hadoop 3.1.3的一些关键知识点的详细说明： 1. **Hadoop核心组件**： - **HDFS（Hadoop Distributed ...

    Hadoop笔记（word版）.zip_Hadoop配置_大数据

    **HDFS基本操作指令**是Hadoop使用者必备的技能： 1. **数据上传**：使用`hadoop fs -put`命令将本地文件系统中的文件上传到HDFS。 2. **数据下载**：使用`hadoop fs -get`或`hadoop fs -copyToLocal`将HDFS中的...

    Hadoop Hive入门学习笔记.pdf

    ### Hadoop Hive 入门学习笔记 #### 一、Hadoop Hive 概述 Hadoop Hive 是一个基于 Hadoop 的数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的 SQL 查询功能，使得 Hadoop 上的数据可以被...

    hadoop学习笔记

    本学习笔记主要涵盖了Hadoop的基本概念、MapReduce计算模型以及HDFS分布式文件系统的深入解析，并对比了Hadoop与其他数据分析方式的区别，同时还涉及到了Hive作为数据仓库工具的简要介绍。 一、背景 随着互联网的...

    初识hadoop之hadoop 安装

    提供的文档`hadoop学习笔记.doc`可能包含了Hadoop的基础概念、操作指南、实战案例等，建议仔细阅读以深入了解Hadoop的用法和原理。 至此，你已经成功安装了Hadoop，并且具备了运行一个基本Hadoop集群的基础。接...

    Hadoop学习笔记

    在深入探讨Hadoop学习笔记之前，我们先了解一下Hadoop的核心组件和主要概念。Hadoop是一个开源框架，主要用于处理和存储大规模数据集。它基于Google的MapReduce编程模型和分布式文件系统GFS（Google File System）的...

    Hadoop大数据开发教程笔记软件.zip

    压缩包“Hadoop大数据开发教程笔记软件.zip”包含了一份详实的Hadoop学习资源，特别是针对基于Hadoop的大数据开发基础进行讲解。 Hadoop是一个开源框架，由Apache软件基金会维护，它设计用于处理和存储大量数据。其...

    VMware下完全分布式Hadoop集群安装笔记

    ### VMware下完全分布式Hadoop集群安装笔记 #### 一、准备工作与环境搭建 **1. 安装VMware** 在开始之前，首先需要一个虚拟化平台来模拟多台计算机之间的交互，这里选择的是VMware。根据您的操作系统选择合适的...

    hadoop3自学入门笔记(2)—— HDFS分布式搭建

    【Hadoop 3自学入门笔记(2)—— HDFS分布式搭建】 在学习Hadoop 3分布式文件系统（HDFS）的搭建过程中，首先要了解Hadoop 2与Hadoop 3的差异，特别是在端口配置方面。Hadoop 3相较于Hadoop 2在安全性、可扩展性和...

    vmware虚拟机下hadoop集群安装过程.pdf

    7. **验证安装**：通过Hadoop自带的命令行工具，如`hadoop fs -ls`检查HDFS是否工作正常，或运行MapReduce示例任务验证分布式计算功能。 通过以上步骤，你将在VMware虚拟机中成功搭建一个Hadoop集群，可用于学习、...

    大数据学习文档.docx

    【大数据学习文档】这篇文档是关于大数据学习的笔记，主要关注了Hadoop和Storm这两个重要的分布式计算框架。本文将详细解析Hadoop集群的安装、配置和启动过程。 首先，我们来了解一下Hadoop。Hadoop是一个开源的...

    hive入门文档笔记

    Hive 是一个构建在 Hadoop 之上的数据仓库工具，它通过提供 SQL 查询功能，使得用户可以更方便地处理存储在 Hadoop 分布式文件系统（HDFS）中的大规模数据集。Hive 的主要目标是让数据工作者能轻松地进行数据提取、...

    spark演示文档

    $ hadoop fs -put test.txt /tmp val rdd = sc.textFile("/tmp/test.txt") ``` ### RDD Transformation操作 1. **map操作**：将RDD中的每个元素应用一个函数，生成一个新的RDD。例如： ```scala val rdd = sc...

    hive操作命令大全.txt

    # 注意：若是外部表，则还需要删除文件(hadoop fs -rm -r -f hdfspath) alter table table_name drop if exists partitions (d=‘2016-07-01'); # 字段类型 # tinyint, smallint, int, bigint, float, decimal,...

Magicbox
Global site tag (gtag.js) - Google Analytics