`

hadoop 基本文件操作命令

阅读更多
1.将本地文件拷贝到 hdfs 文件系统中

bin/hadoop fs -copyFromLocal /server/bin/nutch/urls/url.txt   urls

2.将hdfs中的文件拷贝到本地路径

bin/hadoop fs -copyToLocal  urls(hdfs文件)  /opt/index (本地路径)

2.查看hdfs文件系统内文件列表

bin/hadoop dfs -ls

3.删除hdfs文件系统中的文件

bin/hadoop dfs -rmr urls

4.进入hdfs 目录

bin/hadoop fs -ls /user/admin/aaron

5. 创建目录

bin/hadoop fs -mkdir /user/suse/newDir

6.删除文件

bin/hadoop fs -rm /user/suse/crawl/needDelete

7.删除目录下所有文件

bin/hadoop fs -rmr /user/suse/

8.查看文件内容

bin/hadoop fs –cat /user/suse/newFile



2
11
分享到:
评论
1 楼 在水伊方 2011-08-18  
顶你,虽然看不懂

相关推荐

    hadoop基本操作.docx

    【Hadoop基本操作详解】 Hadoop是一个开源框架,主要用于存储和处理大数据。其核心组成部分包括分布式文件系统HDFS(Hadoop Distributed File System)和MapReduce计算模型。在Hadoop环境中,熟练掌握HDFS的基本...

    hadoop-eclipse-plugin-1.1.1, hadoop基本文件操作

    3. **Hadoop Shell**:这里提到的`hadoop shell .txt`可能是一个文档,详细介绍了如何使用Hadoop的命令行工具,如`hadoop fs`命令,进行文件操作,集群管理等任务。这对于日常的Hadoop运维和开发工作是非常实用的。 ...

    实验4:hadoop文件上传.docx

    4. core-site.xml 配置文件:core-site.xml 文件是 Hadoop 的配置文件,用于配置 Hadoop 的基本参数,如文件系统的默认值等。 5. HDFS API:HDFS API 提供了对 HDFS 的访问接口,包括文件上传、下载、删除等操作。...

    Hadoop HDFS分布式文件系统 常用命令汇总

    二、文件操作命令 1. 创建文件:使用echo命令将字符串重定向到文件,例如echo "hello leonarding" > test1.txt 2. 查看文件内容:使用cat命令查看文件的内容,例如cat test1.txt 3. 拷贝文件:使用put命令将文件从...

    Hadoop操作命令

    对于日常管理和维护HDFS中的文件和目录,掌握一些基本的操作命令至关重要。 本文将详细介绍HDFS中常用的命令,包括查看文件列表、文件移动、复制、删除以及上传下载等功能,并给出具体的使用示例。 #### 二、查看...

    Hadoop命令

    通过掌握这些基本的Hadoop命令,你可以有效地管理和操作Hadoop集群,进行大数据的存储和处理。实际工作中,还需要结合具体业务需求,学习如何编写MapReduce程序,优化性能,以及处理各种异常情况。希望这些信息对你...

    HadoopHA集群配置文件

    1. `core-site.xml`: 这个文件包含了Hadoop核心服务的基本配置,比如命名空间的默认值、文件系统默认的URI等。其中,`fs.defaultFS`属性非常重要,它定义了Hadoop应用程序访问HDFS的默认命名节点地址,例如设置为`...

    Hadoop fs命令详解.docx

    Hadoop fs命令是Hadoop分布式文件系统(HDFS)的命令行接口,提供了丰富的文件操作命令,方便用户管理和维护HDFS文件系统。本文将详细介绍Hadoop fs命令的使用方法和实践操作。 基本命令 hadoop fs命令的基本语法...

    实验2 Hadoop基本操作.docx

    【Hadoop基本操作详解】 Hadoop是一个开源框架,主要用于处理和存储大规模数据,尤其适合非结构化的分布式数据。它的核心组件主要包括Hadoop MapReduce和Hadoop Distributed File System(HDFS)。MapReduce是处理...

    Ubuntu16.04搭建Hadoop2.6.7-纯命令.docx

    通过这个实验,学生不仅可以了解Hadoop的基本操作,还能深入理解MapReduce和Spark的计算模型,以及大数据处理的整个体系架构。同时,通过对实验结果的分析,可以探讨分布式计算在实际应用中的优势和局限,为未来的...

    分布式文件系统Hadoop

    "hadoop命令手册"是Hadoop用户操作的必备参考,包含了Hadoop命令行工具的使用方法,如HDFS命令、YARN命令、MapReduce命令等,这对于日常管理和维护Hadoop集群至关重要。 "Hadoop开发者入门专刊"是针对初学者的教程...

    hadoop 命令大全

    - **查看所有支持的命令**:命令`$bin/hadoop dfsadmin -help`能够列出所有当前支持的命令,例如`-report`用于报告HDFS的基本统计信息。 以上就是Hadoop命令大全的主要内容,通过对这些命令的学习和掌握,可以帮助...

    熟悉常用的Linux操作和Hadoop操作

    通过本次实验,可以掌握Linux环境下文件与目录的基本管理命令,以及如何在Hadoop分布式文件系统(HDFS)中进行文件的操作。 #### 实验平台 - **操作系统**:Linux - **Hadoop版本**:2.7.1 #### 实验内容和要求 ##...

    Hadoop(HDFS文件系统)命令操作

    ### Hadoop HDFS 文件系统命令操作详解 #### HDFS 概念与组成 **1.1 概念** HDFS,即 Hadoop Distributed File System,是一种分布式文件系统,主要用于存储大规模数据集。它通过目录树结构来组织文件,并且是由...

    hadoop分布式文件系统搭建

    - 格式化完成后,可以使用`hadoop fs -ls /`命令检查HDFS根目录下的文件和目录。 #### 二、配置Hive 配置完Hadoop后,接下来需要配置Hive,以便能够进行数据处理和分析。 ##### 1. 下载Hive和MySQL安装包并解压 ...

    hadoop基本命令

    Hadoop 提供了多种命令来管理和维护 Hadoop 集群,包括文件系统操作、作业管理、集群管理等。在本资源摘要信息中,我们将详细介绍 Hadoop 的基本命令。 文件系统操作 1. 列出所有 Hadoop Shell 支持的命令:`$ bin...

    hadoop的所有命令

    `hadoop dfsadmin -report`命令用于报告HDFS的基本统计信息。而`hadoop dfsadmin -decommission datanodename`命令则用于使Datanode节点退役。 管理员还可以使用`hadoop dfsadmin -finalizeUpgrade`命令在升级之前...

    hadoop2部署配置文件

    7. **core-site.xml**: 核心Hadoop配置文件,包含了Hadoop系统的基本属性,如默认文件系统、I/O操作的缓冲区大小等。其中,`fs.defaultFS`属性指定了HDFS的URI,是所有Hadoop操作的基础。 8. **mapred-site.xml**: ...

    Hadoop 2.2.0 配置文件

    - `etc/hadoop/core-site.xml`:这个文件配置了Hadoop的基本属性,如命名空间的默认值、I/O设置等。其中最重要的属性可能是`fs.defaultFS`,它指定了HDFS的默认文件系统。 - `etc/hadoop/hdfs-site.xml`:HDFS的...

Global site tag (gtag.js) - Google Analytics