`

03_hdfs操作

阅读更多

1.对hdfs操作的命令格式是hadoop fs
    1.1 -ls        <path>    表示对hdfs下一级目录的查看
    1.2 -lsr    <path>    表示对hdfs目录的递归查看
    1.3    -mkdir    <path>    创建目录
    1.4 -put    <src>    <des>    从linux上传文件到hdfs
    1.5 -get    <src>    <des>    从hdfs下载文件到linux
    1.6 -text    <path>    查看文件内容
    1.7 -rm        <path>    表示删除文件
    1.7 -rmr    <path>    表示递归删除文件
2.hdfs在对数据存储进行block划分时,如果文件大小超过block,那么按照block大小进行划分;不如block size的,划分为一个块,是实际数据大小。

*****PermissionDenyException  权限不足**********


Usage: java FsShell
           [-ls <path>]
           [-lsr <path>]
           [-du <path>]
           [-dus <path>]
           [-count[-q] <path>]
           [-mv <src> <dst>]
           [-cp <src> <dst>]
           [-rm [-skipTrash] <path>]
           [-rmr [-skipTrash] <path>]
           [-expunge]
           [-put <localsrc> ... <dst>]
           [-copyFromLocal <localsrc> ... <dst>]
           [-moveFromLocal <localsrc> ... <dst>]
           [-get [-ignoreCrc] [-crc] <src> <localdst>]
           [-getmerge <src> <localdst> [addnl]]
           [-cat <src>]
           [-text <src>]
           [-copyToLocal [-ignoreCrc] [-crc] <src> <localdst>]
           [-moveToLocal [-crc] <src> <localdst>]
           [-mkdir <path>]
           [-setrep [-R] [-w] <rep> <path/file>]
           [-touchz <path>]
           [-test -[ezd] <path>]
           [-stat [format] <path>]
           [-tail [-f] <file>]
           [-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]
           [-chown [-R] [OWNER][:[GROUP]] PATH...]
           [-chgrp [-R] GROUP PATH...]
           [-help [cmd]]

分享到:
评论

相关推荐

    hadoop详细视频教程

    03_hadoop_hdfs1分布式文件系统03 04_hadoop_hdfs1分布式文件系统04 05_hadoop_hdfs1分布式文件系统05 06_hadoop_hdfs1分布式文件系统06 07_hadoop_hdfs1分布式文件系统07 08_hadoop_hdfs1分布式文件系统08_io 09_...

    大数据实验2:熟悉常用的 HDFS 操作 答案

    HDFS 操作详解 大数据实验 2:熟悉常用的 HDFS 操作答案旨在帮助用户熟悉 HDFS 在 Hadoop 体系结构中的角色,并掌握使用 HDFS 操作常用的 Shell 命令和 Java API。 理解 HDFS 在 Hadoop 体系结构中的角色 HDFS...

    【HDFS篇03】HDFS客户端操作 --- 开发环境准备1

    通过以上四个步骤,你已经成功地设置了HDFS客户端开发环境,可以开始编写Java程序来执行读写和其他HDFS操作了。在实际应用中,你可能还需要处理更多细节,比如错误处理、权限控制、性能优化等。如果你在开发过程中...

    《Hadoop大数据开发实战》教学教案—03HDFS分布式文件系统.pdf

    Hadoop 大数据开发实战教学教案—03HDFS 分布式文件系统.pdf 本节课程主要介绍 HDFS 的概念、HDFS 存储架构和数据读写流程、HDFS 的 Shell 命令、Java 程序操作 HDFS、Hadoop 序列化、Hadoop 小文件处理、通信机制 ...

    【IT十八掌徐培成】Hadoop第03天-03.hdfs FileSystem API.zip

    在这个"【IT十八掌徐培成】Hadoop第03天-03.hdfs FileSystem API.zip"压缩包中,他主要探讨了Hadoop的分布式文件系统(HDFS)的FileSystem API,这是Hadoop编程中的重要部分。 HDFS是Hadoop的核心组件,设计为高度...

    shizhan_03_hadoop

    学习者将了解如何使用HDFS API进行文件的上传、下载和操作。 2. MapReduce:Hadoop的并行计算模型,包括Map阶段和Reduce阶段。学习者会学习如何编写Map和Reduce函数来处理数据。 3. YARN(Yet Another Resource ...

    hdfs的高可用搭建

    - hadoop03 (dn): DataNode + ZooKeeper + QJM 2. **软件规划**: - JDK 1.7及以上版本。 - 关闭系统防火墙。 - SSH免密码访问配置,确保各节点之间可以无障碍通信。 3. **ZooKeeper集群**:假设已有一个可用的...

    hdfs+spark安装指南

    ### HDFS + Spark 安装部署知识点 #### HDFS安装部署 ##### 目的 本文档旨在指导读者完成Hadoop伪分布式环境下HDFS的安装与部署。通过本指南的学习,您将能够掌握如何搭建一个基本的HDFS集群,并了解相关的配置步骤...

    完整版大数据云计算课程 Hadoop数据分析平台系列课程 Hadoop 03 HDFS 共44页.rar

    3. **读写流程**:分析HDFS的读取和写入过程,阐述客户端如何与NameNode交互获取数据位置,以及如何通过DataNode进行数据传输,同时讨论HDFS的文件追加和修改操作。 4. **容错与恢复**:深入探讨HDFS的故障检测、...

    第03节:hadoop精讲之hdfs详解.rar

    在IT行业中,Hadoop是一个广泛使用的开源框架,主要用于大数据处理和分析。...通过学习“第03节:hadoop精讲之hdfs详解.pdf”这份资料,你将能深入了解HDFS的工作机制,提升在大数据领域的专业素养。

    03_Hive.docx

    7. **复制表结构**:`create table student03 like student;` 8. **删除表**:`drop table if exists student;` 9. **清空表内容**(保留表结构):`truncate table student;` 10. **加载数据**:`load data local ...

    【IT十八掌徐培成】Hadoop第03天-04.hdfs FileSystem API-write.zip

    本资源"【IT十八掌徐培成】Hadoop第03天-04.hdfs FileSystem API-write.zip"聚焦于Hadoop中的HDFS(Hadoop Distributed File System)FileSystem API的写入操作。HDFS是Hadoop的核心组成部分,它是一个分布式文件...

    hadoop测试(1)---HDFS文件操作 完整测试代码

    hadoop测试(1)---HDFS文件操作 完整测试代码, 相关文章:http://www.cnblogs.com/yinpengxiang/archive/2011/07/03/2096605.html

    完整版大数据云计算课程 Hadoop数据分析平台系列课程 Hadoop 03 HDFS 共44页.pptx

    1. **HDFS(Hadoop Distributed File System)**:HDFS是Hadoop的核心组件,设计为存储和处理大规模数据集。其特点是硬件错误容忍、流式数据访问、简单一致性模型。文件在HDFS中一旦写入,就不能修改,确保数据的...

    《Hadoop3.X大数据开发实战(视频教学版)》随书示例代码

    首先,`01_hdfs_demo`是关于Hadoop分布式文件系统(HDFS)的示例,它展示了如何在HDFS上进行基本的文件操作,如上传、下载、查看和删除文件。学习这部分可以了解HDFS的工作原理以及如何利用HDFS进行大规模数据存储。...

    HDFS读写机制.docx

    在HDFS中,为了简化文件管理操作,可以定义一系列基础的API接口。例如,以下是一个示例性的`HdfsFileService`接口: ```java public interface HdfsFileService { void mkdirs(String path) throws Exception; // ...

    【IT十八掌徐培成】Hadoop第03天-05.hdfs FileSystem API-read-filestatus.zip

    通过观看“IT十八掌徐培成”课程中的“Hadoop第03天-05.hdfs FileSystem API-read-filestatus.avi”视频,你可以更直观地了解这些概念和实践操作。视频可能涵盖了如何在实际环境中使用这些API,以及它们在大数据处理...

    03_尚硅谷大数据技术之SparkStreaming1

    处理结果可以存储在多种系统中,包括 HDFS 和数据库。 **核心概念:DStream** DStream(Discretized Stream)是 Spark Streaming 的核心抽象,代表随着时间推移连续接收的数据流。它实际上是由一系列连续的 RDD...

Global site tag (gtag.js) - Google Analytics