HDFS 常用的文件操作命令
1.-cat
使用方法:hadoop fs -cat URI
说明:将路径指定的文件输出到屏幕
示例: hadoop fs -cat hdfs://host1:port1/file
hadoop fs -cat file:///file3
2.-copyFromLocal
使用方法:hadoop fs -copyFromLocal <localsrc>URI
说明: 将本地文件复制到 HDFS 中。
3.copyToLocal
使用方法:hadoop fs -copyToLocal <localsrc>URI
说明: 将一个文件从 HDFS 系统中复制到本地文件
4.-cp
使用方法:hadoop fs -cp URI
说明:将文件从源路径复制到目标路径。这个命令可以复制多个源路径,但是目标路径必须
是一个目录
示例: hadoop fs -cp /user/file /uesr/files
Hadoop fs -cp /user/file1 /user/files /user/dir
5.-du
使用方法:hadoop fs -du URI
说明: 显示目录中所有文件大小,或者指定一个文件时,显示此文件大小
示例: hadoop fs -du /user/dir1
Hadoop fs -du hdfs://host:port/user/file
6.-dus
使用方法:hadoop fs -dus <ars>
说明: 显示目标文件大小
7.-expunge
使用方法:hadoop fs -expunge
说明: 用于清空回收站
8.-get
使用方法:hadoop fs -get <locaodst>
说明:复制文件到本地文件系统。
示例: hadoop fs -get /user/file localfile
Hadoop fs -get hdfs://host:port/file localfile
9.-ls
使用方法:hadoop fs -ls <arg>
说明:浏览本地文件,并按如下格式返回文件信息
文件名<副本数> 文件大小 修改日期 权限 用户 ID/组 ID
如果浏览的是一个木渎,则返回其子文件的一个列表,信息如下:
目录名<dir> 修改日期 修改时间 权限 用户 ID/组 ID
示例: hadoop fs -ls /user/file
Hadoop fs -ls hdfs://host:port/user/dir
10.-lsr
使用方法:hadoop fs -lsr
说明: 递归第查阅文件内容
11.-mkdir
使用方法:hadoop fs -mkdir<path>
说明: 创建对应的文件目录,并直接创建相应的父目录
示例: hadoop fs -mkdir /user/dir1/dir2/dir3/file
Hadoop fs -mkdir hdfs://host:port/user/dir
12.-mv
使用方法:hadoop fs -mv URI <dest>
说明: 将源文件移动到目标路径,这目标路径可以有多个,不允许在不同文件系统移动。
示例: hadoop fs -mv /user/file1 /user/file2
Hadoop fs -mv hdfs://host:port/file1 hdfs://host:prot/file2
13.-put
使用方法:hadoop fs -put<localsrc> <dst>
说明: 从本地文件系统复制单个或多个源路径到目标文件系统。
示例: hadoop fs -put localfile /user/file
hadoop fs -put localfile hdfs://host:port/user/file
14.-rm
使用方法: hadoop fs -rm URI
说明:删除指定的文件,且要求非空的目录和文件。
示例: hadoop fs -rm hdfs://host:port/file
15.-rmr
使用方法: hadoop fs -rmr URI
说明:递归地删除指定文件中的空目录。
16.-Setrep
使用方法: hadoop fs -setrep [R] <path>
说明: 改变一个副本复制份数
示例: hadoop fs -setrep -w 3 -R /user/file
17.-Test
使用方法:hadoop fs -test -[ezd] URI
说明: 使用 e z d 对文件进行检查
-e 检查文件是否存在,若存在返回值为 0;
-z 检查文件是否为 0 字节,如果是则返回 0;
-d 检查路径是否为目录,如果是则返回 1,否则返回 0
18.-text
使用方法:hadoop fs -text <src>
说明:将源文件输出为文本格式,运行的格式是 zip 以及 Text 类
以上是 HDFS 中使用命令行对 HDFS 中文件进行操作,与一般操作命令类似,例如我们
将某一个文件从本地的文件系统复制到 HDFS 中。可以通过执行以下命令进行操作:
$ hadoop fs -copyFromLocal /user/localFile.txt sample.txt
此部分代码通过调用命令 fs,指定执行脚本命令-copyFromLocal,将本地文 localFile.txt
复制到运行在 localhost 上的 HDFS 文件系统中。
- 浏览: 1053718 次
- 性别:
- 来自: 上海
文章分类
- 全部博客 (1441)
- 软件思想&演讲 (9)
- 行业常识 (250)
- 时时疑问 (5)
- java/guava/python/php/ruby/R/scala/groovy (213)
- struct/spring/springmvc (37)
- mybatis/hibernate/JPA (10)
- mysql/oracle/sqlserver/db2/mongdb/redis/neo4j/GreenPlum/Teradata/hsqldb/Derby/sakila (268)
- js/jquery/jqueryUi/jqueryEaseyUI/extjs/angulrJs/react/es6/grunt/zepto/raphael (81)
- ZMQ/RabbitMQ/ActiveMQ/JMS/kafka (17)
- lucene/solr/nuth/elasticsearch/MG4J (167)
- html/css/ionic/nodejs/bootstrap (19)
- Linux/shell/centos (56)
- cvs/svn/git/sourceTree/gradle/ant/maven/mantis/docker/Kubernetes (26)
- sonatype nexus (1)
- tomcat/jetty/netty/jboss (9)
- 工具 (17)
- ETL/SPASS/MATLAB/RapidMiner/weka/kettle/DataX/Kylin (11)
- hadoop/spark/Hbase/Hive/pig/Zookeeper/HAWQ/cloudera/Impala/Oozie (190)
- ios/swift/android (9)
- 机器学习&算法&大数据 (18)
- Mesos是Apache下的开源分布式资源管理框架 (1)
- echarts/d3/highCharts/tableau (1)
- 行业技能图谱 (1)
- 大数据可视化 (2)
- tornado/ansible/twisted (2)
- Nagios/Cacti/Zabbix (0)
- eclipse/intellijIDEA/webstorm (5)
- cvs/svn/git/sourceTree/gradle/jira/bitbucket (4)
- jsp/jsf/flex/ZKoss (0)
- 测试技术 (2)
- splunk/flunm (2)
- 高并发/大数据量 (1)
- freemarker/vector/thymeleaf (1)
- docker/Kubernetes (2)
- dubbo/ESB/dubboX/wso2 (2)
最新评论
发表评论
-
CDH与原生态hadoop之间的区别
2017-07-26 12:45 996需要认识的几个问题 ------------------- ... -
Cloudera的CDH和Apache的Hadoop的区别
2017-07-26 12:49 578目前而言,不收费的Hadoop版本主要有三个(均是国外厂商) ... -
大数据、云计算系统高级架构师课程学习路线图
2017-07-24 17:10 600大数据、云计算系统高级架构师课程学习路线图 大数据 ... -
Oozie简介
2017-07-24 12:17 1068在Hadoop中执行的任务有时候需要把多个Map/Reduc ... -
清理ambari安装的hadoop集群
2017-07-24 11:29 929本文针对redhat或者centos 对于测试集群,如果通 ... -
hawk大数据基础知识总结(2)
2017-05-13 15:13 514hawk 英[hɔ:k] 美[hɔk] n. 鹰; 霍克; ... -
hawk大数据基础知识总结(1)
2017-05-13 14:41 797一、大数据概述 1.1大 ... -
ambari是什么
2017-05-11 19:52 650Apache Ambari是一种基于Web的工具,支持Apa ... -
数据仓库中的Inmon与Kimball架构之争
2017-05-11 13:40 699对于数据仓库体系结构的最佳问题,始终存在许多不同的看法,甚至 ... -
Hive的meta 数据支持以下三种存储方式
2017-05-04 13:48 907测试环境下Hive总出问题 ... -
大数据要学习知识
2017-05-02 17:18 49301 技术层面 1.紧贴 ... -
Spark Streaming简介
2017-05-02 16:28 7481.1 概述 Spark Streaming 是Spark ... -
pentaho套件
2017-04-28 15:52 836有人统计过,在整个数据分析过程里,收集、整理数据的工作大致占全 ... -
Impala:新一代开源大数据分析引擎
2017-04-22 10:48 731大数据处理是云计算中非常重要的问题,自Google公司提出M ... -
Weka是什么
2017-04-10 13:17 1073Weka的全名是怀卡托智 ... -
解密Apache HAWQ ——功能强大的SQL-on-Hadoop引擎
2017-04-10 12:04 842一、HAWQ基本介绍 HAWQ ... -
Kettle的使用
2017-04-06 12:11 600Kettle是一款国外开源 ... -
clouder manager端口7180没有打开为什么
2017-03-27 10:56 1186修改 clouder-manager.repo新建内容我们需要 ... -
Impala与Hive的比较
2017-03-19 13:09 7901. Impala架构 Impala是Clo ... -
Cloudera Manager、CDH零基础入门、线路指导
2017-03-19 12:53 1269问题导读:1.什么是cloudera CM 、CDH?2.C ...
相关推荐
文档详细的讲述了Hadoop中HDFS文件操作命令和HDFS编程
本实验报告主要关注HDFS的常用操作命令,这些命令是管理员和数据分析师日常工作中不可或缺的工具。 实验开始时,通过执行`start-dfs.sh`命令启动HDFS服务。这是在Hadoop集群中启动所有DataNode和NameNode节点的关键...
HDFS 提供了一系列基本文件命令,用于管理和操作 HDFS 文件系统。这些命令包括: 1. mkdir:创建一个新的目录。 2. put:将本地文件上传到 HDFS。 3. get:从 HDFS 下载文件到本地文件系统。 4. rm:删除 HDFS 文件...
二、文件操作命令 1. 创建文件:使用echo命令将字符串重定向到文件,例如echo "hello leonarding" > test1.txt 2. 查看文件内容:使用cat命令查看文件的内容,例如cat test1.txt 3. 拷贝文件:使用put命令将文件从...
实验二:“熟悉常用的HDFS操作”旨在帮助学习者深入理解Hadoop分布式文件系统(HDFS)在大数据处理中的核心地位,以及如何通过Shell命令和Java API进行高效操作。HDFS在Hadoop架构中扮演着存储大数据的核心角色,为...
在本实验中,我们将学习HDFS的基本概念和常用的操作命令。 HDFS概述 HDFS是Hadoop生态系统中的分布式文件系统,旨在提供高可扩展性、可靠性和高性能的数据存储解决方案。HDFS具有以下特点: * 分布式存储:HDFS将...
2. HDFS API:通过FSDataInputStream,可以读取HDFS文件并写入本地文件系统。 四、HDFS的文件创建与删除 1. 创建文件夹:使用`hadoop fs -mkdir`命令创建目录,如`hadoop fs -mkdir /myfolder`。 2. 删除文件:...
"厦门大学-林子雨-大数据技术基础-第3章 分布式文件系统HDFS-上机练习-熟悉常用的HDFS操作" HDFS(Hadoop Distributed File System)是Hadoop生态系统中的核心组件之一,它是基于分布式存储技术的文件系统,旨在...
通过 Shell 命令,可以对 HDFS 进行文件操作,例如上传文件、下载文件、删除文件等。 Java 程序操作 HDFS Java 程序操作 HDFS 是使用 HDFS 的一种方式。通过 Java API,可以对 HDFS 进行文件操作,例如上传文件、...
6. 文件操作:实现文件的创建和删除。创建时,若父目录不存在则自动创建;删除时,检查文件是否存在。 7. 目录操作:实现目录的创建和删除。创建时,若需创建的目录的父目录不存在,则自动创建;删除时,允许用户...
### Hadoop HDFS 文件系统命令操作详解 #### HDFS 概念与组成 **1.1 概念** HDFS,即 Hadoop Distributed File System,是一种分布式文件系统,主要用于存储大规模数据集。它通过目录树结构来组织文件,并且是由...
二是通过Hadoop提供的Java API实现对HDFS文件的增删查改等操作。 #### 实验目的 1. **理解HDFS的角色**:HDFS作为Hadoop的核心组件之一,主要负责存储海量数据。理解其在Hadoop生态中的位置对于掌握整个大数据处理...
HDFS Shell命令是Hadoop提供的用于管理和操作HDFS文件系统的命令行工具。通过这些命令,用户可以直接在终端中对HDFS进行各种操作,包括文件的上传下载、文件夹的创建删除等。 - **文件命令** - `hadoop fs -put ...
Shell命令和java两种方式完成了常用的HDFS操作,有源代码及运行结果截图 (1)向HDFS中上传任意文本文件,如果指定的文件在HDFS中已经存在,则由用户来指定是追加到原有文件末尾还是覆盖原有的文件 (2)从HDFS中...
- **文件操作**:HDFS提供了类似Unix的Shell操作接口,支持文件操作命令,但不直接支持Windows系统的操作方式。 综上所述,HDFS通过其独特的文件分块存储机制和心跳机制等关键技术,实现了对大规模数据集的高效存储...
总的来说,这个实验旨在让学生熟悉Hadoop生态系统中的基本文件操作,包括上传、追加、覆盖文件,以及流式读取文件内容,这些都是进行大数据分析和处理时必不可少的技能。通过这样的实践,学习者可以更好地理解和掌握...
适合刚接触hadoop的学生或小白,内容包括HDFS shell操作及HDFS Java API编程 有图片有代码
4. **编写Hadoop程序**:使用Eclipse创建Java项目,导入Hadoop相关的库(这些库通常可以从Hadoop的lib目录下找到),编写读写HDFS文件的代码。 5. **测试HDFS操作**:通过Eclipse内置的HDFS浏览器或者在代码中调用...
【大数据HDFS常用操作】 Hadoop分布式文件系统(HDFS)是大数据处理中的核心组件,提供了高容错、高吞吐量的数据存储能力。本文将详细介绍HDFS的一些常见操作,帮助用户更好地理解和使用HDFS。 1. **列出文件列表*...