-mkdir 在HDFS创建目录 hdfs dfs -mkdir /data
-ls 查看当前目录 hdfs dfs -ls /
-ls -R 查看目录与子目录
-put 上传一个文件 hdfs dfs -put data.txt /data/input
-moveFromLocal 上传一个文件,会删除本地文件:ctrl + X
-copyFromLocal 上传一个文件,与put一样
-copyToLocal 下载文件 hdfs dfs -copyToLocal /data/input/data.txt
-get 下载文件 hdfs dfs -get /data/input/data.txt
-rm 删除文件 hdfs dfs -rm /data/input/data.txt
-getmerge 将目录所有的文件先合并,再下载
-cp 拷贝: hdfs dfs -cp /data/input/data.txt /data/input/data01.txt
-mv 移动: hdfs dfs -mv /data/input/data.txt /data/input/data02.txt
-count 统计目录下的文件个数
-text、-cat 查看文件的内容 hdfs dfs -cat /data/input/data.txt
-balancer 平衡操作
分享到:
相关推荐
HDFS 基本操作详解 HDFS(Hadoop Distributed File System)是 Hadoop 生态系统中的一个核心组件,负责存储和管理大规模数据。作为一个分布式文件系统,HDFS 提供了高可靠性、可扩展性和高性能的存储解决方案。本文...
本文将深入探讨在搭建好Hadoop环境后,如何使用Eclipse进行HDFS的基本操作。 首先,我们要理解HDFS的基本概念。HDFS是一种分布式文件系统,它将大型文件分割成块,并将这些数据块分散存储在集群中的多台服务器上,...
本文将详细讲解如何使用Java API进行HDFS的基本操作,包括增、删、查等常见任务。 首先,理解HDFS是至关重要的。HDFS是Apache Hadoop项目的一部分,是一个高度容错性的分布式文件系统,设计用于跨大量廉价硬件节点...
在这个“HDFS实例基本操作”中,我们将深入探讨如何在已经安装好的HDFS环境中执行基本操作,包括文件上传、下载以及创建文件夹。 一、HDFS的基本架构 HDFS基于主从结构,主要由NameNode和DataNode组成。NameNode...
本文将详细介绍HDFS的Shell操作,主要涵盖基本语法、常用命令以及其用法。 首先,HDFS的Shell操作有两种基本语法,即`hadoop fs`和`hdfs dfs`,两者功能相同,但`hadoop fs`更推荐使用。这些命令可以用来执行各种...
本案例将详细介绍Hadoop的一些基本应用,包括MapReduce、单词统计、HDFS的基本操作、web日志分析以及Zookeeper的使用,同时也涵盖了Hive的简单操作。 1. **MapReduce**:MapReduce是Hadoop处理大规模数据的核心组件...
3. **HDFS(Hadoop Distributed File System)基本操作**:HDFS是Hadoop的数据存储系统,提供高容错性和高吞吐量的数据访问。学习HDFS的基本操作,如上传、下载、查看文件列表、删除文件等,是掌握Hadoop的基础。...
首先,我们需要理解HDFS的基本操作,如上传文件、追加内容和覆盖文件。这些操作在大数据处理场景中至关重要,因为它们允许我们高效地管理和操作存储在分布式环境中的数据。 1. **上传文件**:在Java代码中,我们...
1. `hdfs dfs -ls`: 此命令用于列出指定路径下的文件和目录,基本形式是`hdfs dfs -ls <path>`。添加 `-d` 参数可以显示隐藏文件,而 `-R` 参数则会递归列出所有子目录的内容。 2. `hdfs dfs -du`: 该命令统计目录...
内容概要:本文介绍了HDFS基本操作指南,详细地介绍了Shell命令的运用,并引导读者如何构建HDFS相关软件工具链,如Maven配置、IDEA环境搭建、目录及文件操作流程,并最后提供了一个关于编写HDFS读写文件的程序实例,...
17. HDFS基本操作:HDFS作为分布式文件系统,具有自己的命令集,用于文件的上传、下载、删除、查看等基本操作。 以上步骤详细地描述了Linux单机环境下HDFS伪分布式集群从准备到配置再到启动的完整过程,每一个步骤...
**HDFS基本操作** 1. **初始化HDFS**: 在开始任何操作之前,你需要确保Hadoop环境已经正确配置并启动了NameNode和DataNode。启动HDFS可以通过执行`start-dfs.sh`脚本完成。 2. **文件上传**:使用`hadoop fs -put`...
这些命令展示了HDFS的基本读写操作。 在Java编程实现部分,学生通过`org.apache.hadoop.conf.Configuration`,`org.apache.hadoop.fs.FileSystem`和`org.apache.hadoop.fs.Path`等类,实现了文件存在性判断和本地...
【Hadoop基本操作详解】 Hadoop是一个开源框架,主要...总之,掌握Hadoop的HDFS基本操作是进入大数据世界的关键一步,这不仅可以帮助你管理和操作数据,也为后续深入学习MapReduce、YARN等Hadoop组件打下坚实基础。
了解HDFS的基础知识是掌握大数据技术的基础,本次上机练习旨在帮助学生熟悉HDFS的基本操作,包括上传、下载、复制、删除文件等操作。通过本次上机练习,学生可以更好地理解HDFS在Hadoop体系结构中的角色,并掌握HDFS...
通过这些API,我们可以实现数据的上传、下载、查找、删除等基本操作,以及更复杂的文件系统操作。 在实际编程中,我们通常会创建一个Java类,导入Hadoop的相关库,然后使用FileSystem类和Path类等来执行HDFS操作。...
HDFS 提供了一系列基本文件命令,用于管理和操作 HDFS 文件系统。这些命令包括: 1. mkdir:创建一个新的目录。 2. put:将本地文件上传到 HDFS。 3. get:从 HDFS 下载文件到本地文件系统。 4. rm:删除 HDFS 文件...
熟悉hdfs命令行基本操作 二、实验环境 Windows 10 VMware Workstation Pro虚拟机 Hadoop环境 Jdk1.8 三、实验内容 1:hdfs常见命令: (1)查看帮助:hdfs dfs -help (2)查看当前目录信息:hdfs dfs -ls / (3...
通过本实验,我们学习了HDFS的基本概念和常用的操作命令,熟悉了HDFS在Hadoop体系结构中的角色,并且掌握了HDFS的Java API。这些知识将帮助我们更好地理解和使用HDFS在数据存储和处理中的应用。