1、思考,自己设计一分布式文件系统?
块(block)
流水线(pipeline)
2、分布式文件系统
通透性、容错(备份)
适用于一次写入多次查询的情况,不支持并发写情况,小文件不合适。
3、HDFS的相关命令
3.1、查看命令:
hadoop fs -ls hdfs://hostname:9000/
3.2、上传命令
hadoop fs -copyFromLocal 本地文件 hdfs文件
3.3、查看文件命令
hadoop fs -cat hdfs文件 | more
3.4、统计文件、文件夹数量
hadoop fs -count /
PS:根目录算一个文件夹
3.5、下载hdfs文件到本地
hadoop fs -get hdfs文件路径 本地路径
3.6、列出HDFS文件
hadoop fs -ls -R -h hdfs路径
3.7、在HDFS上创建目录
hadoop fs mkdir 目录
3.8、删除HDFS上的文件
hadoop fs -rm HDFS上的文件
如果要删除文件夹,则:
hadoop fs -rm -r HDFS上的文件夹
3.9、使用chmod修改文件权限
hadoop fs -chmod a+x hdfs文件
hadoop fs -chmod -R -x hdfs文件(递归)
3.10、使用chown修改文件的用户
hadoop fs -chown supergroup hdfs文件
3.11、使用chgrp修改文件的组
hadoop fs -chgrp root hdfs文件
3.12、同时修改文件的用户和组
hadoop fs -chown root:supergroup hdfs文件
相关推荐
"Hadoop HDFS原理分析" HDFS(Hadoop Distributed File System)是Hadoop项目的一部分,是一个分布式文件管理系统。HDFS的设计理念是为了存储和管理大量的数据,具有高容错性、可扩展性和高性能的特点。 HDFS的...
### HDFS原理详解 #### 一、HDFS概述与特性 **Hadoop Distributed File System (HDFS)** 是Hadoop项目的核心之一,专为大规模数据集设计。它具有以下几个显著特点: 1. **副本机制与容错性:** - HDFS能够自动...
接下来,让我们详细探讨HDFS的原理与操作。 首先,HDFS的设计基础和目标。HDFS假定硬件错误是常态,因此采取了冗余处理数据的策略。其设计目标支持大规模数据集的存储和流式数据访问模式,适合批处理而非实时交互式...
自己的笔记,仅供参考,包含HDFS的启动停止,HDFS基本原理(上传文件、连接校验,下载文件,数据存储位置,通信机制,namenode和DataNode职责,元数据工作机制),java端操作HDFS的基本方法
【HDFS原理篇】 在大数据领域,分布式文件系统HDFS(Hadoop Distributed File System)扮演着至关重要的角色。HDFS是Apache Hadoop项目的核心组成部分,它设计为在廉价硬件上运行,提供高容错性和高吞吐量的数据...
Hadoop介绍,HDFS和MapReduce工作原理
本文主要讲述HDFS原理-架构、副本机制、HDFS负载均衡、机架感知、健壮性、文件删除恢复机制1、NameNode2、DataNode3、SencondaryNameNodeNamenode的目录结构:dfs.name.dir是hdfs-site.xml里配置的若干个目录组成的...
hdfs写的原理,描述客户端如何将数据写的hdfs中的详细过程
1. **HDFS Client**:客户端负责文件的切分,与NameNode交互获取文件位置信息,并与DataNode交互进行数据的读写。同时,客户端还提供了一系列用于管理HDFS的命令。 2. **NameNode**:作为主节点,NameNode管理整个...
HDFS原理、应用场景、架构-誉天版,对HDFS及其命令进行了详细介绍
在HDFS 2.x版本中,引入了HA解决方案,以解决HDFS 1.x中的单点故障问题。以下将详细解析HDFS的HA架构、读写流程和高可用保证机制。 1. **HA架构组成** - **Active NameNode**:作为主节点,负责执行所有命名空间的...
### HDFS架构设计和读写流程详解 #### HDFS概览 HDFS(Hadoop Distributed File System),即Hadoop分布式文件系统,旨在解决大规模数据集的存储问题,它通过将数据分散存储在由多台低成本商用服务器组成的集群上,...
本文将深入探讨HDFS的应用场景、工作原理、基本架构以及使用方法。 一、HDFS应用场景 1. 大数据分析:HDFS非常适合处理PB级别的大数据,常用于大数据分析,如日志分析、用户行为分析等。 2. 流式数据访问:HDFS...
【大纲】hdfs 概述hdfs 体系结构hdfs java调用RPC和HDFS调用hdfs文件读写流程分析数据回收站HA和FederationHDFS常见问题
<value>zk1.hadoop:2181,zk2.hadoop:2181,zk3.hadoop:2181</value> <description>ZooKeeper集群的地址列表</description> </property>9.3.3 ZKFailoverController (ZKFC)配置ZKFC是HDFS HA的重要组成部分,负责监控...
Hadoop2.2.0的HDFS(Hadoop分布式文件系统)高可用性(HA)解决方案是针对Hadoop早期版本中NameNode存在的单点故障问题而设计的。在Hadoop2.0.0之前,HDFS集群中只有一个NameNode,如果NameNode所在机器出现故障,会...
HDFS_图解 对于hdfs技术的最明白描述。
此图包含内容:HDFS结构/HDFS运行机制、HDFS优缺点、HDFS架构、HDFS数据存储单元(block)、HDFS设计思想、SNN合并流程、Block的副本放置策略、HDFS读流程、HDFS写流程、HDFS文件权限与安全模式,需要使用viso工具打开...
HDFS架构原理 HDFS(Hadoop Distributed File System)是一种分布式文件系统,基于Google发布的GFS论文设计开发。HDFS具有高容错、高吞吐量、大文件存储等特性,适合大文件存储、流式数据访问等场景,但不适合大量...