一 HDFS命令行操作演示
[root@localhost ~]# hadoop fs -ls /
Warning: $HADOOP_HOME is deprecated.
Found 1 items
drwxr-xr-x - root supergroup 0 2017-08-20 11:23 /hadoop
[root@localhost ~]# hadoop fs -ls /hadoop
Warning: $HADOOP_HOME is deprecated.
Found 1 items
drwxr-xr-x - root supergroup 0 2017-08-20 11:40 /hadoop/mapred
[root@localhost ~]# hadoop fs -mkdir input
Warning: $HADOOP_HOME is deprecated.
[root@localhost ~]# hadoop fs -ls
Warning: $HADOOP_HOME is deprecated.
Found 1 items
drwxr-xr-x - root supergroup 0 2017-08-20 12:40 /user/root/input
[root@localhost ~]# hadoop fs -ls /
Warning: $HADOOP_HOME is deprecated.
Found 2 items
drwxr-xr-x - root supergroup 0 2017-08-20 11:23 /hadoop
drwxr-xr-x - root supergroup 0 2017-08-20 12:40 /user
[root@localhost ~]# hadoop fs -put a.av input/
[root@localhost ~]# hadoop fs -ls /user/root/input
Warning: $HADOOP_HOME is deprecated.
Found 1 items
-rw-r--r-- 3 root supergroup 0 2017-08-20 12:44 /user/root/input/a.av
[root@localhost ~]# hadoop fs -cat input/a.av
Warning: $HADOOP_HOME is deprecated.
[root@localhost ~]# hadoop fs -get input/a.av aa.av
Warning: $HADOOP_HOME is deprecated.
[root@localhost ~]# ls
123 cangls fping-4.0 monitor_man shell16.sh system_man.sh
aa.av canyls fping-4.0.tar.gz monitor_man.sh shell5.sh Templates
a.av ChangeLog-2.6.0 hping-master Music student.txt test
[root@localhost ~]# hadoop dfsadmin -report
Warning: $HADOOP_HOME is deprecated.
Configured Capacity: 21464350720 (19.99 GB)
Present Capacity: 21046108160 (19.6 GB)
DFS Remaining: 21046083584 (19.6 GB)
DFS Used: 24576 (24 KB)
DFS Used%: 0%
Under replicated blocks: 1
Blocks with corrupt replicas: 0
Missing blocks: 0
-------------------------------------------------
Datanodes available: 1 (1 total, 0 dead)
Name: 127.0.0.1:50010
Decommission Status : Normal
Configured Capacity: 21464350720 (19.99 GB)
DFS Used: 24576 (24 KB)
Non DFS Used: 418242560 (398.87 MB)
DFS Remaining: 21046083584(19.6 GB)
DFS Used%: 0%
DFS Remaining%: 98.05%
Last contact: Sun Aug 20 12:56:33 CST 2017
相关推荐
对象存储服务OBSA-HDFS使用指南主要涵盖了如何在华为云环境下使用OBS对象存储服务与HDFS(Hadoop Distributed File System)进行集成,以便在大数据处理场景中利用OBS作为存储解决方案。OBSA-HDFS插件是关键组件,它...
优秀PPT课件:Hadoop:Google云计算的开源实现(Hadoop安装 HDFS使用 MapReduce编程 数据表HBase 分布式数据处理MapReduce ).ppt
### 四、HDFS的使用 1. **HDFS命令行工具**:通过`hadoop fs`命令,用户可以执行如`put`、`get`、`rm`等操作,对HDFS上的文件进行管理。 2. **HDFS API**:Java API提供了对HDFS的全面操作,包括文件创建、读写、...
* Namenode 与 Datanode 之间的通信:HDFS使用RPC机制来实现Namenode与Datanode之间的通信,以便于实现文件元数据的维护和数据块的存储。 * Client 与 Namenode 之间的通信:HDFS使用RPC机制来实现Client与Namenode...
- **加密算法**:HDFS使用AES-CTR算法进行加密,支持128位加密密钥,默认情况下采用该算法。 - **操作透明**:只有HDFS客户端能够加密或解密数据,密钥管理在HDFS外部,确保数据安全。 - **减轻安全威胁**:Block在...
HDFS使用块存储方式,每个文件被分解成固定大小的块,块的默认大小是64MB,可以根据需要进行调整。 HDFS提供了多种操作接口,包括Shell命令、Java API和其他语言的API。Shell命令是HDFS提供的命令行接口,用户可以...
为了确保文件的完整性,HDFS 使用了 CRC32 校验机制。每个数据块都产生校验和,该校验和会保存在 .meta 文件内。客户端获取数据时可以检查校验和是否相同,从而发现数据块是否损坏。如果正在读取的数据块损坏,则...
四、HDFS使用方法 1. 文件操作:使用Hadoop命令行工具或编程接口(如Java API)进行文件的创建、读取、修改和删除。 2. MapReduce配合:HDFS与MapReduce结合,实现大规模数据的分布式计算。 3. 配置优化:根据实际...
4. 高性能:HDFS使用分布式存储和并行处理,提高了数据处理的速度和效率。 HDFS命令 HDFS提供了多种命令来管理和维护HDFS文件系统,例如: 1. `hdfs dfs`:运行文件系统命令,例如查看文件列表、创建目录等。 2. ...
2. HDFS的设计架构:HDFS使用主从(Master/Slave)架构,由一个名字节点(NameNode)和多个数据节点(DataNode)组成。NameNode负责管理文件系统的命名空间,以及维护文件和数据块(Block)之间的映射关系。而DataNode则负责...
5. **RPC通信**:HDFS使用Java的RPC框架进行节点间的通信,客户端与NameNode、DataNode交互都是通过RPC完成的。这使得HDFS具有跨平台的能力,并简化了网络通信的实现。 6. **故障检测与恢复**:当NameNode检测到...
* 高性能:HDFS使用块存储和并行处理来提高数据读写性能。 * 容错性:HDFS具有容错机制,可以自动恢复故障节点,确保数据的可靠性。 HDFS操作命令 HDFS提供了多种操作命令,包括: * hadoop fs:用于管理HDFS文件...
在整个数据流过程中,HDFS 使用了 pipeline 机制来确保数据的可靠性和一致性。每个 DataNode 都负责处理数据流,并将数据备份到下一个 DataNode,直到最后一个 DataNode。同时,每个 DataNode 都会将写入数据的响应...
此属性指定HDFS使用何种机制来存储编辑日志,其中qjournal是指使用QuorumJournalManager,这是一种高可用性的编辑日志管理机制。 Hadoop系统管理员需要对hdfs-site.xml中的各项属性有深入的了解,以便根据实际部署...
3. **数据校验**:HDFS使用校验和来检查数据块的完整性,如果发现损坏的数据块,会自动从其他副本中修复。 #### 五、Hadoop的安装及配置 搭建Hadoop集群需要经历以下几个步骤: 1. **环境准备**:安装JDK、设置...
集群环境下的HDFS使用涉及到多个关键组件和技术,如ZooKeeper、Hadoop MapReduce等。这些元素共同协作,确保了分布式系统的稳定性和高效性。 首先,ZooKeeper是一个分布式的协调服务,用于管理大量的分布式应用程序...
* 测试 HDFS 文件下载:使用 Java-HDFS 客户端下载 HDFS 中的文件。 * 测试 HDFS 文件上传:使用 Java-HDFS 客户端上传文件到 HDFS。 Eclipse 项目配置 要使用 Java-HDFS 客户端开发 HDFS 应用程序,需要在 ...
HDFS使用Master和Slave结构对集群进行管理。一般一个HDFS集群只有一个Namenode和一定数目的Datanode组成。 在HDFS中,Namenode是HDFS集群主节点,负责管理整个文件系统的元数据,以及每一个路径(文件)所对应的...