-
hadoop hdfs文件显示和编辑的问题5
问题来源是这样的,在伪分布式模式下,我格式化了多次namenode,于是namenode启动不起来,网上查了问题是namenodespaceid和datanodespaceid不一样,需要改tmp/hadoop-root/dfs/data/current/VERSION
所以我就去改。然后我在我在hadoop目录下
终端输入以下命令:
bin/hadoop fs -ls /tmp/hadoop-root/ 用Tab键提示的时候有dfs目录
然后我就执行
bin/hadoop fs -ls /tmp/hadoop-root/dfs
结果提示如下错误:
ls: Cannot access /tmp/hadoop-root/dfs/: No such file or directory.
用Tab键提示有dfs这个目录,但是实际执行bin/hadoop fs -ls /tmp/hadoop-root/命令时却没有dfs这个目录。不知道为什么会这样?
上面是第一个问题。
第二个问题是:我输入这个命令bin/hadoop fs -ls hdfs://localhost:9000/tmp/hadoop-root/ 的时候,连用Tab键提示都无法显示dfs这个目录,为什么??hdfs://localhost:9000就是设置的hdfs根目录呀。
第三个问题:我要改tmp/hadoop-root/dfs/data/current/VERSION这个文件,是不是要把VERSION先拷贝到本地上,然后改了传到hdfs上?能不能像linux那样直接vi改啊?2012年2月23日 23:38
2个答案 按时间排序 按投票排序
-
第一个问题解答:
/tmp/hadoop-root/dfs 是Linux上的本地目录,而bin/hadoop fs -ls 后面跟的是HDFS(Hadoop文件系统)目录,在HDFS上默认是不存在/tmp/hadoop-root/dfs 这个目录的,所以会报错。
用Tab键提示的dfs目录是Linux本地的目录,而非HDFS上的目录。按Tab键有提示,是Linux shell的功能,Hadoop没有这个功能。
第二个问题解答:
按Tab键有提示,是Linux shell的功能。这个功能只支持/tmp/hadoop-root/ 这样的格式,不支持hdfs://localhost:9000/tmp/hadoop-root/ 这样的格式,所以没有提示。
第三个问题解答:
直接在Linux命令行界面中执行vi /tmp/hadoop-root/dfs/data/current/VERSION,然后修改其中的内容即可。
PS:兄台刚接触Hadoop吧!不急,慢慢来!不知现在你学的如何了,距离你提问题 已经过去将近4年了....2015年11月12日 23:00
-
我以前碰到过这个问题,但基本都是直接删除VERSION文件,再重启hadoop就可以了。
每一次启动之后,会再生成的,没必要改。2012年6月05日 17:33
相关推荐
基于Hadoop HDFS的分布式文件系统备份与恢复系统 内容概要 本项目是一个基于Hadoop HDFS的分布式文件系统备份与恢复系统。它包括备份节点(BackupNode)和数据节点(DataNode)的管理,以及与NameNode的通信。...
5. HDFS操作:用户可以通过HDFS的命令行工具或者Hadoop的Java API与HDFS进行交互,如上传、下载、查看、删除文件等。此外,HDFS还支持流式数据访问,适合大规模批处理任务。 6. HDFS容错机制:HDFS通过心跳检测和...
1. **格式化HDFS文件系统**: - 进入Hadoop目录,使用`bin/hadoop namenode -format`命令进行格式化。 2. **启动HDFS**: - 进入Hadoop目录,使用`bin/start-all.sh`命令启动所有Hadoop守护进程,包括Namenode、...
通过编辑`Hadoop-env.sh`文件来指定Java的安装路径。 - **操作**: 1. 编辑`Hadoop-env.sh`文件,在其中添加或修改`JAVA_HOME`变量。 2. 将配置文件复制到其他节点。 ```bash scp ./* root@192.168.170.129:/...
本节课程主要介绍 HDFS 的概念、HDFS 存储架构和数据读写流程、HDFS 的 Shell 命令、Java 程序操作 HDFS、Hadoop 序列化、Hadoop 小文件处理、通信机制 RPC 等知识点。 HDFS 概念 HDFS(Hadoop Distributed File ...
- 主NameNode停止编辑日志的写入,并将编辑日志和映像文件拷贝到Secondary NameNode。 - Secondary NameNode加载这些文件到内存,并执行合并操作,生成新的映像文件。 - 将新的映像文件拷贝回主NameNode。 #### ...
《Hadoop技术内幕:深入解析HADOOP COMMON和HDFS架构设计与实现原理》这本书是Hadoop技术领域的一本深入解析之作,它详尽地探讨了Hadoop的两大核心组件——HADOOP COMMON和HDFS(Hadoop Distributed File System)的...
三、HDFS文件操作 在Hadoop平台上,我们可以通过Hadoop的命令行工具或者编程接口进行文件操作。以下是一些基本操作: 1. **上传文件**:`hadoop fs -put localfile hdfs://namenode:port/path`,将本地文件上传到...
3. 编辑查看:对于文本文件,插件还提供了直接在IDEA内预览和编辑的功能,方便进行快速检查或修改。 4. 命令执行:用户可以运行HDFS相关的shell命令,如`hadoop fs -ls`等,无需离开IDEA即可完成HDFS操作。 5. 快捷...
- `hdfs dfs -cat <remotedir>`:显示HDFS文件的内容。 通过掌握这些基本操作,可以有效地管理和操作HDFS中的文件,进而更好地利用Hadoop进行大规模数据分析处理。 总之,HDFS作为分布式存储系统的核心组成部分,...
Hadoop 2.9.0版本的HDFS配置文件hdfs-site.xml定义了分布式文件系统的主要配置参数,下面详细说明这些属性的关键知识点。 1. hadoop.hdfs.configuration.version 这是一个配置属性,用于记录当前使用的Hadoop HDFS...
【大数据技术之Hadoop(HDFS文件系统)】 Hadoop是一个开源框架,主要设计用于处理和存储大规模数据,尤其适用于大数据分析。其中,HDFS(Hadoop Distributed File System)是Hadoop的核心组件,是一个分布式文件...
### Hadoop-HDFS环境下文件上传与下载操作指南 #### 一、Windows环境下配置Hadoop环境 **1.1 下载Hadoop** 为了在Windows环境下配置Hadoop环境,首先需要下载Hadoop软件包。推荐下载Hadoop 2.7.7版本,可以从清华...
NameNode的内存中存储着最新的fsimage(文件系统元数据快照)和edits(编辑日志),fsimage记录文件系统的静态状态,而edits则记录所有对文件系统的更改操作。为了保证数据一致性,NameNode定期将edits合并到fsimage...
Hadoop的核心组成部分包括Hadoop分布式文件系统(HDFS)和MapReduce编程模型。 #### 二、Hadoop组件介绍 1. **Hadoop分布式文件系统(HDFS)**:是一种分布式文件系统设计,用于解决大数据存储的问题。它将文件分割...
此外,Hadoop的配置文件(如`core-site.xml`和`hdfs-site.xml`)位于解压后的`hadoop-2.6.0/conf`目录下,你需要根据实际的集群配置来修改这些文件,以设置HDFS的地址、端口等参数。确保这些配置正确无误,才能成功...
WebDAV是一种基于HTTP协议的协议,允许用户编辑和管理存储在远程服务器上的文件。在Hadoop生态系统中,通过WebDAV可以使得HDFS对外提供更友好的文件访问接口,方便非Hadoop原生应用访问HDFS中的数据。 描述中提到...
Hadoop的HDFS(Hadoop Distributed File System)是Apache Hadoop项目的核心组件之一,是一种分布式文件系统,旨在处理和存储大量数据。HDFS设计的目标是高度容错性和高吞吐量,使得在廉价硬件上运行大数据分析成为...
《Hadoop技术内幕:深入解析HADOOP COMMON和HDFS架构设计与实现原理》这本书是针对大数据领域中核心组件Hadoop的深度剖析。Hadoop作为分布式计算的基础框架,其核心主要包括两个部分:Hadoop Common和Hadoop ...