在Hadoop的HDFS部署好了之后并不能马上使用,而是先要对配置的文件系统进行格式化。在这里要注意两个概念,一个是文件系统,此时的文件系统在物理上还不存在,或许是网络磁盘来描述会更加合适;二就是格式化,此处的格式化并不是指传统意义上的本地磁盘格式化,而是一些清除与准备工作。本文接下来将主要讨论NameNode节点上的格式化。
我们都知道,NameNode主要被用来管理整个分布式文件系统的命名空间(实际上就是目录和文件)的元数据信息,同时为了保证数据的可靠性,还加入了操作日志,所以,NameNode会持久化这些数据(保存到本地的文件系统中)。对于第一次使用HDFS的过程中,在启动NameNode时,需要向执行-format命令,然后才能正常启动NameNode节点服务。那么,NameNode的fromat命令到底做了什么事情呢?
在NameNode节点上,有两个最重要的路径,分别被用来存储元数据信息和操作日志,而这两个路径来自于配置文件,对应的属性分别是dfs.name.dir和dfs.name.edits.dir,同时,它们默认的路径均是/tmp/hadoop/dfs/name。格式化时,NameNode会清空两个目录下的所有文件,之后,会在目录dfs.name.dir下创建文件{dfs.name.dir}/current/fsimage、{dfs.name.dir}/current/fstime、{dfs.name.dir}/current/VERSION、{dfs.name.dir}/image/fsimage,会在目录dfs.name.edits.dir下创建文件{dfs.name.edits.dir}/current/edits、{dfs.name.edits.dir}/current/fstime、 {dfs.name.edits.dir}/current/VERSION、{dfs.name.edits.dir}/image/fsimage,那么这些文件又是用来干什么的呢?
在介绍这文件的用途之前,我们可以将dfs.name.dir和dfs.name.edits.dir配置成相同的目录,这样的话,NameNode执行格式化之后,会产生如下的文件:{dfs.name.dir}/current/fsimage、{dfs.name.dir}/current/edits、{dfs.name.dir}/current/fstime、{dfs.name.dir}/current/VERSION、{dfs.name.dir}/image/fsimage,由此可以看出上面名字相同的文件实际是一样的。ok,现在就来重点的介绍一下这些文件的用途吧。
fsimage:存储命名空间(实际上就是目录和文件)的元数据信息
edits:用来存储对命名空间操作的日志信息,实现NameNode节点的恢复;
fstime:用来存储check point 的时间;
VERSION:用来存储NameNode版本信息
/image/fsimage: 上一次提交前的/current/fsimage文件;
转自:http://blog.csdn.net/xhh198781/article/details/6904615
分享到:
相关推荐
6.hadoop namenode format 7./hadoop/etc/slaves这个文件里必须把所有的slaves的主机名写进去。 8.mast的/etc/hosts slave1的/etc/hosts slave2 的/etc/hosts (localhost: 127.0.0.1可以去掉,只写主机名对应的IP...
然后,使用 hadoop namenode –format 命令格式化 HDFS。 3. 启动 Hadoop 启动 Hadoop 分布式集群需要按照顺序启动各个模块,首先启动 HDFS 模块,然后启动 YARN 模块。可以使用 start-dfs.sh 和 start-yarn.sh ...
Without "hadoop namenode -format" 目录结构: /data/hadoop 为工作目录,实际为一个链接(link) /data/hadoop-0.19.1 为实际0.19.1的安装目录 /data/hadoop-0.20.1 为实际0.20.1的安装目录 /data/hadoop-0.19.1的...
在启动服务之前,我们需要格式化 Namenode,使用命令 ${HADOOP_HOME}/bin/hdfs namenode -format -clusterid [clusterID]。然后,在某个 Namenode 上执行 ${HADOOP_HOME}/sbin/,启动服务。 高可用性 在这个部署...
- 解决方案:当执行 `hadoop namenode -format` 时,确保 DataNode 和 NameNode 的元数据被正确格式化。若之前有残留的临时文件,需要先清除,然后重新执行格式化命令 `hadoop namenode -format`。 #### 三、成功...
问题描述:在hadoop系统中,如果我们对namenode进行格式化(使用bin/hadoop namenode -format命令),然后重启集群,可能会出现Incompatible namespaceIDS错误。 解决方法: 1. 删除datanode的数据文件:删除...
格式化文件系统(仅第一次执行即可,不要重复执行):hdfs/hadoop namenode -format 启动hdfs: sbin/start-dfs.sh 验证是否启动成功: jps DataNode SecondaryNameNode NameNode 浏览器访问方式: ...
hdfs namenode -format ``` 7. **启动Hadoop服务**: 在master节点上启动Hadoop的所有服务: ``` start-dfs.sh start-yarn.sh ``` 8. **检查Hadoop状态**: 通过Web界面或命令行检查Hadoop集群的状态: -...
在Hadoop1.0时代,Hadoop的两大核心组件HDFSNameNode和JobTracker都存在着单点问题,这其中以NameNode的单点问题尤为严重。因为NameNode保存了整个HDFS的元数据信息,一旦NameNode挂掉,整个HDFS就无法访问,同时...
在执行hadoop namenode -format命令时,出现未知的主机名。 问题原因: 出现这种问题的原因是Hadoop在格式化HDFS的时候,通过hostname命令获取到的主机名与/etc/hosts文件中进行映射的时候,没有找到。 解决...
- 如果 `hadoop` 命令找不到,确保你在 Hadoop 的 bin 目录外运行命令,如:`../bin/hadoop namenode -format`。 - 创建软链接(快捷方式):`ln -s 源文件 目标目录`,确保使用绝对路径。 9. **启动 Hadoop 服务...
5. 初始化HDFS:执行hadoop namenode -format命令,初始化NameNode。 6. 启动Hadoop:依次启动DataNode、NameNode、YARN和MapReduce服务。 7. 测试运行:使用hadoop fs -ls命令检查HDFS是否正常工作,通过运行...
./hadoop namenode -format [options] ``` - **选项说明**: - `-nonInteractive`:非交互模式,如果文件系统已被格式化,则不提示而直接退出。 - `-force`:强制模式,即使文件系统已经被格式化也会再次格式化...
完成配置后,初始化HDFS命名空间,格式化NameNode,通过`hadoop namenode -format`命令实现。接着,启动Hadoop的各个服务,包括DataNode、NameNode、ResourceManager、NodeManager等。可以使用`start-dfs.sh`和`...
在命令行中执行`hadoop namenode -format`,对HDFS进行初始化。 9. **启动Hadoop**: 运行`start-dfs.cmd`启动HDFS,然后运行`start-yarn.cmd`启动YARN。通过`jps`命令检查Hadoop进程是否正常运行。 10. **测试...
- 初始化NameNode:`hadoop namenode -format`。 - 启动DataNode:`hadoop datanode`。 - 启动NameNode:`hadoop namenode`。 - 启动ResourceManager:`yarn resourcemanager`。 - 启动NodeManager:`yarn ...
bin/hadoop namenode -format ``` 成功后,即可启动Hadoop。bin目录下有许多启动脚本,如start-dfs.sh和start-mapred.sh,根据需求启动相应的服务。 最后,了解HDFS的基本操作。例如,创建目录: ``` bin/hadoop ...
5. **格式化NameNode**: 打开命令行,进入Hadoop的bin目录,运行`hadoop namenode -format`命令,初始化NameNode。 6. **启动Hadoop服务**: 先启动DataNode,然后启动NameNode,接着启动YARN和MapReduce的服务。...
- 格式化NameNode,这是Hadoop集群的主节点,使用`hadoop namenode -format`命令。 - 启动所有Hadoop守护进程,使用`start-all.sh`命令。 8. **启动验证** - 执行`jps`命令,查看运行的进程。如果看到NameNode、...