我在hdfs-site.xml中是这样配置的：
<configuration>
<property>
<name>dfs.name.dir</name>
<value>/home/hadoop/tamp</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/home/hadoop/tamp</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
配置后进行format，结果一直报：（namenode无法启动）
2014-05-29 17:47:16,055 ERROR org.apache.hadoop.hdfs.server.namenode.FSNamesystem: FSNamesystem initialization failed.
java.io.IOException: NameNode is not formatted.
at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:330)
at org.apache.hadoop.hdfs.server.namenode.FSDirectory.loadFSImage(FSDirectory.java:100)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.initialize(FSNamesystem.java:411)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.<init>(FSNamesystem.java:379)
at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:284)
at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:536)
at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1410)
at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1419)
2014-05-29 17:47:16,055 ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: java.io.IOException: NameNode is not formatted.
at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:330)
at org.apache.hadoop.hdfs.server.namenode.FSDirectory.loadFSImage(FSDirectory.java:100)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.initialize(FSNamesystem.java:411)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.<init>(FSNamesystem.java:379)
at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:284)
at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:536)
at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1410)
at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1419)
2014-05-29 17:47:16,056 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: SHUTDOWN_MSG:
但是我配置成：（namenode可以启动）
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
然后format后就不会报错。
希望砖家告诉原因~
添加评论
关注(1)
相关推荐
hdfs-site.xml文件是Hadoop分布式文件系统（HDFS）的核心配置文件之一，它定义了HDFS的很多关键行为和属性。了解hdfs-site.xml的配置项对于调优Hadoop集群，满足特定需求是非常有帮助的。下面对hdfs-site.xml中的...
Hadoop是Apache基金会开发的一个开源分布式存储和计算框架，...总的来说，理解和配置好hdfs-site.xml中的属性集是高效运行Hadoop HDFS集群的基石，不仅关系到数据存储的安全性，也直接影响着大数据处理任务的执行效率。
本文将重点介绍Hadoop HA高可用集群配置中的关键参数及其作用，特别是`hdfs-site.xml`文件中与HA相关的配置项。 #### 二、Hadoop HA概述 Hadoop HA（High Availability）是指通过在集群中部署多个NameNode实例来...
Hadoop分布式配置文件hdfs-site.xml，用于在搭建Hadoop分布式集群时，设置集群规划所用，集群中虚拟机都需要修改该配置文件，除此之外，还需要修改其他配置文件，包括core-site.xml、mapred-site.xml和yarn-site.xml...
例如，你需要在`hdfs-site.xml`中指定NameNode和DataNode的地址，在`mapred-site.xml`中设置MapReduce作业的运行方式（本地模式、伪分布式模式或完全分布式模式），并在`yarn-site.xml`中配置YARN的相关参数。...
在Hadoop的配置目录（$HADOOP_HOME/etc/hadoop）下，有两个主要的配置文件：core-site.xml和hdfs-site.xml。核心配置core-site.xml主要设置临时目录和HDFS的访问方式，例如： ```xml <name>fs.defaultFS ...
Hadoop 2.9.0版本中的mapred-default.xml文件包含了MapReduce作业的配置属性，这些属性定义了MapReduce作业执行过程中的各种行为和参数。下面我们来详细介绍mapred-site.xml文件中的一些关键属性。 1. mapreduce....
Sqoop 是一个开源工具，主要用于在关系型数据库（如 MySQL、Oracle 等）与 Hadoop 的 HDFS（Hadoop Distributed File System）之间进行数据迁移。这个压缩包 "sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.zip" 包含了 ...
在安装和配置Hadoop时，你需要修改conf目录下的配置文件，如core-site.xml（定义HDFS的基本属性）、hdfs-site.xml（设置HDFS的参数）、mapred-site.xml（设置MapReduce参数）和yarn-site.xml（配置YARN）。...
在Hadoop的配置中，需要修改`core-site.xml`来定义HDFS的默认FS（文件系统），`hdfs-site.xml`来设置HDFS的相关参数，如副本数量和数据节点位置，以及`mapred-site.xml`来配置MapReduce的相关参数。此外，还需要确保...
hadoop3.x配置文件
3. 配置Hadoop的配置文件，如`core-site.xml`（配置HDFS的基本属性）、`hdfs-site.xml`（配置HDFS的参数）、`yarn-site.xml`（配置YARN的参数）以及`mapred-site.xml`（配置MapReduce的参数）。 4. 初始化NameNode，...
4. 配置Hadoop的配置文件，如`core-site.xml`, `hdfs-site.xml`, `yarn-site.xml`, 和 `mapred-site.xml`。这些文件位于`etc/hadoop`目录下，你需要根据你的集群规模和需求来设定参数，例如副本数量、HDFS的名称节点...
安装Hadoop时，需要配置环境变量、Hadoop配置文件（如core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml），以及集群的节点设置。同时，为了运行Hadoop，你需要一个Java运行环境（JRE）。 4. **集群...
在core-site.xml中，你需要定义Hadoop的默认文件系统，通常是本地文件系统，配置如下： ```xml <name>fs.defaultFS <value>file:/// ``` 接着，配置HDFS（Hadoop Distributed File System）的相关参数。在...
同时，需要根据实际的 Hadoop 集群配置文件（如 core-site.xml 和 hdfs-site.xml）来配置 Sqoop 的连接信息。 4. **基本操作**：使用 Sqoop，用户可以通过简单的命令行接口执行以下操作： - `import`：将数据库表...
安装和运行Hadoop 3.2.4时，你需要解压此压缩包，配置`conf`目录下的配置文件，如`core-site.xml`、`hdfs-site.xml`和`yarn-site.xml`，然后根据官方文档的指导启动和管理Hadoop服务。为了测试Hadoop集群，你可以...
- 对于YARN，需要在`etc/hadoop/yarn-site.xml`中配置资源管理器和应用历史服务器的相关参数。 4. **MapReduce编程模型**： - Map阶段：数据被分割成小块，由Map函数处理，生成键值对。 - Shuffle和Sort阶段：...
Hadoop分布式配置文件mapred-site.xml，用于在搭建Hadoop分布式集群时，设置集群规划所用，集群中虚拟机都需要修改该配置文件，除此之外，还需要修改其他配置文件，包括core-site.xml、hdfs-site.xml和yarn-site.xml...
此外，还需要配置Hadoop的配置文件（如`core-site.xml`和`mapred-site.xml`），设置合适的压缩选项，例如启用LZO压缩和设置相关的压缩编码器。 总的来说，Hadoop-LZO是一个针对Hadoop的高效压缩解决方案，适合对...