hadoop2.6集群启动后,用 jps 命令查看进程,发现没有 datanode 进程,查看datanode日志,日志中报错部分内容如下:
2015-08-08 15:12:02,952 INFO org.apache.hadoop.hdfs.server.common.Storage: DataNode version: -56 and NameNode layout version: -60
2015-08-08 15:12:03,066 INFO org.apache.hadoop.hdfs.server.common.Storage: Lock on /usr/local/hadoop/dfs/data/in_use.lock acquired by nodename 5321@bogon
2015-08-08 15:12:03,070 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block pool <registering> (Datanode Uuid unassigned) service to localhost/127.0.0.1:9000. Exiting.
java.io.IOException: Incompatible clusterIDs in /usr/local/hadoop/dfs/data: namenode clusterID = CID-cada1f81-b713-45fc-8839-a8a7c7a1b107; datanode clusterID = CID-19fa414d-50ea-494b-9a14-898b9b801e96
at org.apache.hadoop.hdfs.server.datanode.DataStorage.doTransition(DataStorage.java:646)
at org.apache.hadoop.hdfs.server.datanode.DataStorage.addStorageLocations(DataStorage.java:320)
at org.apache.hadoop.hdfs.server.datanode.DataStorage.recoverTransitionRead(DataStorage.java:403)
at org.apache.hadoop.hdfs.server.datanode.DataStorage.recoverTransitionRead(DataStorage.java:422)
at org.apache.hadoop.hdfs.server.datanode.DataNode.initStorage(DataNode.java:1311)
at org.apache.hadoop.hdfs.server.datanode.DataNode.initBlockPool(DataNode.java:1276)
at org.apache.hadoop.hdfs.server.datanode.BPOfferService.verifyAndSetNamespaceInfo(BPOfferService.java:314)
at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.connectToNNAndHandshake(BPServiceActor.java:220)
at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.run(BPServiceActor.java:828)
at java.lang.Thread.run(Thread.java:745)
2015-08-08 15:12:03,087 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Ending block pool service for: Block pool <registering> (Datanode Uuid unassigned) service to localhost/127.0.0.1:9000
2015-08-08 15:12:03,089 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Removed Block pool <registering> (Datanode Uuid unassigned)
错误原因:
datanode的clusterID 和 namenode的 clusterID 不匹配。
解决办法:
根据 hdfs-site.xml 中的配置:
1、 打开 dfs.namenode.name.dir 配置对应目录下的 current 目录下的 VERSION 文件,拷贝clusterID;
2、 打开 dfs.datanode.data.dir 配置对应目录下的 current 目录下的 VERSION 文件,用拷贝的 clusterID 覆盖原有的clusterID;
3、 保存后重新启动 hadoop,datanode 进程就能正常启动了。
出现此文提的原因: 网上很多帖子说由于重新执行了格式化命令(hdfs namenode -format),namenode 的 clusterID 重新生成了,而 datanode 的 clusterID 没有改变。
相关推荐
标题 "hadoop2.6 hadoop.dll+winutils.exe" 提到的是Hadoop 2.6版本中的两个关键组件:`hadoop.dll` 和 `winutils.exe`,这两个组件对于在Windows环境中配置和运行Hadoop至关重要。Hadoop原本是为Linux环境设计的,...
Hadoop是Apache软件基金会开发的...总的来说,“hadoop2.6.rar”提供的安装包是进入Hadoop世界的关键,通过学习和实践,你可以掌握这个强大的分布式计算平台,并利用其处理和分析大规模数据,为业务决策提供有力支持。
### CentOS6.5系统下Hadoop2.6.0完全分布式环境安装与配置知识点 #### 一、系统环境准备 **1.1 修改主机名** 为了确保主机名的一致性,首先需要更改主机名为“Master”: ```bash sudo vim /etc/sysconfig/...
5. **启动Hadoop**:通过运行`winutils.exe`的相关命令,可以启动Hadoop的各个服务,如NameNode、DataNode等。 6. **测试运行**:使用`hadoop fs -ls`命令检查Hadoop是否正常工作,如果返回HDFS的根目录信息,表明...
在提供的压缩包`hadoop2.6-eclipse`中,可能包含了专门为Eclipse集成的Hadoop 2.6配置文件和库,这将简化Windows上的开发环境设置。解压后,按照上述步骤进行配置,可以加快开发过程并减少潜在问题。记得始终检查...
5. 启动Hadoop服务,包括DataNode、NameNode和ResourceManager等。 6. 使用Hadoop命令行工具或编写Java程序,进行数据读写和MapReduce任务。 在Windows环境中使用Hadoop可能会遇到一些挑战,比如文件权限问题、线程...
7. 启动Hadoop服务,如DataNode、NameNode和ResourceManager。 完成这些步骤后,你就可以在Windows 7 32位系统上运行Hadoop 2.6了,可以进行数据的读取、写入、处理和分析。这对于开发者在本地进行测试和学习Hadoop...
在IT行业中,Hadoop是一个广泛使用的开源框架,...在这个过程中,文档如《hadoop2.6集群搭建手册》是不可或缺的指南,它详细解释了每个步骤并提供了配置示例,对于初学者和经验丰富的管理员来说都是宝贵的参考资料。
- 启动Hadoop守护进程:先启动DataNode,再启动NameNode,接着是Resource Manager和Node Manager。 - 使用`hadoop fs -ls`命令检查HDFS是否正常工作。 - 运行一个简单的WordCount示例,验证MapReduce功能。 7. *...
### Linux环境Hadoop2.6+Hbase1.2集群安装部署 #### 一、概述 在本篇文章中,我们将详细介绍如何在Linux环境下搭建Hadoop 2.6和HBase 1.2集群。该教程涵盖了从环境准备、Hadoop与HBase的安装配置到集群的测试等全...
此外,伪分布式配置是Hadoop在单机上的模拟分布式环境,NameNode、SecondaryNameNode、DataNode、ResourceManager和NodeManager等组件在一台机器上运行,便于学习和测试。 实验过程主要分为以下几个步骤: 1. 确保...
本文将详细讲解如何在Windows操作系统上搭建和使用Hadoop 2.6.x及2.7.x版本的可执行环境,主要基于提供的压缩包文件:`hadoop2.7.1X64.zip`和`hadoop2.6(x64)V0.2.zip`。 一、Hadoop简介 Hadoop的核心组件包括HDFS...
1. `hadoop`:这是启动Hadoop守护进程(如DataNode、NameNode等)的脚本。 2. `hdfs`:用于与HDFS交互的命令行工具,如`hdfs dfs`可以用来读写文件到HDFS。 3. `yarn`:YARN(Yet Another Resource Negotiator)是...
Hadoop是Apache软件基金会开发的一个开源分布式计算框架,主要用于处理和存储海量数据。这个压缩包“hadoop-2.6.0.tar.gz”包含了Hadoop 2.6.0版本的所有组件,是搭建Hadoop集群的关键组成部分。在这个版本中,...
在这个`hadoop-2.6-configuration`压缩包中,我们可以找到针对Hadoop 2.6多集群环境的配置文件示例,帮助管理员设置和管理分布式存储和计算系统。 1. **Hadoop的配置体系结构**: Hadoop的配置基于Java的...
4. **无法启动HDFS**:确保所有的Hadoop服务(如DataNode、NameNode)配置正确,且`winutils.exe`能够访问和操作配置文件。 总结,`winutils.exe`是Windows环境下运行Hadoop的关键组件,它使得原本为Linux设计的...
- **伪分布式模式**:在单台机器上模拟分布式环境,每个Hadoop进程都以独立Java进程运行。 - **完全分布式模式**:在多台机器上部署,适合生产环境。 5. **Hadoop生态组件** - **Hive**:基于Hadoop的数据仓库...
Hadoop是Apache软件基金会开发的一个开源分布式计算框架,它允许在廉价硬件上处理大量数据,实现了大数据的存储和处理。本篇文章将详细讲解基于Linux系统的Hadoop 2.6.0版本的安装与配置。 一、Hadoop简介 Hadoop的...