`
qindongliang1922
  • 浏览: 2172488 次
  • 性别: Icon_minigender_1
  • 来自: 北京
博客专栏
7265517b-f87e-3137-b62c-5c6e30e26109
证道Lucene4
浏览量:117131
097be4a0-491e-39c0-89ff-3456fadf8262
证道Hadoop
浏览量:125455
41c37529-f6d8-32e4-8563-3b42b2712a50
证道shell编程
浏览量:59564
43832365-bc15-3f5d-b3cd-c9161722a70c
ELK修真
浏览量:71042
社区版块
存档分类
最新评论

Hadoop1.2.0的DataNode启动失败异常

阅读更多
在配置hadoop1.x的集群时,如果我们在hdfs-site.xml里面,如果明确指定了dfs的路径,需要设置下dfs.data.dir的权限,下面是散仙在Hadoop1.2.0里面的配置:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>

<property>
<name>dfs.name.dir</name>
<value>/home/search/hadoop/hadoopnd</value>
</property>
<!--  注意这个文件夹目录需要单独设置755权限,否则会报异常,在Hadoop2.2.0中不存在这个问题 -->
<property>
<name>dfs.data.dir</name>
<value>/home/search/hadoop/hadoopdd</value>
</property>
<property>
<name>dfs.tmp.dir</name>
<value>/home/search/hadoop/tmp</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>

</configuration>


异常详情:
[search@ph1 logs]$ tail -100f hadoop-search-datanode-ph1.log 
2014-07-16 22:08:58,139 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: STARTUP_MSG: 
/************************************************************
STARTUP_MSG: Starting DataNode
STARTUP_MSG:   host = ph1/192.168.46.23
STARTUP_MSG:   args = []
STARTUP_MSG:   version = 1.2.0
STARTUP_MSG:   build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.2 -r 1479473; compiled by 'hortonfo' on Mon May  6 06:59:37 UTC 2013
STARTUP_MSG:   java = 1.7.0_25
************************************************************/
2014-07-16 22:08:58,463 INFO org.apache.hadoop.metrics2.impl.MetricsConfig: loaded properties from hadoop-metrics2.properties
2014-07-16 22:08:58,485 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source MetricsSystem,sub=Stats registered.
2014-07-16 22:08:58,487 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Scheduled snapshot period at 10 second(s).
2014-07-16 22:08:58,487 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: DataNode metrics system started
2014-07-16 22:08:58,664 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source ugi registered.
2014-07-16 22:08:58,779 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Invalid directory in dfs.data.dir: Incorrect permission for /home/search/hadoop/hadoopdd, expected: rwxr-xr-x, while actual: rwxrwxr-x
2014-07-16 22:08:58,779 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: All directories in dfs.data.dir are invalid.
2014-07-16 22:08:58,779 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Exiting Datanode
2014-07-16 22:08:58,784 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: SHUTDOWN_MSG: 
/************************************************************
SHUTDOWN_MSG: Shutting down DataNode at ph1/192.168.46.23
************************************************************/

注意日志里面warn和error处的信息,
出现这个异常,会导致DataNode启动失败,解决办法:
使用root用户,给这个文件夹赋值755权限,执行命令如下:

 chmod 755 -R  /home/search/hadoop-1.2.0/hadoopdd 



分享到:
评论

相关推荐

    Hadoop datanode启动失败:Hadoop安装目录权限的问题

    ### Hadoop Datanode启动失败:Hadoop安装目录权限问题详解 #### 一、问题背景与现象 在部署Hadoop集群的过程中,用户可能会遇到Datanode启动失败的情况。这一问题通常表现为,在尝试启动Hadoop集群时,Datanode...

    hadoop1.2.0-eclipse-插件

    hadoop1.2.0-eclipse-插件

    Hadoop datanode重新加载失败无法启动解决.docx

    Hadoop datanode重新加载失败无法启动解决 本文将详细讲解Hadoop datanode重新加载失败无法启动解决的知识点,主要包括datanode加载失败的原因、解决方法和步骤。 知识点1: datanode加载失败的原因 datanode加载...

    hadoop1.2.0安装包

    Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据...

    hadoop 1.2.0 linux

    hadoop 1.2.0穩定版本,用於實驗方面會是一個好選擇

    hadoop 1.2.0 API

    找了很久找不到离线版的Hadoop的API,所以就自己自制了一份,感觉很方便很实用,所以就上传了上来。 类似于官网上的HTML版本,解压后进入文件夹点击index.html即可使用。 Hadoop 1.2.0 版

    Hadoop集群datanode磁盘不均衡的解决方案

    因业务需要搭建一个新hadoop集群,并将老的hadoop集群中的数据迁移至新的hadoop集群,而且datanode节点不能全部上线,其中还可能会出现节点上线或下线的情况,这个时候就很容易出现机器与机器之间磁盘的均衡的情况,...

    hadoop eclipse v 1.2.0

    hadoop-eclipse-plugin-1.2.0.jar eclipse 4+ hadoop 1.2.0

    hadoop-core-1.2.0-sources.jar

    hadoop 1.2.0 core 源码

    hadoop-core-1.2.0(解决0700异常)

    eclipse连接远程hadoop集群开发时0700问题解决方案。修改源码,重新编译后hadoop-core-1.2.0

    elasticsearch-hadoop-1.2.0.jar

    jar包,官方版本,自测可用

    hadoop 源码解析-DataNode

    Hadoop 源码解析 - DataNode Hadoop 作为一个大数据处理框架,其核心组件之一是分布式文件系统(HDFS),而 DataNode 是 HDFS 中的重要组件之一。DataNode 负责存储和管理数据块,提供数据访问服务。本文将对 ...

    hadoop-core-1.2.0

    重新编译的hadoop-1.2.0的核心jar包,解决****Exception in thread "main" java.io.IOException: Failed to set permissions of path:****windows下的文件权限问题。

    启动Hadoop后 没有DataNode进程 的解决方法

    启动Hadoop后 没有DataNode进程 的解决方法。 一篇文章带你快速了解!

    hadoop集群一键启动、关闭

    本文将深入探讨如何通过自定义脚本来实现Hadoop集群的一键启动、关闭功能,以及涉及的相关技术。 Hadoop是Apache软件基金会开发的一个开源框架,主要用于存储和处理大规模数据。其核心组件包括HDFS(Hadoop ...

    hadoop-eclipse-plugin-1.2.0.jar

    其他hadoop-eclipse-plugin都是盖的,真正解决 An internal error occurred during: "Connecting to DFS test". org/apache/commons/...注意版本为:hadoop 1.2.0 eclipse Version: Mars.1 Release (4.5.1)

    hadoop2.7.2 +hbase1.2.0

    在所有节点上启动Hadoop的DataNode和NameNode,以及YARN的ResourceManager和NodeManager,确保HDFS和YARN服务正常运行。然后启动HBase的Master和RegionServer,完成集群部署。 在Hadoop和HBase集群环境中,可以通过...

Global site tag (gtag.js) - Google Analytics