`
qindongliang1922
  • 浏览: 2205689 次
  • 性别: Icon_minigender_1
  • 来自: 北京
博客专栏
7265517b-f87e-3137-b62c-5c6e30e26109
证道Lucene4
浏览量:118200
097be4a0-491e-39c0-89ff-3456fadf8262
证道Hadoop
浏览量:126570
41c37529-f6d8-32e4-8563-3b42b2712a50
证道shell编程
浏览量:60579
43832365-bc15-3f5d-b3cd-c9161722a70c
ELK修真
浏览量:71813
社区版块
存档分类
最新评论

Hadoop1.2.0的DataNode启动失败异常

阅读更多
在配置hadoop1.x的集群时,如果我们在hdfs-site.xml里面,如果明确指定了dfs的路径,需要设置下dfs.data.dir的权限,下面是散仙在Hadoop1.2.0里面的配置:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>

<property>
<name>dfs.name.dir</name>
<value>/home/search/hadoop/hadoopnd</value>
</property>
<!--  注意这个文件夹目录需要单独设置755权限,否则会报异常,在Hadoop2.2.0中不存在这个问题 -->
<property>
<name>dfs.data.dir</name>
<value>/home/search/hadoop/hadoopdd</value>
</property>
<property>
<name>dfs.tmp.dir</name>
<value>/home/search/hadoop/tmp</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>

</configuration>


异常详情:
[search@ph1 logs]$ tail -100f hadoop-search-datanode-ph1.log 
2014-07-16 22:08:58,139 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: STARTUP_MSG: 
/************************************************************
STARTUP_MSG: Starting DataNode
STARTUP_MSG:   host = ph1/192.168.46.23
STARTUP_MSG:   args = []
STARTUP_MSG:   version = 1.2.0
STARTUP_MSG:   build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.2 -r 1479473; compiled by 'hortonfo' on Mon May  6 06:59:37 UTC 2013
STARTUP_MSG:   java = 1.7.0_25
************************************************************/
2014-07-16 22:08:58,463 INFO org.apache.hadoop.metrics2.impl.MetricsConfig: loaded properties from hadoop-metrics2.properties
2014-07-16 22:08:58,485 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source MetricsSystem,sub=Stats registered.
2014-07-16 22:08:58,487 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Scheduled snapshot period at 10 second(s).
2014-07-16 22:08:58,487 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: DataNode metrics system started
2014-07-16 22:08:58,664 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source ugi registered.
2014-07-16 22:08:58,779 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Invalid directory in dfs.data.dir: Incorrect permission for /home/search/hadoop/hadoopdd, expected: rwxr-xr-x, while actual: rwxrwxr-x
2014-07-16 22:08:58,779 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: All directories in dfs.data.dir are invalid.
2014-07-16 22:08:58,779 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Exiting Datanode
2014-07-16 22:08:58,784 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: SHUTDOWN_MSG: 
/************************************************************
SHUTDOWN_MSG: Shutting down DataNode at ph1/192.168.46.23
************************************************************/

注意日志里面warn和error处的信息,
出现这个异常,会导致DataNode启动失败,解决办法:
使用root用户,给这个文件夹赋值755权限,执行命令如下:

 chmod 755 -R  /home/search/hadoop-1.2.0/hadoopdd 



分享到:
评论

相关推荐

    hadoop2.7.2 +hbase1.2.0

    在所有节点上启动Hadoop的DataNode和NameNode,以及YARN的ResourceManager和NodeManager,确保HDFS和YARN服务正常运行。然后启动HBase的Master和RegionServer,完成集群部署。 在Hadoop和HBase集群环境中,可以通过...

    hadoop的安装配置

    启动Hadoop的过程包括在Master服务器上运行`hadoop namenode –format`命令对HDFS进行格式化,然后依次启动DataNode、NameNode、TaskTracker和JobTracker等服务。验证Hadoop是否正常运行,可以通过访问Web界面或运行...

    Linux环境Hadoop2.6+Hbase1.2集群安装部署

    ### Linux环境Hadoop2.6+Hbase1.2集群安装部署 #### 一、概述 在本篇文章中,我们将详细介绍如何在Linux环境下搭建Hadoop 2.6和HBase 1.2集群。该教程涵盖了从环境准备、Hadoop与HBase的安装配置到集群的测试等全...

    CDH5.7.1-install-MAC.zip

    在完成所有组件的安装和配置后,别忘了在Mac上启动这些服务,包括Hadoop的DataNode、NameNode,HBase的Master,Hive的MetaStore Server等。同时,可能还需要配置防火墙规则以允许内部服务间的通信。 为了验证安装...

    Sqoop集群搭建.

    首先,下载 Sqoop 压缩包 sqoop-1.2.0-CDH3B4.tar.gz 和 Hadoop 压缩包 hadoop-0.20.2-CDH3B4.tar.gz。然后,解压缩包到指定目录下。将 Sqoop 和 Hadoop 的 JAR 包拷贝到 Sqoop 的 lib 目录下,最后修改 Sqoop 的属...

Global site tag (gtag.js) - Google Analytics