Hadoop DataNode启动失败 - 小星星的技术blog - ITeye博客

`

dacoolbaby

浏览: 1265767 次
性别:
来自: 广州

最近访客更多访客>>

leoeco2000

peacherdiy

quduaitao

yangshuguozhi

博主相关

博客

微博

相册

收藏

留言

关于我

文章分类

社区版块

存档分类

最新评论

jackhong1108：你可能只知道Oracle有like，不知道Oracle有其他的 ...
Hive使用regexp，RLIKE需要使用转义字符
pktangshao： a_bun 写道iijjll 写道使用wmsys.wm_con ...
Oracle 列转行函数 Listagg()
nayouzhenai：
Spring读取properties文件作为环境变量
a_bun： iijjll 写道使用wmsys.wm_concat()函数也 ...
Oracle 列转行函数 Listagg()
Horse_Chasing：鼓励鼓励鼓励鼓励鼓励鼓励鼓励鼓励鼓励鼓励
广州面试小结

Hadoop DataNode启动失败

博客分类：

Hadoop

阅读更多

DataNode启动失败：

2012-12-14 00:48:19,242 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Invalid directory in dfs.data.dir: Incorrect permission for /usr/hadoop/hadoop-1.0.4/data, expected: rwxr-xr-x, while actual: rwxrwxrwx

2012-12-14 00:48:19,242 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: All directories in dfs.data.dir are invalid.

2012-12-14 00:48:19,242 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Exiting Datanode

2012-12-14 00:48:19,301 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: SHUTDOWN_MSG:

进行分组统计的时候一直报错，Hadoop的Datanode不存在。

通过分析启动日志后发现fs.data.dir参数设置的目录权限必需为755，要不启动datanode节点启动就会因为权限检测错误而自动关闭。

我之前一直设置成chmod 777 不行，要chmod 755就可以了。。这个要在Linux的文件权限那里设置。

$ chmod 755 -R /usr/hadoop/hadoop-1.0.4/data

OK

分享到：

StringTokenizer初步了解 | 运行MapReduce的时候OOM

2012-12-14 00:57
浏览 3961
评论(0)
分类:开源软件
查看更多

评论

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

Hadoop datanode启动失败：Hadoop安装目录权限的问题: ### Hadoop Datanode启动失败：Hadoop安装目录权限问题详解 #### 一、问题背景与现象在部署Hadoop集群的过程中，用户可能会遇到Datanode启动失败的情况。这一问题通常表现为，在尝试启动Hadoop集群时，Datanode...

Hadoop datanode重新加载失败无法启动解决.docx: Hadoop datanode重新加载失败无法启动解决本文将详细讲解Hadoop datanode重新加载失败无法启动解决的知识点，主要包括datanode加载失败的原因、解决方法和步骤。知识点1: datanode加载失败的原因 datanode加载...

hadoop启动日志: 通过分析这些日志，可以了解Hadoop集群的健康状况，诊断潜在的问题，比如检查NameNode是否成功启动，DataNode是否加入到集群，MapReduce任务是否正常执行等。对于大型Hadoop集群，日志分析工具如Flume、Sentry、...

Ubuntu下hadoop-2.5.2编译好的64bit的native库: 例如，启动Hadoop的NameNode和DataNode，然后运行一个简单的MapReduce任务，如果没有任何关于找不到本机库的错误，那么安装就成功了。在Hadoop中，本机库主要用于以下功能： - **JNI接口**：Java Native ...

hadoop-common-2.7.3-bin-master-windows: 在配置时，确保该动态链接库被正确加载到系统路径中，否则可能会导致Hadoop服务启动失败。 2. `winutils.exe`：这个工具是Hadoop在Windows上的必备组件，主要用于执行一些系统级的操作，如创建HDFS的本地模拟目录、...

Hadoop使用常见问题以及解决方法: 启动 datanode 失败是 Hadoop 中的常见问题，主要是由于 NameNode 和 DataNode 的配置不正确。解决方法是删除 NameNode 和 DataNode 的文件系统路径，然后重新格式化分布式文件系统。 java.io.IOException: Could ...

hadoop2.6.0版本hadoop.dll和winutils.exe: 5. **运行HDFS**: 安装并配置好环境后，可以启动Hadoop的DataNode和NameNode服务，通过winutils.exe进行HDFS的操作，如启动、停止、格式化等。HDFS提供了高可用性和容错性，即使部分节点失败，也能保证数据的完整性...

Hadoop2.8安装文档: 在安装 Hadoop 过程中，可能会遇到一些问题，例如 JDK 安装失败、Hadoop 文件夹权限问题等。可以通过查看日志文件或搜索在线资源来解决这些问题。安装 Hadoop 需要小心翼翼，需要按照步骤安装和配置每个组件，否则...

hadoop几个实例: 6. **Hadoop的安装与配置**：实例可能涵盖Hadoop环境的搭建，包括配置Hadoop的环境变量、初始化HDFS、启动MapReduce服务等步骤。 7. **编程接口**：Hadoop提供了Java API来编写MapReduce程序，但也有如Hadoop ...

Hbase和Hadoop JMX监控实战: 1. 配置Hadoop和HBase的JMX服务，开启JMX监听端口，并确保防火墙设置允许远程访问。 2. 安装和配置JMX客户端工具，如jconsole、jmxterm或自定义脚本。 3. 连接并查询HBase和Hadoop的MBeans，获取需要的监控数据。 4....

hadoop 关闭进程时报错no 进程 to stop: - 如果Hadoop集群是分布式的，网络问题可能导致进程通信失败，从而影响到正常关闭。解决这类问题通常需要结合日志分析、环境检查和源码理解，找出具体的原因并采取相应的解决措施。在实际操作中，应遵循Hadoop的...

(完整版)hadoop常见笔试题答案.docx: 对于写入操作，如果某个datanode失败，客户端会将数据写入备份的datanode，后者成为新的首选datanode。 8. Hadoop的日常操作包括格式化HDFS（`hdfs namenode -format`）、启动和停止HDFS及YARN服务，以及创建目录、...

细细品味Hadoop_Hadoop集群（第5期）_Hadoop安装配置: 6. 启动Hadoop服务，包括DataNode、NameNode、TaskTracker和JobTracker。 7. 测试集群功能，如上传文件到HDFS，运行MapReduce示例程序。在集群环境中，还需要确保防火墙设置允许Hadoop相关端口通信，如NameNode的...

Hadoop client server通讯分析: 在Hadoop中，客户端（Client）负责提交任务、读写数据，而服务器端则包括NameNode、DataNode和TaskTracker等组件，它们处理客户端请求，管理数据存储和任务调度。二、HDFS通信 1. 客户端与NameNode交互：当...

win10下hadoo2.7.2的hadoop.dll和winutils.exe.rar: 完成配置后，可以启动Hadoop的NameNode和DataNode服务，通过`bin/hadoop dfsadmin -report`命令检查HDFS的状态，确保服务已经正常运行。然而，在Windows 10上运行Hadoop可能面临性能问题，因为Hadoop原本是设计为...

hadoop集群遇到的问题及其解决方法: 2. **临时文件路径配置不当：** 如果Hadoop默认使用的临时文件路径（通常是`/tmp`）在系统重启后被清空，则可能导致DataNode启动失败。 **解决方法：** 1. **检查并修正/etc/hosts文件：** - 确认所有节点的`/etc...

hadoop节点问题.docx: 如果ID不一致，可能会导致NameNode无法正确识别并连接DataNode，从而引发启动失败的问题。 #### 三、解决方案针对上述问题，有两种常见且有效的解决方法： **方法一：清理临时文件并重新格式化** 1. **定位问题...

hadoop1.0.0.tar.gz: 9. **故障恢复**：Hadoop1.0.0已经支持数据冗余和自动故障恢复，当某个DataNode或TaskTracker失败时，Hadoop会自动重新分配任务，确保数据的安全性和计算的连续性。 10. **监控与日志**：Hadoop提供了一系列的监控...

windows环境下hadoop依赖: 7. **启动Hadoop**：使用`start-dfs.cmd`和`start-yarn.cmd`命令启动Hadoop的各个服务，包括NameNode、DataNode、ResourceManager和NodeManager。 8. **版本兼容问题**：在Windows上运行Hadoop，可能会遇到与某些库...

hadoop常见问题及解决方法: 解决方法：NameNode启动时，首先进入安全模式，如果DataNode丢失的block达到一定的比例（1-dfs.safemode.threshold.pct），则系统一直处于安全模式状态，即只读状态。可以通过dfsadmin -safemode leave命令强制离开...

Global site tag (gtag.js) - Google Analytics