`
bo_hai
  • 浏览: 564568 次
  • 性别: Icon_minigender_1
  • 来自: 武汉
社区版块
存档分类
最新评论

权限不对导致datanode启动不成功

 
阅读更多

一、使用JPS发现datanode没有启动成功，然后分析日志。看到有如下信息：

WARN org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Source name ugi already exists!
WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Invalid directory in dfs.data.dir: Incorrect permission for /home/hongbo/hadoop/dfs/data, expected: rwxr-xr-x, while actual: rwxrwxrwx
ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: All directories in dfs.data.dir are invalid.

   通过日志信息可以看到，是因为/dfs/data 的权限不对。然后通过：

chmod -R 755 ./data

  正确的设置data目录的权限。再次启动。问题解决。

 

 参考信息：

    http://blog.csdn.net/lxpbs8851/article/details/8295742

    http://www.eeqee.com/jforum/posts/list/2482.page

1
顶
0
踩
分享到：
| Hadoop 配置分享
评论
发表评论

您还没有登录,请您登录后再发表评论

相关推荐

    Hadoop datanode启动失败：Hadoop安装目录权限的问题

    - **启动Hadoop时的权限问题**：由于Hadoop的配置通常要求由特定的非`root`用户（如`hadoop`用户）来运行服务，因此当Hadoop安装目录的所有者为`root`时，会导致Datanode在启动时遇到权限问题。 #### 三、解决方案 ...

    hadoop 关闭进程时报错no 进程 to stop

    - 可能是因为在不同的shell会话或终端窗口中启动了多个Hadoop进程，而你在关闭一个时，另一个进程已经被关闭，导致找不到对应的PID。 4. **进程名不匹配**： - 使用`kill`命令时，如果进程名或命令行参数不完全...

    成功安装-安装hadoop遇到的问题

    - **权限问题**：Hadoop目录和文件的权限设置不当，可能导致启动失败。 - **软硬件兼容性**：例如，Hadoop版本与Linux发行版的兼容性，以及内存和CPU资源是否满足需求。 - **网络问题**：集群间通信失败，可能是因为...

    hadoop (1).docx

    2. NameNode检查文件是否存在和客户端权限，成功则记录操作，否则抛出异常。 3. 文件被切分成块，客户端请求写入第一个块。 4. NameNode返回满足副本数的DataNode列表。 5. 客户端与DataNode建立pipeline，以流式...

    hadoop集群遇到的问题及其解决方法

    2. **临时文件路径配置不当：** 如果Hadoop默认使用的临时文件路径（通常是`/tmp`）在系统重启后被清空，则可能导致DataNode启动失败。 **解决方法：** 1. **检查并修正/etc/hosts文件：** - 确认所有节点的`/etc...

    hadoop集群配置范例及问题总结.docx

    10. 主机名不能包含下划线：Hadoop集群的主机名不能包含下划线，否则可能会导致集群无法正常工作。 11. Namenode和JobTracker的设置：Namenode和JobTracker可以设置在同一台机器上，以提高集群的性能。 12. SSH...

    安装Hadoop1.0.4伪分布式的方法.docx

    不设置`dfs.name.dir`和`dfs.data.dir`会导致数据默认存储在`/tmp`目录下，重启后数据会丢失，导致NameNode无法启动。如果设置了`hadoop.tmp.dir`，数据将存储在此目录下，确保了数据的安全性。 **四、启动Hadoop**...

    Hadoop2.8安装文档

    配置 Datanode 和 Namenode 相似，但是不需要格式化。将 Hadoop 文件夹从 Namenode 上拷贝到集群中的其他机器上： `scp -r hadoop cm02:/`pwd`` 或者使用 XFTP 上传： `xftp` 启动 Datanode： `hadoop-daemon....

    【HDFS篇09】集群安全模式1

    安全模式主要是为了防止在集群启动初期，由于数据不完整或者丢失可能导致的问题。在这个模式下，Namenode不允许有任何的写操作，客户端只能进行读取操作，以此来保护数据的安全。 Namenode在启动时，首先会加载磁盘...

    hadoop学习常见问题(手动整理)

    **原因分析**：这可能是由于HDFS客户端操作文件的用户与文件所有者不匹配，或者文件权限设置不正确导致的。 **解决方法**： 1. **设置HADOOP_USER_NAME环境变量**：在系统的环境变量或Java JVM变量中添加`HADOOP_...

    大数据技术Hadoop笔试题.doc.docx

    它并不作为NameNode的热备份，也不对内存无要求。 8. 可以作为集群管理工具的包括Puppet、Pdsh、Cloudera Manager和Zookeeper，全选，选项abcd。 9. 配置机架感知的正确说法是，写入数据时会写到不同机架的...

    hadoop伪分布式搭建.docx

    - **严重错误**：安装过程中出现严重错误可能是由于设备安装服务未启动导致的。解决方法是检查并确保“DeviceInstallService”和“DeviceSetupManager”服务已开启。 - **COM 对象创建失败**： - 错误情况 1：未...

    大数据面试题 (2).pdf

    - 解析：通常，SecondaryNameNode与NameNode不在同一个节点启动，以减少NameNode的压力。 4. Hadoop的作者是谁？ - 答案：C Doug Cutting - 解析：Doug Cutting是Hadoop的创始人之一，他最初为开发Apache Nutch...

    hadoopInstroduce.docx

    当一个DataNode故障时，其他副本可以接管，保证服务不中断。 总的来说，Hadoop提供了一个分布式计算和存储的平台，使得处理大规模数据变得更加高效和便捷。它不仅适用于数据仓库、日志分析、科学计算等场景，也是...

    大数据技术Hadoop笔试题.doc.pdf

    33. **DataNode加入集群**：当DataNode首次加入cluster时，如果报告文件版本不兼容，可能需要在NameNode上执行`hadoop namenode -format`命令格式化磁盘（答案正确）。 以上是对Hadoop大数据技术的详细解析，涵盖了...

    大数据面试题(1).docx

    【大数据面试知识点】 ...33. **DataNode加入集群**：当DataNode首次加入时，如果报告文件版本不兼容，需要在NameNode上执行`hadoop namenode -format`命令进行格式化，但这通常只在初次部署时进行。

    [hadoop] ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation. Starting datanodes

    这个错误通常意味着系统在尝试启动Hadoop服务时，无法找到配置中定义的HDFS名称节点用户（HDFS_NAMENODE_USER），因此导致启动操作失败，数据节点（Datanodes）无法正常启动。 Hadoop是Apache开源项目的一个关键...

    CentOS下Hadoop-0.20.2集群配置文档

    7. **测试集群**：使用`hadoop fs -put`命令上传一个文件到HDFS，然后通过`hadoop fs -ls`查看是否成功。再运行一个简单的WordCount示例，确保MapReduce功能正常。 8. **监控集群**：使用`jps`命令检查各节点上的...

Magicbox
Global site tag (gtag.js) - Google Analytics