`
这些年
  • 浏览: 397882 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

namenode无法启动

 
阅读更多

最近遇到了一个问题,执行start-all.sh的时候发现JPS一下namenode没有启动
        每次开机都得重新格式化一下namenode才可以
        其实问题就出在tmp文件,默认的tmp文件每次重新开机会被清空,与此同时namenode的格式化信息就会丢失
        于是我们得重新配置一个tmp文件目录
        首先在home目录下建立一个hadoop_tmp目录
                sudo mkdir ~/hadoop_tmp
        然后修改hadoop/conf目录里面的core-site.xml文件,加入以下节点:
              

  <property>
                        <name>hadoop.tmp.dir</name>
                <value>/home/chjzh/hadoop_tmp</value>
                        <description>A base for other temporary directories.</description>
                </property>

 
        注意:我的用户是chjzh所以目录是/home/chjzh/hadoop_tmp
                
        OK了,重新格式化Namenode
                hadoop namenode -format
        然后启动hadoop
                start-all.sh
        执行下JPS命令就可以看到NameNode了

分享到:
评论

相关推荐

    namenode启动失败参考

    当Namenode启动失败时,通常与fsimage和edits文件有关,这些文件是Namenode存储元数据的重要组成部分。以下是一些关于Namenode启动失败的常见原因、解决方案和预防措施。 **1. fsimage文件丢失或损坏** fsimage文件...

    hbase fsimage损坏处理问题.docx

    在NameNode启动时,会加载`fsimage`来初始化其内存中的元数据视图。此外,随着HDFS的运行,NameNode还会不断地将更改记录到`edits`日志中。定期,NameNode会合并`fsimage`和`edits`以生成新的`fsimage`,并清空`...

    hadoop学习常见问题(手动整理)

    因此,在系统重启后,Namenode的相关格式化信息会丢失,导致Namenode无法启动。 **解决方法**: 1. **创建新的临时文件目录**:在用户的主目录下创建一个新的目录作为Hadoop的临时文件存放地,例如`mkdir ~/hadoop...

    安装Hadoop1.0.4伪分布式的方法.docx

    不设置`dfs.name.dir`和`dfs.data.dir`会导致数据默认存储在`/tmp`目录下,重启后数据会丢失,导致NameNode无法启动。如果设置了`hadoop.tmp.dir`,数据将存储在此目录下,确保了数据的安全性。 **四、启动Hadoop**...

    配hadoopHA最怕就是配置文件错了

    - **权限和所有权**:文件系统的权限和所有权设置不当可能会导致NameNode无法启动或数据丢失。 - **网络隔离**:为了防止脑裂,需要正确配置心跳和数据通信的网络隔离。 - **JMX端口冲突**:NameNode的JMX端口需要...

    hadoop3.0.0安装和配置

    在安装和配置过程中,如果遇到NameNode无法启动的情况,可能是以下几个原因: - **未格式化NameNode**:确保已使用`hadoop namenode -format`命令初始化。 - **配置错误**:检查所有配置文件,确保主机名和路径信息...

    HDFS中NameNode节点的配置、备份和恢复.doc

    HDFS 中 NameNode 节点的配置、备份和恢复 ...HDFS 中 NameNode 节点的配置、备份和恢复是非常重要的, SecondaryNameNode 节点的配置和备份策略可以有效地减少 NameNode 节点的启动时间,并确保 HDFS 集群的高可用性。

    hadoop NameNode 源码解析

    在本文中,我们将深入探讨 Hadoop NameNode 的源码,了解其启动过程、配置加载、RPC 服务端创建、 Namenode 对象初始化等关键步骤。 启动 NameNode ---------------- 在 Hadoop 中,NameNode 的启动过程由 `main` ...

    Hadoop Namenode恢复

    在修改完配置文件后,需要重启 Hadoop,检查 namenode 是否启动成功。可以使用 jps 命令查看 namenode 的进程。 四、恢复 namenode 在 namenode 崩溃的情况下,需要模拟 namenode 的崩溃,删除 namenode 的文件夹...

    hadoop2.0 2个namenode 2个datanode 部署

    在启动服务之前,我们需要格式化 Namenode,使用命令 ${HADOOP_HOME}/bin/hdfs namenode -format -clusterid [clusterID]。然后,在某个 Namenode 上执行 ${HADOOP_HOME}/sbin/,启动服务。 高可用性 在这个部署...

    【HDFS篇08】NameNode故障处理1

    4. 复制SNN的数据到NameNode的数据目录,并删除`in_use.lock`文件,以防止NameNode在启动时因锁文件的存在而失败。 5. 使用`-importCheckpoint`选项启动NameNode守护进程,这会将SNN的数据导入到NameNode的数据目录...

    NameNode机制.docx

    当NameNode启动时会自动进入安全模式,在此模式下,客户端只能执行读操作,不能进行写操作。 ##### 2、安全模式 安全模式的开启和关闭可以通过命令行工具来控制。例如,启用安全模式: ``` hdfs dfsadmin -safe...

    【HDFS篇07】NameNode和SecondearyNameNode1

    1. **首次启动与格式化:** 当NameNode首次启动或格式化时,会创建两个关键文件——Fsimage和Edits。Fsimage是HDFS文件系统元数据的一个静态快照,包含所有目录和文件的IDNode信息。Edits文件则记录了所有后续的修改...

    11_尚硅谷大数据之HDFS_NameNode和SecondaryNameNode1

    每次NameNode启动时,会读取Fsimage并结合Edits文件更新内存中的元数据。 - **Edits**:记录了所有对文件系统的更新操作,即自上次检查点以来的所有变更。每次有新的编辑操作,NameNode就会在Edits文件中添加一条...

    Hadoop datanode重新加载失败无法启动解决.docx

    Hadoop datanode重新加载失败无法启动解决 本文将详细讲解Hadoop datanode重新加载失败无法启动解决的知识点,主要包括datanode加载失败的原因、解决方法和步骤。 知识点1: datanode加载失败的原因 datanode加载...

    HDFS的概念-namenode和datanode.pdf

    Namenode并不持久化存储数据块的位置信息,而是依赖Datanode在系统启动时报告其存储的块信息。当客户端需要访问文件时,Namenode会提供文件的块位置信息,客户端据此与相应的Datanode进行交互。 Datanodes是HDFS的...

    Hadoop集群的搭建.docx

    如果启动后发现NameNode进程未启动,检查是否已执行初始化操作。如果DataNode进程未启动或出现多个DataNode进程,可能是由于在DataNode的临时文件目录下存在旧的ID信息。解决方法有两种:一是手动修改DataNode和...

    Hadoop中namenode和secondarynamenode工作机制讲解

    当namenode启动时,会按照以下流程进行工作: 1. 如果是第一次启动,它会格式化HDFS并创建FSImage文件以及Edits日志文件。 2. 如果不是首次启动,则会加载编辑日志文件和FSImage文件到内存。 3. 客户端会向namenode...

    Hadoop HA集群启动.docx

    Hadoop HA集群的启动涉及到多个组件和服务的启动和配置,包括JournalNode、NameNode、Zookeeper、ResourceManager和NodeManager。每个组件都有其特定的角色和职责,确保整个集群的高可用性和稳定性。正确配置和启动...

Global site tag (gtag.js) - Google Analytics