`

Hadoop namenode无法启动

阅读更多

最近遇到了一个问题,执行start-all.sh的时候发现JPS一下namenode没有启动
        每次开机都得重新格式化一下namenode才可以
        其实问题就出在tmp文件,默认的tmp文件每次重新开机会被清空,与此同时namenode的格式化信息就会丢失
        于是我们得重新配置一个tmp文件目录
        首先在home目录下建立一个hadoop_tmp目录
                sudo mkdir ~/hadoop_tmp
        然后修改hadoop/conf目录里面的core-site.xml文件,加入以下节点:
                <property>
                        <name>hadoop.tmp.dir</name>
                <value>/home/chjzh/hadoop_tmp</value>
                        <description>A base for other temporary directories.</description>
                </property>
        注意:我的用户是chjzh所以目录是/home/chjzh/hadoop_tmp
                
        OK了,重新格式化Namenode
                hadoop namenode -format
        然后启动hadoop
                start-all.sh
        执行下JPS命令就可以看到NameNode了

 

 

转自 http://blog.csdn.net/bychjzh/article/details/7830508

分享到:
评论

相关推荐

    hadoop NameNode 源码解析

    Hadoop NameNode 源码解析 ...本文对 Hadoop NameNode 的源码进行了深入分析,了解了其启动过程、配置加载、RPC 服务端创建、 Namenode 对象初始化等关键步骤,为读者提供了一个详细的 Hadoop NameNode 源码解析。

    Hadoop Namenode恢复

    三、重启 Hadoop 并检查 namenode 的启动情况 在修改完配置文件后,需要重启 Hadoop,检查 namenode 是否启动成功。可以使用 jps 命令查看 namenode 的进程。 四、恢复 namenode 在 namenode 崩溃的情况下,需要...

    hadoop学习常见问题(手动整理)

    #### Hadoop Namenode无法启动 **问题描述**:在执行`start-all.sh`脚本后,通过`JPS`命令查看进程时发现Namenode并未启动。 **原因分析**:默认情况下,Hadoop会将临时文件存放在/tmp目录下,而此目录在某些操作...

    Hadoop常见异常

    这个错误可能是由于Hadoop无法连接到NameNode导致的。解决办法是,检查Hadoop的配置文件,确保NameNode的设置正确。 Hadoop常见的异常有多种,解决方法也各不相同。但是,通过检查Hadoop的配置文件,释放更多的磁盘...

    Hadoop大数据期末考试重点

    4. **Secondary NameNode的作用**:Secondary NameNode并非用于缩短Hadoop集群启动时间,而是辅助NameNode合并编辑日志,减少NameNode的重启时间。 5. **Hadoop的硬件需求与可靠性**:Hadoop设计允许在普通硬件上...

    namenode启动失败参考

    综上所述,解决Namenode启动失败的问题需要对Hadoop的内部机制有深入理解,包括元数据管理、配置参数以及故障恢复策略。通过理解这些知识点,可以更有效地诊断和处理类似问题,保证Hadoop集群的稳定运行。

    大数据之hadoop分布式集群初次启动.pdf

    首先,需要删除 master、slave1、slave2 节点中的 HDFS 目录数据,然后执行格式化命令 hadoop namenode –format。格式化完成后,HDFS 将被初始化。 三、启动 Hadoop 启动 Hadoop 集群需要启动 HDFS 和 YARN 两个...

    hadoop2.0 2个namenode 2个datanode 部署

    在启动服务之前,我们需要格式化 Namenode,使用命令 ${HADOOP_HOME}/bin/hdfs namenode -format -clusterid [clusterID]。然后,在某个 Namenode 上执行 ${HADOOP_HOME}/sbin/,启动服务。 高可用性 在这个部署...

    Hadoop HA集群启动.docx

    Hadoop HA集群的启动涉及到多个组件和服务的启动和配置,包括JournalNode、NameNode、Zookeeper、ResourceManager和NodeManager。每个组件都有其特定的角色和职责,确保整个集群的高可用性和稳定性。正确配置和启动...

    win安装部署hadoop3.0.0并启动上传文件到HDFS(博文相关代码)

    在本文中,我们将深入探讨如何在Windows环境下安装和部署Hadoop 3.0.0,并进行基本的操作,如启动服务、上传文件到HDFS、创建目录以及运行MapReduce的WordCount示例。Hadoop是Apache基金会的一个开源项目,主要用于...

    大数据之hadoop分布式集群初次启动.docx

    在master虚拟机中,输入命令hadoop namenode –format,以格式化HDFS。在格式化之前,需要删除各个节点的HDFS目录中的数据,以免影响格式化操作。 三、启动HDFS模块 启动HDFS模块使用命令start-dfs.sh。在启动过程...

    第6章-Hadoop HA集群启动.pdf

    【Hadoop HA 集群启动详解】 Hadoop 高可用性(High Availability, HA)是确保关键服务如 NameNode 和 ResourceManager 不会因为单点故障而中断的关键特性。本章节将详细阐述如何启动一个配置了 HA 的 Hadoop 集群...

    hadoop配置运行错误

    问题描述:在hadoop集群启动时,slave总是无法启动datanode,并报错“could only be replicated to 0 nodes, instead of 1”。 解决方法: 1. 删除所有节点的数据文件:删除所有节点的dfs.data.dir和dfs.tmp.dir...

    hadoop集群一键启动、关闭

    本文将深入探讨如何通过自定义脚本来实现Hadoop集群的一键启动、关闭功能,以及涉及的相关技术。 Hadoop是Apache软件基金会开发的一个开源框架,主要用于存储和处理大规模数据。其核心组件包括HDFS(Hadoop ...

    大数据之hadoop分布式集群初次启动 (2).pdf

    Hadoop 分布式集群初次启动 Hadoop 分布式集群初次启动是大数据处理中的重要步骤,本文将指导用户如何在虚拟机中搭建 Hadoop 分布式集群,并对其进行初次启动。 1. SSH 免密登录 在 Hadoop 分布式集群中,各个...

    Hadoop安装与配置详细教程(Linux)

    以上步骤详细介绍了在Linux环境下安装和配置Hadoop的过程,包括下载、解压、配置环境变量、配置Hadoop相关文件以及启动服务等关键步骤。在实际操作中,要根据你的具体环境和需求进行适当的调整。完成这些步骤后,你...

    hadoop安装过程中的问题

    6.hadoop namenode format 7./hadoop/etc/slaves这个文件里必须把所有的slaves的主机名写进去。 8.mast的/etc/hosts slave1的/etc/hosts slave2 的/etc/hosts (localhost: 127.0.0.1可以去掉,只写主机名对应的IP...

    hadoop2.4.1三台机器分布式安装

    weekend01 192.168.1.201 jdk、hadoop NameNode、DFSZKFailoverController(zkfc) weekend02 192.168.1.202 jdk、hadoop NameNode、DFSZKFailoverController(zkfc) weekend03 192.168.1.203 jdk、hadoop ...

    hadoop运行wordcount实例

    - 解决方案:当执行 `hadoop namenode -format` 时,确保 DataNode 和 NameNode 的元数据被正确格式化。若之前有残留的临时文件,需要先清除,然后重新执行格式化命令 `hadoop namenode -format`。 #### 三、成功...

    Hadoop windows启动文件

    3. **格式化NameNode**:在Hadoop初次启动前,需要对NameNode进行格式化,这会创建HDFS的元数据。在命令行中运行`hdfs namenode -format`。 4. **启动Datanodes和Namenode**:运行`start-dfs.cmd`启动Hadoop分布式...

Global site tag (gtag.js) - Google Analytics