`

Hadoop机器运行一段时间后hadoop不能stop-all.sh的问题

hadoop no datanode to stop 
阅读更多
显示报错no tasktracker to stop ，no datanode to stop
问题的原因是hadoop在stop的时候依据的是datanode上的mapred和dfs进程号。而默认的进程号保存在/tmp下，linux 默认会每隔一段时间（一般是一个月或者7天左右）去删除这个目录下的文件。因此删掉hadoop-hadoop-jobtracker.pid和hadoop-hadoop-namenode.pid两个文件后，namenode自然就找不到datanode上的这两个进程了。
在配置文件hadoop_env.sh中配置export HADOOP_PID_DIR可以解决这个问题。
在配置文件中，HADOOP_PID_DIR的默认路径是“/var/hadoop/pids”，我们手动在“/var”目录下创建一个“hadoop”文件夹，若已存在就不用创建，记得用chown将权限分配给hadoop用户。然后在出错的Slave上杀死Datanode和Tasktracker的进程(kill -9 进程号)，再重新start-all.sh，stop-all.sh时发现没有“no datanode to stop”出现，说明问题已经解决。
分享到：
| 删除所有的.svn文件夹
评论
发表评论

您还没有登录,请您登录后再发表评论

相关推荐

    hadoop-3.1.4.tar.zip

    7. **sbin目录**：系统级别的脚本，用于管理Hadoop集群，如启动和停止所有Hadoop服务的`start-all.sh`和`stop-all.sh`。 在使用Hadoop 3.1.4时，首先要根据自己的集群环境配置这些配置文件。例如，你需要在`hdfs-...

    hadoop-2.6.0.tar.gz

    7. **关闭Hadoop**：在不使用Hadoop时，应通过`stop-dfs.sh`和`stop-yarn.sh`脚本停止所有服务，以释放系统资源。 在Hadoop 2.6.0中，MapReduce框架也得到了改进，支持更高效的并行计算。此外，YARN作为新的资源...

    hbase-0.98.17-hadoop2-bin.tar.gz

    HBase是Apache软件基金会的一个开源NoSQL数据库，它构建在Hadoop文件系统（HDFS）之上，设计用于处理大规模分布式数据。HBase提供了一个高可靠、高性能、可伸缩的列式存储模型，适合处理非结构化和半结构化数据。`...

    linux版本hadoop-2.7.2.zip

    3. **启动和停止Hadoop服务**：使用sbin目录下的start-dfs.sh和start-yarn.sh命令启动HDFS和YARN（Hadoop的资源管理系统），使用stop-dfs.sh和stop-yarn.sh命令停止服务。 4. **伪分布式模式**：在单机上模拟分布式...

    zeppelin-0.8.1-bin-all.tgz

    "zeppelin-0.8.1-bin-all.tgz" 是Zeppelin的一个发行版本，包含了所有必要的文件，使得用户可以直接在本地或集群环境中部署和运行Zeppelin。 在0.8.1版本中，Zeppelin提供了多种内建的解释器，支持包括Hive在内的...

    centos7系统中的hadoop3.2.0的配置文件.rar

    hadoop-env.sh,mapred-env.sh,yarn-env.sh,core-site.xml,hdfs-site.xml,mapred-site.xml,yarn-site.xml,workers,hadoop安装目录下sbin目录下的文件：start-dfs.sh,stop-dfs.sh,sart-yarn.sh,stop-yarn.sh。...

    hadoop2.7.6-binaries.zip

    4. **sbin**: 存放服务启动和停止的脚本，如`start-dfs.sh`和`start-yarn.sh`用于启动HDFS和YARN服务，`stop-dfs.sh`和`stop-yarn.sh`则用于停止服务。 在使用这个压缩包之前，你需要确保你的系统满足Hadoop运行的...

    hadoop-2.6.4.tar.gz

    8. **启动和脚本文件**：启动、停止Hadoop服务的脚本，如`start-dfs.sh`、`start-yarn.sh`和`stop-all.sh`。 为了部署和运行Hadoop 2.6.4，用户需要解压这个压缩包，根据其内部的文档配置环境，包括设置HDFS的存储...

    docker 部署spark集群配置文件

    描述: 这个资源包含了一个基本的Spark集群配置，包括Hadoop、Hive、MySQL和Spark的配置文件。 文件清单: Dockerfile build.sh build_network.sh -yarn-site.xml -stop_containers.sh -start-hadoop.sh -start_...

    hadoop-2.6.4.rar

    7. **启动与停止Hadoop**：通过执行`start-dfs.sh`和`start-yarn.sh`启动Hadoop服务，使用`stop-dfs.sh`和`stop-yarn.sh`关闭服务。 8. **HDFS操作**：可以使用`hadoop fs`命令与HDFS进行交互，如上传、下载文件，...

    hadoop—集群维护手册分享.pdf

    Hadoop 集群的启动和停止命令分别是 start-all.sh 和 stop-all.sh。这些命令可以在 Hadoop 的安装目录下找到。 二、节点添加和数据平衡 当需要增加集群的存储量时，建议增加 Hadoop datanode 节点。增加节点的步骤...

    hadoop-3.1.0.zip，windows 编译后bin文件，windows Hadoop客户端环境

    这个“hadoop-3.1.0.zip”压缩包包含了在Windows平台上编译后的Hadoop bin文件，这些文件是用于在Windows系统中设置和运行Hadoop客户端环境所必需的。 在Hadoop 3.1.0版本中，有许多关键的改进和新特性，包括但不...

    【IT十八掌徐培成】Hadoop第01天-03.hadoop安装.zip

    9. **关闭Hadoop**：使用`stop-dfs.sh`和`stop-yarn.sh`命令停止Hadoop服务，保持系统的资源利用率。 这个压缩包中的"Hadoop第01天-03.hadoop安装.avi"可能是一个视频教程，详细演示了以上步骤，对于初学者来说是...

    windows_hadoop2.7.6

    通常，这些脚本用于启动和停止Hadoop服务，如`start-dfs.sh`和`stop-dfs.sh`用于启动和停止HDFS，`start-yarn.sh`和`stop-yarn.sh`用于启动和停止YARN。 最后，启动Hadoop服务，你可以使用`sbin/start-all.sh`命令...

    hadoop-2.4.1安装软件包以及教程jdk.zip

    第一个：hadoop-env.sh vim hadoop-env.sh #第27行 export JAVA_HOME=/usr/java/jdk1.7.0_65 第二个：core-site.xml <!-- 指定HADOOP所使用的文件系统schema（URI），HDFS的老大（NameNode）的地址 --&...

    完美解决Hadoop集群无法正常关闭的问题!

     但往往一stop-all.sh,集群下方总会出现下面的提示： [root@master ~]# stop-dfs.sh Stopping namenodes on [master] master: no namenode to stop slave2: no datanode to stop slave1: no datanode to stop …  ...

    大数据中Hadoop Shell介绍

    - `start-all.sh`用于一次性启动整个Hadoop集群的所有服务，包括HDFS和MapReduce服务。 - `stop-all.sh`则用于停止所有之前启动的服务。 5. **`start-dfs.sh`/`stop-dfs.sh`**： - 分别用于启动和停止HDFS服务，...

    hadoop集群维护手册.pdf

    Hadoop 集群可以使用 start-all.sh 命令启动，使用 stop-all.sh 命令停止。在集群维护过程中，需要频繁地启动和停止集群，因此掌握这些命令非常重要。 二、增加集群存储量 如果需要增加集群的存储量，可以添加新的...

    单节点运行hadoop环境配置.docx

    6. `stop-all.sh`：停止所有Hadoop守护进程，但已被废弃，推荐使用`stop-mapred.sh`和`stop-dfs.sh`分别停止MapReduce和HDFS。 在配置Hadoop时，还需要进行一系列的设置，包括修改`conf`目录下的`core-site.xml`, `...

    实验8+Hadoop安装、部署与应用-final.zip_depthrss_hadoop_linux

    首先，我们需要准备一个Linux环境，例如Ubuntu或CentOS，因为它们是Hadoop最常见的运行平台。在Linux系统上，你需要具备基本的命令行操作能力，如创建目录、编辑文件等。确保系统已经更新到最新版本，并安装了Java...

Magicbox
Global site tag (gtag.js) - Google Analytics