`

Hadoop机器运行一段时间后hadoop不能stop-all.sh的问题

阅读更多
显示报错no tasktracker to stop ,no datanode to stop
问题的原因是hadoop在stop的时候依据的是datanode上的mapred和dfs进程号。而默认的进程号保存在/tmp下,linux 默认会每隔一段时间(一般是一个月或者7天左右)去删除这个目录下的文件。因此删掉hadoop-hadoop-jobtracker.pid和hadoop-hadoop-namenode.pid两个文件后,namenode自然就找不到datanode上的这两个进程了。
在配置文件hadoop_env.sh中配置export HADOOP_PID_DIR可以解决这个问题。
在配置文件中,HADOOP_PID_DIR的默认路径是“/var/hadoop/pids”,我们手动在“/var”目录下创建一个“hadoop”文件夹,若已存在就不用创建,记得用chown将权限分配给hadoop用户。然后在出错的Slave上杀死Datanode和Tasktracker的进程(kill -9 进程号),再重新start-all.sh,stop-all.sh时发现没有“no datanode to stop”出现,说明问题已经解决。
分享到:
评论

相关推荐

    hadoop-3.1.4.tar.zip

    7. **sbin目录**:系统级别的脚本,用于管理Hadoop集群,如启动和停止所有Hadoop服务的`start-all.sh`和`stop-all.sh`。 在使用Hadoop 3.1.4时,首先要根据自己的集群环境配置这些配置文件。例如,你需要在`hdfs-...

    hadoop-2.6.0.tar.gz

    7. **关闭Hadoop**:在不使用Hadoop时,应通过`stop-dfs.sh`和`stop-yarn.sh`脚本停止所有服务,以释放系统资源。 在Hadoop 2.6.0中,MapReduce框架也得到了改进,支持更高效的并行计算。此外,YARN作为新的资源...

    hbase-0.98.17-hadoop2-bin.tar.gz

    HBase是Apache软件基金会的一个开源NoSQL数据库,它构建在Hadoop文件系统(HDFS)之上,设计用于处理大规模分布式数据。HBase提供了一个高可靠、高性能、可伸缩的列式存储模型,适合处理非结构化和半结构化数据。`...

    linux版本hadoop-2.7.2.zip

    3. **启动和停止Hadoop服务**:使用sbin目录下的start-dfs.sh和start-yarn.sh命令启动HDFS和YARN(Hadoop的资源管理系统),使用stop-dfs.sh和stop-yarn.sh命令停止服务。 4. **伪分布式模式**:在单机上模拟分布式...

    zeppelin-0.8.1-bin-all.tgz

    "zeppelin-0.8.1-bin-all.tgz" 是Zeppelin的一个发行版本,包含了所有必要的文件,使得用户可以直接在本地或集群环境中部署和运行Zeppelin。 在0.8.1版本中,Zeppelin提供了多种内建的解释器,支持包括Hive在内的...

    centos7系统中的hadoop3.2.0的配置文件.rar

    hadoop-env.sh,mapred-env.sh,yarn-env.sh,core-site.xml,hdfs-site.xml,mapred-site.xml,yarn-site.xml,workers,hadoop安装目录下sbin目录下的文件:start-dfs.sh,stop-dfs.sh,sart-yarn.sh,stop-yarn.sh。...

    hadoop2.7.6-binaries.zip

    4. **sbin**: 存放服务启动和停止的脚本,如`start-dfs.sh`和`start-yarn.sh`用于启动HDFS和YARN服务,`stop-dfs.sh`和`stop-yarn.sh`则用于停止服务。 在使用这个压缩包之前,你需要确保你的系统满足Hadoop运行的...

    hadoop-2.6.4.tar.gz

    8. **启动和脚本文件**:启动、停止Hadoop服务的脚本,如`start-dfs.sh`、`start-yarn.sh`和`stop-all.sh`。 为了部署和运行Hadoop 2.6.4,用户需要解压这个压缩包,根据其内部的文档配置环境,包括设置HDFS的存储...

    docker 部署spark集群配置文件

    描述: 这个资源包含了一个基本的Spark集群配置,包括Hadoop、Hive、MySQL和Spark的配置文件。 文件清单: Dockerfile build.sh build_network.sh -yarn-site.xml -stop_containers.sh -start-hadoop.sh -start_...

    hadoop-2.6.4.rar

    7. **启动与停止Hadoop**:通过执行`start-dfs.sh`和`start-yarn.sh`启动Hadoop服务,使用`stop-dfs.sh`和`stop-yarn.sh`关闭服务。 8. **HDFS操作**:可以使用`hadoop fs`命令与HDFS进行交互,如上传、下载文件,...

    hadoop—集群维护手册分享.pdf

    Hadoop 集群的启动和停止命令分别是 start-all.sh 和 stop-all.sh。这些命令可以在 Hadoop 的安装目录下找到。 二、节点添加和数据平衡 当需要增加集群的存储量时,建议增加 Hadoop datanode 节点。增加节点的步骤...

    hadoop-3.1.0.zip,windows 编译后bin文件,windows Hadoop客户端环境

    这个“hadoop-3.1.0.zip”压缩包包含了在Windows平台上编译后的Hadoop bin文件,这些文件是用于在Windows系统中设置和运行Hadoop客户端环境所必需的。 在Hadoop 3.1.0版本中,有许多关键的改进和新特性,包括但不...

    【IT十八掌徐培成】Hadoop第01天-03.hadoop安装.zip

    9. **关闭Hadoop**:使用`stop-dfs.sh`和`stop-yarn.sh`命令停止Hadoop服务,保持系统的资源利用率。 这个压缩包中的"Hadoop第01天-03.hadoop安装.avi"可能是一个视频教程,详细演示了以上步骤,对于初学者来说是...

    windows_hadoop2.7.6

    通常,这些脚本用于启动和停止Hadoop服务,如`start-dfs.sh`和`stop-dfs.sh`用于启动和停止HDFS,`start-yarn.sh`和`stop-yarn.sh`用于启动和停止YARN。 最后,启动Hadoop服务,你可以使用`sbin/start-all.sh`命令...

    完美解决Hadoop集群无法正常关闭的问题!

     但往往一stop-all.sh,集群下方总会出现下面的提示: [root@master ~]# stop-dfs.sh Stopping namenodes on [master] master: no namenode to stop slave2: no datanode to stop slave1: no datanode to stop …  ...

    apache-dolphinscheduler-3.2.1-src.tar.gz、bin.tar.gz

    它通常包括启动脚本(如`start.sh`和`stop.sh`)、配置文件(如`conf`目录下的`dolphinscheduler_config.properties`)、日志文件、以及依赖的库文件等。用户可以直接在满足系统要求的环境中部署这个二进制包,无需...

    大数据中Hadoop Shell介绍

    - `start-all.sh`用于一次性启动整个Hadoop集群的所有服务,包括HDFS和MapReduce服务。 - `stop-all.sh`则用于停止所有之前启动的服务。 5. **`start-dfs.sh`/`stop-dfs.sh`**: - 分别用于启动和停止HDFS服务,...

    单节点运行hadoop环境配置.docx

    6. `stop-all.sh`:停止所有Hadoop守护进程,但已被废弃,推荐使用`stop-mapred.sh`和`stop-dfs.sh`分别停止MapReduce和HDFS。 在配置Hadoop时,还需要进行一系列的设置,包括修改`conf`目录下的`core-site.xml`, `...

    实验8+Hadoop安装、部署与应用-final.zip_depthrss_hadoop_linux

    首先,我们需要准备一个Linux环境,例如Ubuntu或CentOS,因为它们是Hadoop最常见的运行平台。在Linux系统上,你需要具备基本的命令行操作能力,如创建目录、编辑文件等。确保系统已经更新到最新版本,并安装了Java...

    hadoop-2.6.0 windows版本,bin目录包括hadoop.dll winutils.exe hadoop-2.6.0\bin

    除了hadoop.dll和winutils.exe,还有其他重要工具,比如`start-all.sh`、`stop-all.sh`用于启动和停止Hadoop集群服务,`hadoop`命令行工具用于与Hadoop交互,以及`hdfs`和`yarn`子命令等,它们帮助用户管理HDFS和...

Global site tag (gtag.js) - Google Analytics