`
justinyao
  • 浏览: 40485 次
  • 性别: Icon_minigender_1
  • 来自: 广州
社区版块
存档分类
最新评论

jps命令不能查看hadoop进程

 
阅读更多

       今天使用jps命令,发现没有了hadoop的相关进程,如datanode,namenode,jobtracker,tasktracker等,都看不到了,但使用pe -ef|grep hadoop是看到相关进程的,而且hadoop是正常运行当中,能跑mr程序.这个问题导致的后果就是不能对hadoop进程停启了,因为机器认不到namenode/datanode进程,影响还是挺大的.

       网上也没找到解决方案,最后发现是因为linux下的tmpwatch把/tmp目录的一个特殊文件删除了(定时清理),这个文件保存的是用户启动进程的pid信息.解决方法是修改相关文件,防止/tmp目录的一些文件被删除:

1切换root

2.编辑tmpwatch文件

vi /etc/cron.daily/tmpwatch 

 3.插入 -X '/tmp/hsperfdata_*' 10d /tmp , -X 是表示不删除某目录

flags=-umc
/usr/sbin/tmpwatch "$flags" -x /tmp/.X11-unix -x /tmp/.XIM-unix \
        -x /tmp/.font-unix -x /tmp/.ICE-unix -x /tmp/.Test-unix 240 /tmp \
        -X '/tmp/hsperfdata_*' 10d /tmp
/usr/sbin/tmpwatch "$flags" 720 /var/tmp
for d in /var/{cache/man,catman}/{cat?,X11R6/cat?,local/cat?}; do
    if [ -d "$d" ]; then
        /usr/sbin/tmpwatch "$flags" -f 720 "$d"
    fi
done

  

 4.重启一下机器,问题解决.

 

启动hadoop. jps能看到相关的hadoop进程了.

 

摘自网上:

写道

java程序启动后,默认(请注意是默认)会在/tmp/hsperfdata_userName目录下以该进程的id为文件名新建文件,并在该文件中存储jvm运行的相关信息,其中的userName为当前的用户名,/tmp/hsperfdata_userName目录会存放该用户所有已经启动的java进程信息。对于windows机器/tmp用Windows存放临时文件目录代替。

 

 

ps:我使用的是redhat5系统,之前使用centos系统没出现过这个问题,不知是否跟系统有关.

 

分享到:
评论

相关推荐

    hadoop 关闭进程时报错no 进程 to stop

    使用`jps`命令检查当前正在运行的Hadoop进程,确保你要停止的进程还在运行。 2. **权限问题**: - 如果你没有足够的权限去终止进程,也可能导致这个错误。确保你以正确的用户身份运行命令,通常在Hadoop集群中是`...

    Hadoop命令使用手册中文版

    - 使用`jps`命令查看Hadoop进程状态。 - `hadoop fsck /`:检查文件系统的完整性。 #### 六、总结 Hadoop作为一个强大的分布式计算平台,不仅提供了丰富的文件系统操作和数据处理功能,还具备灵活的配置管理和...

    Hadoop命令

    - `jps`:在节点上运行,显示正在运行的Hadoop进程,如NameNode、DataNode、ResourceManager等。 通过掌握这些基本的Hadoop命令,你可以有效地管理和操作Hadoop集群,进行大数据的存储和处理。实际工作中,还需要...

    Hadoop平台搭建.ppt

    最终,需要通过jps命令查看进程是否启动成功。 Hadoop平台搭建是一个复杂的过程,需要具备一定的Linux和Hadoop知识。只有通过详细的配置和测试,才能确保Hadoop平台的稳定运行。 知识点: * Hadoop平台搭建的过程...

    hadoop的安装

    - 最后,可以通过访问namenode页面或者使用jps命令查看进程,检查Hadoop是否成功启动。 以上步骤是按照学习笔记中提供的信息进行分解的,可能在不同版本的Hadoop中启动命令会有所差别。在学习和安装过程中,查阅...

    win环境 hadoop 3.1.0安装包

    通过`jps`命令检查Hadoop进程是否正常运行。 10. **测试Hadoop**: 使用`hadoop fs -ls /`命令检查HDFS是否工作正常。如果一切顺利,你应该能看到一个名为`/tmp`的目录。 11. **使用Hadoop**: 你可以编写...

    【IT十八掌徐培成】Hadoop第01天-05.hadoop伪分布式2.zip

    4. **验证安装**:可以通过JPS命令检查各个Hadoop守护进程是否正常运行,或者通过Web UI访问NameNode和ResourceManager的监控页面。 5. **运行测试程序**:为了确保伪分布式环境设置正确,可以编写一个简单的...

    hadoop.dll、winutils.exe

    6. **测试运行**:你可以通过`jps`命令检查Hadoop进程是否正常运行,或者通过`hadoop fs -ls /`命令验证HDFS是否可用。 在实际应用中,Hadoop常用于大数据分析、日志处理、机器学习等领域。虽然Linux仍然是Hadoop的...

    hadoop2安装和常用shell命令

    - 使用`jps`命令检查进程是否正常启动: ```bash $ jps 63078 DataNode 63195 NodeManager 63491 Jps ``` - 使用`hadoop dfsadmin -report`查看集群报告: ```bash $ hadoop dfsadmin -report ``` 2. **...

    第5章 Hadoop集群运行.docx

    用户需要熟悉查看Hadoop运行状态的方法,以及如何安全地停止Hadoop进程。 3. 实验环境: - 一个由三个或更多节点组成的服务器集群,节点间网络连通,每个节点至少配置为双核CPU、8GB内存和100GB硬盘。 - 操作...

    hadoop的winutils.exe工具和hadoop.dll

    8. **验证安装**:最后,你可以使用`jps`命令检查Hadoop进程是否已成功启动,如NameNode、DataNode、ResourceManager和NodeManager。 在配置过程中,可能会遇到权限问题、路径问题或版本不兼容等问题。解决这些问题...

    hadoop入门经典书籍

    此外,使用jps命令可以检查守护进程是否正在运行,该命令会列出所有运行中的JVM进程及其标识符。 总之,Hadoop是一个能够处理大规模数据集的分布式存储和计算平台。通过上述步骤和配置,即便是初学者也能完成Hadoop...

    大数据之hadoop伪分布模式启动.docx

    使用`jps`命令可以查看当前的Hadoop进程。如果Hadoop伪分布模式启动成功,将显示以下进程: * ResourceManager * SecondaryNameNode * NameNode * NodeManager * DataNode * Jps 查看ResourceManager Web界面 ...

    Hadoop的安装部署与配置实验 共11页.pdf

    然后,在 slave1 和 slave2 上运行 jps 命令,查看是否有以下进程: * Datanode * TaskTracker 最后,在浏览器上打开 master:50030 和 master:50070,查看 Hadoop 的 Web 界面。 六、常见错误 在进行 Hadoop ...

    apache-hadoop-3.1.0-winutils-master本地开发调试.zip

    8. **验证安装**:通过`jps`命令查看运行的Hadoop进程,确认它们已经成功启动。还可以通过浏览器访问`http://localhost:50070`来检查NameNode的状态。 9. **Spark集成**:如果你打算在Hadoop上运行Spark,确保Spark...

    hadoop+jdk.zip

    例如,可以使用`hadoop fs -ls /`命令检查HDFS的根目录,或者用`jps`命令查看各节点上的Hadoop进程状态。 总之,Hadoop与JDK在Linux环境中的集成是一项系统工程,涉及下载、安装、配置、启动等多个环节。正确理解和...

    hadoop2.71 window环境下运行文件

    同时,`hadoop dfsadmin -report`可查看HDFS的状态,`jps`命令能显示正在运行的Hadoop进程。 9. **Hadoop数据读写**: 使用HDFS命令行工具,如`hadoop fs -mkdir`创建目录,`hadoop fs -put`和`hadoop fs -get`进行...

    hadoop全分布式-脚本一键安装

    9. 验证安装:最后,脚本可能会检查Hadoop服务是否正常运行,例如通过jps命令查看进程,或者访问Web UI验证Hadoop集群的状态。 通过这样的自动化脚本,用户可以大大节省时间,避免手动操作带来的错误。但是,理解...

    hadoop-2.6.0 windows版本,bin目录包括hadoop.dll winutils.exe hadoop-2.6.0\bin

    - **启动和检查服务**:通过`start-all.sh`启动Hadoop服务,并使用jps命令检查是否所有进程(如DataNode、NameNode、ResourceManager、NodeManager)都在运行。 - **测试HDFS**:可以创建一个文件并将其上传到HDFS...

Global site tag (gtag.js) - Google Analytics