今天使用jps命令,发现没有了hadoop的相关进程,如datanode,namenode,jobtracker,tasktracker等,都看不到了,但使用pe -ef|grep hadoop是看到相关进程的,而且hadoop是正常运行当中,能跑mr程序.这个问题导致的后果就是不能对hadoop进程停启了,因为机器认不到namenode/datanode进程,影响还是挺大的.
网上也没找到解决方案,最后发现是因为linux下的tmpwatch把/tmp目录的一个特殊文件删除了(定时清理),这个文件保存的是用户启动进程的pid信息.解决方法是修改相关文件,防止/tmp目录的一些文件被删除:
1切换root
2.编辑tmpwatch文件
vi /etc/cron.daily/tmpwatch
3.插入 -X '/tmp/hsperfdata_*' 10d /tmp , -X 是表示不删除某目录
flags=-umc /usr/sbin/tmpwatch "$flags" -x /tmp/.X11-unix -x /tmp/.XIM-unix \ -x /tmp/.font-unix -x /tmp/.ICE-unix -x /tmp/.Test-unix 240 /tmp \ -X '/tmp/hsperfdata_*' 10d /tmp /usr/sbin/tmpwatch "$flags" 720 /var/tmp for d in /var/{cache/man,catman}/{cat?,X11R6/cat?,local/cat?}; do if [ -d "$d" ]; then /usr/sbin/tmpwatch "$flags" -f 720 "$d" fi done
4.重启一下机器,问题解决.
启动hadoop. jps能看到相关的hadoop进程了.
摘自网上:
写道
java程序启动后,默认(请注意是默认)会在/tmp/hsperfdata_userName目录下以该进程的id为文件名新建文件,并在该文件中存储jvm运行的相关信息,其中的userName为当前的用户名,/tmp/hsperfdata_userName目录会存放该用户所有已经启动的java进程信息。对于windows机器/tmp用Windows存放临时文件目录代替。
ps:我使用的是redhat5系统,之前使用centos系统没出现过这个问题,不知是否跟系统有关.
相关推荐
使用`jps`命令检查当前正在运行的Hadoop进程,确保你要停止的进程还在运行。 2. **权限问题**: - 如果你没有足够的权限去终止进程,也可能导致这个错误。确保你以正确的用户身份运行命令,通常在Hadoop集群中是`...
- 使用`jps`命令查看Hadoop进程状态。 - `hadoop fsck /`:检查文件系统的完整性。 #### 六、总结 Hadoop作为一个强大的分布式计算平台,不仅提供了丰富的文件系统操作和数据处理功能,还具备灵活的配置管理和...
- `jps`:在节点上运行,显示正在运行的Hadoop进程,如NameNode、DataNode、ResourceManager等。 通过掌握这些基本的Hadoop命令,你可以有效地管理和操作Hadoop集群,进行大数据的存储和处理。实际工作中,还需要...
最终,需要通过jps命令查看进程是否启动成功。 Hadoop平台搭建是一个复杂的过程,需要具备一定的Linux和Hadoop知识。只有通过详细的配置和测试,才能确保Hadoop平台的稳定运行。 知识点: * Hadoop平台搭建的过程...
- 最后,可以通过访问namenode页面或者使用jps命令查看进程,检查Hadoop是否成功启动。 以上步骤是按照学习笔记中提供的信息进行分解的,可能在不同版本的Hadoop中启动命令会有所差别。在学习和安装过程中,查阅...
通过`jps`命令检查Hadoop进程是否正常运行。 10. **测试Hadoop**: 使用`hadoop fs -ls /`命令检查HDFS是否工作正常。如果一切顺利,你应该能看到一个名为`/tmp`的目录。 11. **使用Hadoop**: 你可以编写...
4. **验证安装**:可以通过JPS命令检查各个Hadoop守护进程是否正常运行,或者通过Web UI访问NameNode和ResourceManager的监控页面。 5. **运行测试程序**:为了确保伪分布式环境设置正确,可以编写一个简单的...
6. **测试运行**:你可以通过`jps`命令检查Hadoop进程是否正常运行,或者通过`hadoop fs -ls /`命令验证HDFS是否可用。 在实际应用中,Hadoop常用于大数据分析、日志处理、机器学习等领域。虽然Linux仍然是Hadoop的...
- 使用`jps`命令检查进程是否正常启动: ```bash $ jps 63078 DataNode 63195 NodeManager 63491 Jps ``` - 使用`hadoop dfsadmin -report`查看集群报告: ```bash $ hadoop dfsadmin -report ``` 2. **...
用户需要熟悉查看Hadoop运行状态的方法,以及如何安全地停止Hadoop进程。 3. 实验环境: - 一个由三个或更多节点组成的服务器集群,节点间网络连通,每个节点至少配置为双核CPU、8GB内存和100GB硬盘。 - 操作...
8. **验证安装**:最后,你可以使用`jps`命令检查Hadoop进程是否已成功启动,如NameNode、DataNode、ResourceManager和NodeManager。 在配置过程中,可能会遇到权限问题、路径问题或版本不兼容等问题。解决这些问题...
此外,使用jps命令可以检查守护进程是否正在运行,该命令会列出所有运行中的JVM进程及其标识符。 总之,Hadoop是一个能够处理大规模数据集的分布式存储和计算平台。通过上述步骤和配置,即便是初学者也能完成Hadoop...
使用`jps`命令可以查看当前的Hadoop进程。如果Hadoop伪分布模式启动成功,将显示以下进程: * ResourceManager * SecondaryNameNode * NameNode * NodeManager * DataNode * Jps 查看ResourceManager Web界面 ...
然后,在 slave1 和 slave2 上运行 jps 命令,查看是否有以下进程: * Datanode * TaskTracker 最后,在浏览器上打开 master:50030 和 master:50070,查看 Hadoop 的 Web 界面。 六、常见错误 在进行 Hadoop ...
8. **验证安装**:通过`jps`命令查看运行的Hadoop进程,确认它们已经成功启动。还可以通过浏览器访问`http://localhost:50070`来检查NameNode的状态。 9. **Spark集成**:如果你打算在Hadoop上运行Spark,确保Spark...
例如,可以使用`hadoop fs -ls /`命令检查HDFS的根目录,或者用`jps`命令查看各节点上的Hadoop进程状态。 总之,Hadoop与JDK在Linux环境中的集成是一项系统工程,涉及下载、安装、配置、启动等多个环节。正确理解和...
同时,`hadoop dfsadmin -report`可查看HDFS的状态,`jps`命令能显示正在运行的Hadoop进程。 9. **Hadoop数据读写**: 使用HDFS命令行工具,如`hadoop fs -mkdir`创建目录,`hadoop fs -put`和`hadoop fs -get`进行...
9. 验证安装:最后,脚本可能会检查Hadoop服务是否正常运行,例如通过jps命令查看进程,或者访问Web UI验证Hadoop集群的状态。 通过这样的自动化脚本,用户可以大大节省时间,避免手动操作带来的错误。但是,理解...
- **启动和检查服务**:通过`start-all.sh`启动Hadoop服务,并使用jps命令检查是否所有进程(如DataNode、NameNode、ResourceManager、NodeManager)都在运行。 - **测试HDFS**:可以创建一个文件并将其上传到HDFS...