Hadoop分布式时远程Datanode无法启动的解决

   blog迁移至 :http://www.micmiu.com

问题的基本现象：
在测试Hadoop的分布式环境搭建时，在namenode启动时信息如下：

引用

[michael@shnap hadoop]$ bin/start-all.sh
starting namenode, logging to /home/michael/hadoop/bin/../logs/hadoop-michael-namenode-shnap.out
192.168.8.148: starting datanode, logging to /home/michael/hadoop/bin/../logs/hadoop-michael-datanode-michael-VirtualBox.out
192.168.8.150: starting secondarynamenode, logging to /home/michael/hadoop/bin/../logs/hadoop-michael-secondarynamenode-shnap.out
starting jobtracker, logging to /home/michael/hadoop/bin/../logs/hadoop-michael-jobtracker-shnap.out
192.168.8.148: starting tasktracker, logging to /home/michael/hadoop/bin/../logs/hadoop-michael-tasktracker-michael-VirtualBox.out
[michael@shnap hadoop]$ jps
30045 JobTracker
29973 SecondaryNameNode
29813 NameNode
30136 Jps

从上述信息可见namenode中的进程信息正常

在datanode查看的信息如下：

引用

michael@michael-VirtualBox:~/hadoop$ jps
15934 TaskTracker
15978 Jps

从上述信息可见datanode中的进程就不正常了，明显少了DataNode

解决办法如下：
先检查conf/masters 和conf/slaves文件，确保配置没错。
然后把所有节点的hadoop.tmp.dir指定的文件夹下的内容全部删掉
重新在master设备上执行启动程序：

$ bin/hadoop namenode -format
$ bin/start-all.sh 

再在datanode查看的信息就正常了如下：

引用

michael@michael-VirtualBox:~/hadoop$ jps
16467 Jps
16289 DataNode
16429 TaskTracker

转载请注明来自：Michael's blog @ http://sjsky.iteye.com

----------------------------- 分 ------------------------------ 隔 ------------------------------ 线 ------------------------------

评论

2 楼 ｎǎ一站 2012-02-15  

刚启动的时候还能看到DataNode，一会再看就只剩下Jps了，这个怎么解决啊？

1 楼 fxj 2011-09-18  

不错，碰到同样问题，这样解决了！