论坛首页 综合技术论坛

Hadoop error: Bad connection to FS. command aborted.

浏览 8388 次
精华帖 (0) :: 良好帖 (0) :: 新手帖 (0) :: 隐藏帖 (0)
作者 正文
   发表时间:2011-08-31  

运行

hadoop fs -ls

时出现错误如下:

root@ubuntu:/home/chenwq/hadoop/book/ch03/src/main/java# hadoop fs -ls
11/08/31 22:51:37 INFO security.Groups: Group mapping impl=org.apache.hadoop.security.ShellBasedUnixGroupsMapping; cacheTimeout=300000
11/08/31 22:51:38 WARN conf.Configuration: mapred.task.id is deprecated. Instead, use mapreduce.task.attempt.id
11/08/31 22:51:39 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:8020. Already tried 0 time(s).
11/08/31 22:51:40 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:8020. Already tried 1 time(s).
11/08/31 22:51:41 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:8020. Already tried 2 time(s).
11/08/31 22:51:42 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:8020. Already tried 3 time(s).
11/08/31 22:51:43 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:8020. Already tried 4 time(s).
11/08/31 22:51:44 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:8020. Already tried 5 time(s).
11/08/31 22:51:45 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:8020. Already tried 6 time(s).
11/08/31 22:51:46 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:8020. Already tried 7 time(s).
11/08/31 22:51:47 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:8020. Already tried 8 time(s).
11/08/31 22:51:48 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:8020. Already tried 9 time(s).
Bad connection to FS. command aborted.

 

 

解决方案:

格式化namenode:

hadoop namenode -format

重新启动start-all.sh,输入

jps

 

查看后台进程

root@ubuntu:/home/chenwq/hadoop/hadoop-0.21.0/bin# jps
8734 NameNode
8934 DataNode
9137 SecondaryNameNode
9479 Jps

此时namenode启动

 

运行

hadoop fs -ls

出现:

11/08/31 23:09:37 INFO security.Groups: Group mapping impl=org.apache.hadoop.security.ShellBasedUnixGroupsMapping; cacheTimeout=300000
11/08/31 23:09:37 WARN conf.Configuration: mapred.task.id is deprecated. Instead, use mapreduce.task.attempt.id
Found 1 items
-rw-r--r--   1 root supergroup        628 2011-08-31 23:01 /user/root/books/URLCat.java

  

 

   发表时间:2011-09-06  
是伪分布式下的环境吗?
0 请登录后投票
   发表时间:2011-09-06  
xm_king 写道
是伪分布式下的环境吗?

是的
0 请登录后投票
   发表时间:2011-09-06  
为什么我发现网上但凡出现Datanode无法启动的问题都去格式化Namenode,就是不去找为什么启动不了的原因.难道生产环境也这么搞? 知道Namenode有多重要吗?
localhost/127.0.0.1:8020. Already tried 2 time(s).  
大多都是hdfs没有启动造成的,何必去格式化Namenode
0 请登录后投票
   发表时间:2011-09-06  
datanode都没有启动!看日志
0 请登录后投票
   发表时间:2011-09-07  
格式化就啥也没了。。
0 请登录后投票
   发表时间:2011-09-10  
同求问题解决方案,我只要重启就需要格式化才能启动成功,不知道到底哪里错了。
0 请登录后投票
   发表时间:2011-09-10  
我的问题已经查到原因,但是没有去试验
以下是我查到的资料:

每次都要重新 format namenode,有可能是您未設定 hadoop.tmp.dir 到其他路徑。
預設值是 /tmp/hadoop-${user.name},/tmp 重開機就會容易被清空。
0 请登录后投票
   发表时间:2011-09-14  
andy_ghg 写道
同求问题解决方案,我只要重启就需要格式化才能启动成功,不知道到底哪里错了。


Hadoop的默认配置使用hadoop.tmp.dir作为本地文件系统和HDFS的临时目录,
在使用中,我们应创建自己的临时目录

$sudo mkdir -p /app/hadoop/tmp
$sudo chown chenwq:chenwq /app/hadoop/tmp
0 请登录后投票
论坛首页 综合技术版

跳转论坛:
Global site tag (gtag.js) - Google Analytics