`

Hadoop的dfs -ls 报错:ipc.Client: Retrying connect to server

 
阅读更多

参考网站:http://blog.csdn.net/zhangheng1225/article/details/8246785

 

有项目需要用到HBase,配置Hadoop集群的情况如下:

OS : Ubuntu 11.04

Hadoop  2.02

三台虚拟机IP分配如下:

192.168.128.131  master 兼slave

192.168.128.132  slave

192.168.128.133  slave

 

配置好后:

master结点上操作

1. bin/hadoop namenode -format

2. bin/hadoop start-all.sh

3. 用jps 命令发现个任务启动正常(NameNode TaskTracker SecondaryNameNodeDataNode)

在两个slave结点上用jps命令发现个任务启动正常(TaskTracker DataNode)

问题: master 结点上执行 bin/hadoop dfs -put 命令时出现如下错误:

INFO ipc.Client: Retrying connect toserver: localhost/192.168.128.131:9000. Already tried 0time(s).

INFO ipc.Client: Retrying connect toserver: localhost/192.168.128.131:9000. Alreadytried 1 time(s)......

打开http://master:50070查看HDFS的情况,LiveNode结点为0 ....

查了不少资料,可能报错的原因很多吧,我的问题出在master结点上的/etc/hosts配置文件上

虚拟机重启后,系统在/etc/hosts文件中自动添加了如下两行

 127.0.0.1 localhost  master  #Addedautomaticly by ubuntu 。

 ::1       localhost6 master

只需在每个节点的hosts文件中把这两行注释掉就可以了

# 127.0.0.1 localhost  master  #Addedautomaticly by ubuntu 。

# ::1       localhost6 master

OK ,在运行bin/hadoop dfs 命令就不报错了,打开http://master:50070查看HDFS的情况,LiveNode结点为3 ,说明没问题了。

 

 第二种情况:slave节点的DataNode服务未能启动

原因:NameNode格式化后,各slave节点对应的hdfs-site.xml中配置的hdfs文件存储目录未被删除

假设hdfs-site.xml配置如下

      <property>
       <name>dfs.name.dir</name>
       <value>/opt/hadoop/hadoopfs/name</value>#hadoop的name目录路径
       <description> </description>
   </property>

   <property>
       <name>dfs.data.dir</name>
       <value>/opt/hadoop/hadoopfs/data</value>
       <description></description>
   </property>

 

解决办法是:

1.在所有节点删除>/opt/hadoop/hadoopfs/name及>/opt/hadoop/hadoopfs/data

2.重新格式化NameNode,并启动hadoop

 

http://blog.csdn.net/wzm112/article/details/8684908

 

 

分享到:
评论

相关推荐

    org.apache.hadoop.ipc.Client: Retrying connect to server

    NULL 博文链接:https://ouyida3.iteye.com/blog/1144326

    flink-shaded-hadoop-3-uber-3.1.1.7.1.1.0-565-9.0.jar

    Flink-1.11.2与Hadoop3集成JAR包,放到flink安装包的lib目录下,可以避免Caused by: org.apache.flink.core.fs.UnsupportedFileSystemSchemeException: Hadoop is not in the ...这个报错,实现Flink与Hadoop的集成

    flink-shaded-hadoop-3-uber-3.1.1.7.1.1.0-565-9.0.jar.tar.gz

    在这个特定的兼容包中,我们可以看到两个文件:flink-shaded-hadoop-3-uber-3.1.1.7.1.1.0-565-9.0.jar(实际的兼容库)和._flink-shaded-hadoop-3-uber-3.1.1.7.1.1.0-565-9.0.jar(可能是Mac OS的元数据文件,通常...

    hadoop最新版本3.1.1全量jar包

    hadoop-client-minicluster-3.1.1.jar hadoop-mapreduce-client-app-3.1.1.jar hadoop-mapreduce-client-shuffle-3.1.1.jar hadoop-yarn-server-common-3.1.1.jar hadoop-client-runtime-3.1.1.jar hadoop-mapreduce...

    Retrying connect to server 0.0.0.08032异常.md

    向yarn提交任务时Retrying connect to server 0.0.0.0:8032异常

    hadoop-2.2.0-x64.tar.gz part3

    自己编译的64bithadoop-2.2.0版本 [INFO] Reactor Summary: ...This command was run using /home/hadoop/Desktop/hadoop-2.2.0-src/hadoop-dist/target/hadoop-2.2.0/share/hadoop/common/hadoop-common-2.2.0.jar

    hadoop-2.6.0-cdh5.7.0.tar.gz和jdk-7u80-linux-x64.tar.gz安装包

    在这个场景中,我们有两个安装包:`hadoop-2.6.0-cdh5.7.0.tar.gz` 和 `jdk-7u80-linux-x64.tar.gz`,分别代表了CDH5.7.0版本的Hadoop和Java 7的64位Linux版本。 首先,让我们深入了解一下Hadoop。Hadoop的核心由两...

    hadoop-2.2.0-x64.tar.gz part2

    hadoop-2.2.0 64bit下载,自己编译的 [INFO] Reactor Summary: [INFO] [INFO] Apache Hadoop Main ................................ SUCCESS [1.834s] [INFO] Apache Hadoop Project POM ...........................

    hadoop-3.3.0-src.tar.gz

    hadoop3.3.0源码 # 科学上网下载比较快,可以自己电脑下好了在上传到服务器 wget https://downloads.apache.org/hadoop/common/hadoop-3.3.0/hadoop-3.3.0-src.tar.gz...tar -zxvf hadoop-3.3.0-src.tar.gz # maven构建

    hadoop-3.3.1-aarch64.tar.gz

    标题 "hadoop-3.3.1-aarch64.tar.gz" 暗示这是一个针对aarch64架构(ARM64)的Hadoop 3.3.1版本的压缩包,适合在运行M1芯片(苹果公司的ARM架构处理器)的Mac系统上使用。Hadoop是一个开源的分布式计算框架,它允许...

    hadoop-yarn-client-2.6.5-API文档-中文版.zip

    赠送jar包:hadoop-yarn-client-2.6.5.jar; 赠送原API文档:hadoop-yarn-client-2.6.5-javadoc.jar; 赠送源代码:hadoop-yarn-client-2.6.5-sources.jar; 赠送Maven依赖信息文件:hadoop-yarn-client-2.6.5.pom;...

    hadoop-eclipse-plugin-3.1.1.tar.gz

    Hadoop-Eclipse-Plugin-3.1.1是一款专为Eclipse集成开发环境设计的插件,用于方便地在Hadoop分布式文件系统(HDFS)上进行开发和调试MapReduce程序。这款插件是Hadoop生态系统的组成部分,它使得Java开发者能够更加...

    hadoop-2.6.0-cdh5.14.2.tar.gz

    标题中的"hadoop-2.6.0-cdh5.14.2.tar.gz"是一个针对Apache Hadoop的软件包,具体来说是CDH(Cloudera Distribution Including Apache Hadoop)5.14.2版本,它基于Hadoop 2.6.0。CDH是由Cloudera公司提供的一个开源...

    hadoop-2.7.4-with-windows.tar.gz

    标题中的"hadoop-2.7.4-with-windows.tar.gz"是一个针对Windows操作系统的Hadoop发行版,版本号为2.7.4。这个压缩包采用了GNU tar格式,并进行了gzip压缩,这种格式通常在Linux和Unix系统中使用,但在Windows环境下...

    hadoop-mapreduce-client-common-2.6.5-API文档-中英对照版.zip

    赠送jar包:hadoop-mapreduce-client-common-2.6.5.jar; 赠送原API文档:hadoop-mapreduce-client-common-2.6.5-javadoc.jar; 赠送源代码:hadoop-mapreduce-client-common-2.6.5-sources.jar; 赠送Maven依赖信息...

    sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz

    这个压缩包 "sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz" 包含了 Sqoop 的 1.4.6 版本,它已针对 Hadoop 2.0.4-alpha 版本进行了优化。让我们深入了解一下 Sqoop 的核心功能、工作原理以及如何在 Hadoop 环境中...

    hadoop-2.6.0-cdh5.7.0.tar.gz

    在这个“hadoop-2.6.0-cdh5.7.0.tar.gz”压缩包中,我们可以预期找到的是一个完整的Hadoop 2.6.0 CDH5.7.0安装包。这个安装包通常会包含以下几个关键部分: 1. **Hadoop Distributed File System (HDFS)**:HDFS是...

    hadoop-eclipse-plugin-2.10.0.jar

    Eclipse集成Hadoop2.10.0的插件,使用`ant`对hadoop的jar包进行打包并适应Eclipse加载,所以参数里有hadoop和eclipse的目录. 必须注意对于不同的hadoop版本,` HADDOP_INSTALL_PATH/share/hadoop/common/lib`下的jar包...

    hadoop-yarn-server-resourcemanager-2.6.0-API文档-中文版.zip

    赠送jar包:hadoop-yarn-server-resourcemanager-2.6.0.jar; 赠送原API文档:hadoop-yarn-server-resourcemanager-2.6.0-javadoc.jar; 赠送源代码:hadoop-yarn-server-resourcemanager-2.6.0-sources.jar; 赠送...

Global site tag (gtag.js) - Google Analytics