`

windows下跑伪分布hadoop,问题小记

阅读更多

问题目录表:

1,Bad connection to FS. command aborted. exception: Call to localhost/127.0.0.1:8888

failed on connection exception: java.net.ConnectException: Connection refused


2,Bad connection to FS. command aborted.

3,在cygwin上执行wordcount时报FileNotFoundException

 

1, windows下,在安装完cygwin,并配置好hadoop参数,到hadoop的bin目录下执行以下代码,

 

$ ./hadoop fs -ls / 

 

 遇到错误:

 

11/08/18 14:56:37 INFO ipc.Client: Retrying connect to server: localhost/127.0.0
.1:8888. Already tried 0 time(s).
11/08/18 14:56:39 INFO ipc.Client: Retrying connect to server: localhost/127.0.0
.1:8888. Already tried 1 time(s).
11/08/18 14:56:41 INFO ipc.Client: Retrying connect to server: localhost/127.0.0
.1:8888. Already tried 2 time(s).
11/08/18 14:56:43 INFO ipc.Client: Retrying connect to server: localhost/127.0.0
.1:8888. Already tried 3 time(s).
11/08/18 14:56:45 INFO ipc.Client: Retrying connect to server: localhost/127.0.0
.1:8888. Already tried 4 time(s).
11/08/18 14:56:47 INFO ipc.Client: Retrying connect to server: localhost/127.0.0
.1:8888. Already tried 5 time(s).
11/08/18 14:56:49 INFO ipc.Client: Retrying connect to server: localhost/127.0.0
.1:8888. Already tried 6 time(s).
11/08/18 14:56:51 INFO ipc.Client: Retrying connect to server: localhost/127.0.0
.1:8888. Already tried 7 time(s).
11/08/18 14:56:53 INFO ipc.Client: Retrying connect to server: localhost/127.0.0
.1:8888. Already tried 8 time(s).
11/08/18 14:56:55 INFO ipc.Client: Retrying connect to server: localhost/127.0.0
.1:8888. Already tried 9 time(s).
Bad connection to FS. command aborted. exception: Call to localhost/127.0.0.1:88
88 failed on connection exception: java.net.ConnectException: Connection refused
: no further information

错误提示“Bad connection to FS. command aborted. exception: Call to localhost/127.0.0.1:88

88 failed on connection exception: java.net.ConnectException: Connection refused

: no further information”

 起初怀疑是fs服务没有启动,但反复关闭启动多次后仍没用,请教高手后,被建议重新格式化namenode,就可以了。

格式化指令如下(在hadoop的bin目录下):

 

$ ./hadoop namenode -format

成功 之后重启hadoop就可以了

 

2,如果显示的像一下错误信息:

 

$ bin/hadoop fs -ls /
11/08/18 17:02:35 INFO ipc.Client: Retrying connect to server: localhost/127.0.0
.1:9000. Already tried 0 time(s).
11/08/18 17:02:37 INFO ipc.Client: Retrying connect to server: localhost/127.0.0
.1:9000. Already tried 1 time(s).
11/08/18 17:02:39 INFO ipc.Client: Retrying connect to server: localhost/127.0.0
.1:9000. Already tried 2 time(s).
11/08/18 17:02:41 INFO ipc.Client: Retrying connect to server: localhost/127.0.0
.1:9000. Already tried 3 time(s).
11/08/18 17:02:43 INFO ipc.Client: Retrying connect to server: localhost/127.0.0
.1:9000. Already tried 4 time(s).
11/08/18 17:02:45 INFO ipc.Client: Retrying connect to server: localhost/127.0.0
.1:9000. Already tried 5 time(s).
11/08/18 17:02:46 INFO ipc.Client: Retrying connect to server: localhost/127.0.0
.1:9000. Already tried 6 time(s).
11/08/18 17:02:48 INFO ipc.Client: Retrying connect to server: localhost/127.0.0
.1:9000. Already tried 7 time(s).
11/08/18 17:02:50 INFO ipc.Client: Retrying connect to server: localhost/127.0.0
.1:9000. Already tried 8 time(s).
11/08/18 17:02:52 INFO ipc.Client: Retrying connect to server: localhost/127.0.0
.1:9000. Already tried 9 time(s).
Bad connection to FS. command aborted.

错误提示“Bad connection to FS. command aborted.”

 把你DataNode上的DFS数据全删了,再重新格式化NameNode。

 即:先将你D盘下tmp目录下所有文件删了,在重复上面第一点的过程

 

3,在cygwin上执行wordcount时报FileNotFoundException

 

原因: tmp路径有问题。配置文件mapred-site.xml中mapred.child.tmp默认是"./tmp",在windows里会出问题

解决:将其改为D:/tmp(这个是windows下默认的,听说改成其他绝对路径也可以,会自动创建),之后重启hadoop即可

 

 

分享到:
评论
1 楼 xiva 2012-04-23  
Good, slave my problem

相关推荐

    单机伪分布hadoop-spark配置_Spark!_spark_spark配置_hadoop_

    接下来,我们将详细探讨如何在单机环境下配置Hadoop和Spark的伪分布式模式。 首先,我们需要理解Hadoop的伪分布式配置。这涉及到以下几个步骤: 1. **下载Hadoop**: 获取Hadoop的源码或者二进制发行版,确保版本与...

    在centos7下正确安装伪分布hadoop2.7.2和配置eclipse.doc

    本文将为您详细介绍如何在 CentOS 7 上正确安装伪分布 Hadoop 2.7.2 和配置 Eclipse。 一、创建 Hadoop 用户 在安装 Hadoop 之前,需要创建一个名为 Hadoop 的用户。首先,点击左上角的“应用程序”->“系统工具”...

    windows环境下的hadoop3.1.0依赖,winutils

    在Windows环境下搭建Hadoop 3.1.0的分布式文件系统需要解决一个重要依赖——WinUtils。这个组件是Hadoop在Windows上运行所必需的,因为Hadoop原本是为Linux环境设计的,它的一些核心功能,如文件操作和本地进程管理...

    Hadoop2.7.2伪分布部署

    伪分布部署是指在单机上模拟分布式环境运行Hadoop的过程,即一个节点既是NameNode也是DataNode,既执行Master角色又执行Slave角色,这为开发者在没有多台机器的情况下也能体验和学习Hadoop的分布式工作原理提供了...

    Hadoop单机伪分布完全分布实验文档

    本实验文档集合了对Hadoop在不同环境下的部署和操作实践,包括单机伪分布和完全分布的模式,以及相关的云计算技术介绍。以下是这些知识点的详细阐述: 1. **Hadoop单机伪分布模式**: 单机伪分布模式是Hadoop初学...

    hadoop伪分布CentOS安装(四)

    hadoop伪分布CentOS安装(四)hadoop伪分布CentOS安装(二) 便于开发者,初学者,安装配置hadoop伪分布的环境以及搭建过程

    hadoop伪分布搭建步骤

    hadoop伪分布搭建步骤

    linux下伪分布安装hadoop环境及问题处理

    本文旨在详细介绍如何在Linux CentOS 5.0系统下搭建Hadoop伪分布模式的测试环境,包括必要的步骤、注意事项以及可能遇到的问题及其解决方案。对于初次接触Hadoop的新手来说,这篇文章将会非常有帮助。 #### 二、...

    hadoop伪分布配置

    ### Hadoop伪分布配置详解 #### 一、概述 Hadoop伪分布模式是一种在单台机器上模拟分布式环境的方式,通常用于开发测试阶段。这种方式既能够体验到Hadoop的分布式特性,又不需要复杂的多节点集群配置。本文将详细...

    hadoop伪分布CentOS安装(二)

    hadoop伪分布CentOS安装(二) 便于开发者,初学者,安装配置hadoop伪分布的环境以及搭建过程

    在centos7下正确安装伪分布hadoop2.7.2和配置eclipse.pdf

    【在CentOS7下正确安装伪分布Hadoop2.7.2和配置Eclipse】 在CentOS7系统中搭建Hadoop伪分布式环境是学习和测试Hadoop功能的基础步骤。这里我们将详细讲解如何创建Hadoop用户、安装JDK、配置Hadoop环境以及在Eclipse...

    伪分布hadoop搭建.docx

    为了在本地环境中学习和测试Hadoop的功能,我们通常会搭建一个伪分布式环境。本文档将详细指导你如何在Linux系统上进行伪分布式Hadoop的搭建。 首先,我们需要准备一个运行Linux的环境。在第1章中,我们讲解了如何...

    在centos7下正确安装伪分布hadoop2.7.2和配置eclipse.docx

    【在CentOS7下正确安装伪分布Hadoop2.7.2和配置Eclipse】 在CentOS7系统中安装和配置Hadoop2.7.2的伪分布式模式,以及为Eclipse开发环境做准备,涉及多个步骤。首先,我们需要创建一个名为`hadoop`的用户,以便更好...

    hadoop2.6.0伪分布安装

    ### Hadoop 2.6.0 伪分布模式安装详细指南 #### 一、环境准备与常见问题 在开始安装之前,确保您的机器满足以下条件: ...遵循以上步骤,您应该能够顺利完成 Hadoop 2.6.0 在伪分布模式下的安装与配置工作。

    hadoop的独立模式、伪分布模式、完全分布式、HA配置文件

    在Hadoop生态系统中,了解和配置不同的运行模式是至关重要的,这些模式包括独立模式、伪分布模式、完全分布式模式以及高可用性(HA)配置。接下来,我们将详细探讨这些模式及其相关的配置文件。 1. **独立模式**: ...

    linux下安装hadoop伪分布与完全分布式安装

    在 LinuxLinuxLinuxLinuxLinux5.65.65.6企业版 企业版 下成功搭建 下成功搭建 下成功搭建 HadoopHadoopHadoopHadoopHadoopHadoop伪分布 测试环境。本次在一台服务 测试环境。本次在一台服务 测试环境。本次在一台...

    hadoop伪分布搭建

    hadoop伪分布搭建

    hadoop伪分布配置步骤

    hadoop伪分布配置步骤,详细的介绍伪分布布置的每一个步骤,在学hadoop的同学可以了解一哈,挺不错的 ,出自我们老师之手

Global site tag (gtag.js) - Google Analytics