`
aaron-han
  • 浏览: 27016 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

windows环境搭建Hadoop过程中的一些问题及解决办法

阅读更多
先说明两点:
1.搭建的基本过程参见Hadoopor论坛的Hadoop开发者杂志第一期,很靠谱。
2.本文以下内容全部经过个人验证。

搭建环境过程中出现的问题:
a.安装cygwin时源URL的选择
   参照Hadoop开发者论坛,如下:



   但实际上该源并不能使用。
   推荐:在URL里输入:http://mirrors.163.com/cygwin/,点击Add按钮,然后选中 http://mirrors.163.com/cygwin 进行安装。

b.JAVA_HOME问题
   在hadoop-env.sh 中设定JDK 的安装目录,例如:
   export JAVA_HOME=/cygdrive/d/java/jdk1.6.0_13,注意去掉该行前边的#,看似微小的问题,很多人在这里浪费了时间。另外,不建议安装JDK到Program Files文件下,可能导致奇怪问题。

c.经典的INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 0 time(s)问题
   现在Hadoopor论坛好多人还在纠结,当时自己也花费了不少精力解决这个问题,这里做一下解答,感谢论坛里曾经帮助自己的前辈。
   原因:hadoop默认配置是把一些tmp文件放在/tmp目录下,重启后,tmp目录下的东西被删除,所以报错。
   解决方法:在conf/core-site.xml中修改hadoop.tmp.dir属性的值,即换一个路径。例如,我修改为:
   <property>
   <name>hadoop.tmp.dir</name>
   <value>/home/${user.name}/cloudera-data</value>
   <description>A base for other temporary directories</description>
   </property>
   然后格式化namenode,重启hadoop即可。

截几张图片:
a.启动hadoop



b.用jps命令查看



c.输入./hadoop fs -ls /



by the way,我的hadoop版本是0.20.2
  • 大小: 59.4 KB
  • 大小: 47.6 KB
  • 大小: 6.9 KB
  • 大小: 24 KB
0
0
分享到:
评论

相关推荐

    Windows上Hadoop环境搭建简介

    但是我在安装过程中碰到的一些问题, 没有在任何一个可找到的网页中得到全部解决。 例如,我们一开始选择的是Hadoop 1.0.0版本, 这个版本我让课题组的学生在Linux环境上搭建过(0.22.0版本也搭建过), 也是伪分布...

    windows下hadoop2.6开发环境搭建过程说明及插件

    在Windows环境下搭建Hadoop2.6开发环境是一个相对复杂的过程,但通过详细的步骤和注意事项,可以有效地完成。这里我们将深入探讨这个过程,并介绍如何解决可能出现的问题。 首先,我们需要下载Hadoop2.6.0的安装包...

    基于windows的hadoop集群搭建图文教程 自己写的亲测可以安装

    本文将详细介绍如何在Windows环境下通过虚拟机搭建一个Hadoop集群,包括所需环境配置、具体步骤及注意事项。 #### 二、搭建环境需求与准备工作 1. **硬件环境**:至少需要四台计算机,其中三台运行Windows XP操作...

    windows下安装云计算环境hadoop的完整步骤

    本文将详细阐述在 Windows 平台上安装配置 Hadoop 的具体步骤及注意事项,确保读者能够顺利搭建出一个可运行的 Hadoop 环境。 #### 步骤一:安装 Cygwin 首先,需要下载并安装 Cygwin。Cygwin 是一个在 Windows 上...

    hadoop环境缺少的hadoop.dll ,winutils.exe包

    在搭建Hadoop环境的过程中,经常会遇到一些特定的依赖问题,比如缺少`hadoop.dll`和`winutils.exe`这两个关键组件。本文将详细介绍这两个文件及其在Hadoop生态系统中的作用,以及如何解决它们缺失的问题。 首先,`...

    windows-hadoop-2.7.4-bin

    通常,官方提供的Hadoop发行版可能不直接支持Windows环境,而此版本则解决了这一问题。用户只需将本压缩包中的'bin'目录下的文件替换到官方的hadoop-2.7.4.tar.gz解压后的对应位置,即可在Windows上运行Hadoop。这种...

    Hadoop_windows运行解决办法

    在Windows环境下运行Hadoop可能对初学者来说是一个挑战,但通过一些特定的配置和步骤,可以成功地在Eclipse开发环境中搭建Hadoop环境。本文将详细介绍如何在Windows上配置和运行Hadoop,以及如何使用Eclipse进行开发...

    win7下Cygwin搭建Hadoop开发环境

    在 Windows 7 系统中使用 Cygwin 搭建 Hadoop 开发环境是一项较为复杂的任务,需要对 Windows 系统环境变量、Cygwin 的安装与配置以及 Hadoop 安装包进行细致的操作。本文将详细介绍这一过程,帮助读者更好地理解并...

    windows-hadoop-2.6.4-bin

    在Windows环境下搭建Eclipse与Hadoop 2.6.4的开发环境是一项具有挑战性的任务,因为Hadoop最初是为Linux设计的,但在Windows上运行则需要额外的配置步骤。以下是一些关键知识点,帮助你理解和解决在这个过程中可能...

    在Windows上安装Hadoop教程

    在Windows上安装Hadoop是一项复杂但值得学习的任务,它涉及到多个步骤和技术,包括环境配置、依赖工具的安装以及服务的启动和管理。...通过实践,你将能够熟练地在Windows上搭建和管理Hadoop环境。

    在windows环境下安装Hadoop

    ### 在Windows环境下安装Hadoop #### 一、概述 随着大数据技术的发展,Hadoop作为一款分布式处理框架,已经成为处理大规模...如果您在安装过程中遇到任何问题,建议查阅官方文档或寻求社区支持,以便及时解决问题。

    hadoop-windows下配置文件

    在Windows环境下搭建Hadoop集群可能是一项挑战,但借助已配置好的文件,这个过程可以变得更为简单。本资源提供了适用于Windows的Hadoop配置文件,特别是针对Hadoop 2.7.3版本,它允许用户避免手动编译的复杂步骤。...

    Hadoop搭建集群

    ### Hadoop集群搭建详解 ...在实际操作过程中,可能还会遇到其他问题,比如权限错误、网络不通等问题,需要根据具体情况进行排查解决。希望这份指南能够帮助到正在学习和实践Hadoop集群搭建的读者们。

    hadoop2.7.3 在windows下需要的hadoop.dll winutils.exe等文件

    在Windows环境下搭建Hadoop 2.7.3时,由于Hadoop主要设计为在Linux操作系统上运行,因此在Windows上运行会遇到一些特殊问题。这个压缩包提供的文件是解决这些问题的关键组件,使得Hadoop能够在Windows系统中正常启动...

    hadooponwindows-master.rar

    本文将详细介绍在Windows环境下搭建Hadoop集群的全过程,帮助你掌握这一关键技能。 一、Hadoop概述 Hadoop是由Apache基金会开发的一个开源框架,它允许在廉价硬件上存储和处理大规模数据。其核心包括两个主要组件...

    hadoop windows winutils

    在IT行业中,Hadoop是一个广泛使用的开源框架,主要用于大数据处理和分析。它的核心设计思想是分布式存储和并行计算,使得...对于Windows环境下的Hadoop开发者来说,掌握winutils的使用方法和原理是必不可少的技能。

    1. 搭建伪分布式集群环境过程中遇见的问题总结

    ### 搭建伪分布式Hadoop集群环境遇到的问题及解决...以上是搭建伪分布式Hadoop集群环境过程中可能遇到的一些常见问题及其解决方案。这些步骤有助于确保Hadoop集群的稳定运行,并为数据分析和处理任务提供强大的支持。

    hadoop3.0.0以上版本的winutil

    在使用Hadoop 3.0.0及以上版本在Windows上进行环境搭建时,你需要将压缩包中的"bin"目录内容替换到你的Hadoop安装目录下的相应位置。这通常包括了Winutil的动态链接库文件(.dll)和其他必要的脚本和配置文件。确保...

    hadoop工具 winutil.exe下载

    然而,在Windows环境下使用Hadoop时,可能会遇到一些特定的问题,比如“Could not locate executable null\bin\winutils.exe”的错误。这个错误提示表明系统无法找到Hadoop的Windows实用工具——winutils.exe。 ...

Global site tag (gtag.js) - Google Analytics