`
hankesi2000
  • 浏览: 96647 次
  • 性别: Icon_minigender_1
  • 来自: 杭州
社区版块
存档分类
最新评论

hadoop在windows上启动遇到的一些问题

阅读更多
这里说的是hadoop-0.21.0的安装

在windows上使用cygwin启动hadoop,首先参考:
http://pages.cs.brandeis.edu/~cs147a/lab/hadoop-windows/

之后启动会报出
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/uti
l/PlatformName
的异常,这里已经有细心的国人帮助解决了(转自http://www.blogjava.net/snoics/archive/2010/12/11/333408.html?opt=admin#Post):
只需要将${HADOOP_HOME}/bin/hadoop-config.sh文件中的第190行的一下的内容

JAVA_PLATFORM=`CLASSPATH=${CLASSPATH} ${JAVA} -Xmx32m ${HADOOP_JAVA_PLATFORM_OPTS} org.apache.hadoop.util.PlatformName | sed -e "s/ /_/g"`


修改成以下的内容即可

JAVA_PLATFORM=`CLASSPATH=${CLASSPATH} ${JAVA} -Xmx32m -classpath ${HADOOP_COMMON_HOME}/hadoop-common-0.21.0.jar org.apache.hadoop.util.PlatformName | sed -e "s/ /_/g"`


自己记一下,不要忘记了
分享到:
评论

相关推荐

    hadoop在windows上运行需要winutils支持和hadoop.dll等文件

    在实际操作中,可能会遇到一些常见的问题,如端口冲突、权限问题或是依赖库缺失。解决这些问题通常需要仔细检查日志输出,调整配置文件,或者安装缺失的库。总的来说,虽然在Windows上运行Hadoop比在Linux上复杂,但...

    hadoop2.7.2在windows环境中相关依赖文件hadoop.dll和winutils.exe

    在Windows环境下搭建Hadoop 2.7.2时,可能会遇到一些特定于Windows的问题,因为Hadoop最初是为Linux设计的。在这个过程中,有两个关键的依赖文件:`hadoop.dll`和`winutils.exe`,它们对于在Windows上正确运行Hadoop...

    hadooponwindows.zip

    8. **注意事项**:在Windows上运行Hadoop可能会遇到一些问题,例如权限问题、路径格式问题等,需要对Windows环境进行特殊调整以适应Hadoop的要求。 9. **管理Hadoop集群**:在Windows上,可以使用Ambari这样的工具...

    hadoop_windows_tools.rar

    在Windows环境下设置和使用Hadoop有时会遇到一些挑战,因为Hadoop最初是为Linux操作系统设计的。然而,"hadoop_windows_tools.rar"这个压缩包就是为了方便Windows用户在本地搭建和运行Hadoop环境而提供的工具集合。 ...

    Hadoop 2.7.4Windows 64位 编译bin

    这个过程可能会遇到一些特有的Windows问题,比如文件路径限制、权限问题等,但通过使用这个专门编译的bin目录,可以有效地解决这些问题,使Hadoop在Windows上的运行更加顺畅。 总的来说,了解如何在Windows环境中...

    windows安装需要的Hadoop库文件

    在Windows环境下搭建Hadoop集群,通常比在Linux系统中更为复杂,因为Hadoop原生是为Linux设计的。...记住,由于Windows与Linux的差异,可能会遇到一些特有的问题,需要查阅文档或社区论坛寻求解决方案。

    hadooponwindows-master.rar

    6. **挑战与解决方案**:在Windows上运行Hadoop可能遇到权限问题、路径长度限制、文件系统不兼容等问题。可以通过修改配置、使用短路径名或安装特殊工具(如Cygwin)来解决。 7. **测试与应用**:可以使用Hadoop...

    hadoop-windows下配置文件

    9. **故障排查**: 在Windows上运行Hadoop可能会遇到一些特定的问题,如权限问题、路径格式问题等,需要根据日志信息进行排查和解决。 总之,使用提供的压缩包可以在Windows上快速搭建Hadoop环境,这将帮助用户专注...

    HADOOP2.8.1Windows环境下压缩包

    Hadoop在Windows上的使用可能与Linux环境有所不同,因为Windows不支持Unix套接字,因此可能会遇到一些兼容性问题。但Hadoop社区为Windows提供了相应的支持,使得开发者和数据分析师也能在Windows上体验到Hadoop的...

    windows版hadoop

    在Windows上安装Hadoop可能会遇到一些挑战,因为Hadoop最初是为Linux设计的。但是,通过一些特殊配置,如使用Cygwin或Windows Subsystem for Linux(WSL)等工具,可以在Windows环境下运行Hadoop。这里我们将探讨...

    windows下hadoop2.7.3环境问题的解决(含说明)

    在Windows环境下搭建Hadoop 2.7.3时,可能会遇到一些常见的问题,尤其是在Win10和Win7操作系统上。本文将详细介绍如何解决这些问题,确保Hadoop服务的正常运行。 首先,Hadoop是一个分布式文件系统,它允许在廉价...

    hadoop-2.7.5 windows环境

    需要注意的是,由于Windows环境与Hadoop的Unix/Linux背景存在差异,可能会遇到权限、路径和网络等问题,需要根据实际情况进行调整。此外,Hadoop在Windows上的运行效率通常不如Linux,生产环境中更推荐使用Linux集群...

    Hadoop 2.7.4 Windows 64位 编译bin

    10. **故障排查**:在Windows上运行Hadoop可能会遇到一些特定问题,如端口冲突、路径格式不兼容等,解决这些问题需要对Hadoop配置文件(如`core-site.xml`, `hdfs-site.xml`, `yarn-site.xml`)进行适当调整。...

    Hadoop windows启动文件

    在Windows环境下启动Hadoop,通常会遇到依赖Cygwin的问题,因为Hadoop最初设计时主要考虑的是类Unix系统。然而,随着技术的发展,现在我们可以在Windows上直接运行Hadoop,无需Cygwin作为桥梁。本教程将详细介绍如何...

    hadoop 2.7.4 windows 7 64位 编译bin

    在Windows上运行Hadoop可能遇到的问题包括权限问题、路径格式问题(Windows使用反斜杠,而Hadoop期望正斜杠)、端口冲突等。解决这些问题通常需要对配置文件进行适当调整。 最后,启动Hadoop服务: 1. 首先启动...

    hadoop2.7.3_windows安装附件

    然而,在Windows环境中,由于与Unix/Linux系统的差异,可能会遇到一些问题。描述中提到的“需要替换一些文件”,很可能指的是以下几点: - **Winutils**: Hadoop在Windows上运行需要`winutils.exe`,这是在Unix/...

    在Windows上安装Hadoop教程

    在Windows上安装Hadoop是一项复杂但值得学习的任务,它涉及到多个步骤和技术,包括环境配置、依赖工具的安装以及服务的启动和管理。本教程将详细解释这个过程,并着重解决一个常见的问题——Cygwin SSHD服务启动失败...

    Windows装Hadoop的一些必须文件和包

    不过,通过一些特定的配置和工具,我们可以在Windows上搭建Hadoop环境。以下是一些关键的步骤和必要的文件包,这些都包含在你提供的压缩包文件中。 1. **Hadoop发行版**: 首先,你需要下载适用于Windows的Hadoop...

    Hadoop的windows环境搭建依赖jar包

    在Windows上安装Hadoop,主要面临的是兼容性和配置问题,因为Hadoop最初是为Linux设计的。不过,通过一些额外的设置和依赖项管理,我们可以在Windows环境中成功搭建。以下是搭建过程中的一些关键知识点: 1. **Java...

    hadoop-windows

    在Windows操作系统上部署Hadoop可能会遇到一些与Linux系统不同的挑战,因为Hadoop最初是为分布式集群环境设计的,主要考虑的是Linux环境。然而,通过一些特定的配置和补丁,我们可以在Windows 7上进行单机部署,这...

Global site tag (gtag.js) - Google Analytics