`
hankesi2000
  • 浏览: 97288 次
  • 性别: Icon_minigender_1
  • 来自: 杭州
社区版块
存档分类
最新评论

hadoop在windows上启动遇到的一些问题

HadoopWindowsJavaApache.net 
阅读更多
这里说的是hadoop-0.21.0的安装

在windows上使用cygwin启动hadoop，首先参考：
http://pages.cs.brandeis.edu/~cs147a/lab/hadoop-windows/

之后启动会报出 
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/uti
l/PlatformName
的异常，这里已经有细心的国人帮助解决了(转自http://www.blogjava.net/snoics/archive/2010/12/11/333408.html?opt=admin#Post)： 
只需要将${HADOOP_HOME}/bin/hadoop-config.sh文件中的第190行的一下的内容

JAVA_PLATFORM=`CLASSPATH=${CLASSPATH} ${JAVA} -Xmx32m ${HADOOP_JAVA_PLATFORM_OPTS} org.apache.hadoop.util.PlatformName | sed -e "s/ /_/g"`


修改成以下的内容即可

JAVA_PLATFORM=`CLASSPATH=${CLASSPATH} ${JAVA} -Xmx32m -classpath ${HADOOP_COMMON_HOME}/hadoop-common-0.21.0.jar org.apache.hadoop.util.PlatformName | sed -e "s/ /_/g"`


自己记一下，不要忘记了
分享到：
| 我对android的第一印象
评论
发表评论

您还没有登录,请您登录后再发表评论

相关推荐

    hadoop在windows上运行需要winutils支持和hadoop.dll等文件

    在实际操作中，可能会遇到一些常见的问题，如端口冲突、权限问题或是依赖库缺失。解决这些问题通常需要仔细检查日志输出，调整配置文件，或者安装缺失的库。总的来说，虽然在Windows上运行Hadoop比在Linux上复杂，但...

    hadooponwindows.zip

    8. **注意事项**：在Windows上运行Hadoop可能会遇到一些问题，例如权限问题、路径格式问题等，需要对Windows环境进行特殊调整以适应Hadoop的要求。 9. **管理Hadoop集群**：在Windows上，可以使用Ambari这样的工具...

    hadoop_windows_tools.rar

    在Windows环境下设置和使用Hadoop有时会遇到一些挑战，因为Hadoop最初是为Linux操作系统设计的。然而，"hadoop_windows_tools.rar"这个压缩包就是为了方便Windows用户在本地搭建和运行Hadoop环境而提供的工具集合。 ...

    Hadoop 2.7.4Windows 64位 编译bin

    这个过程可能会遇到一些特有的Windows问题，比如文件路径限制、权限问题等，但通过使用这个专门编译的bin目录，可以有效地解决这些问题，使Hadoop在Windows上的运行更加顺畅。 总的来说，了解如何在Windows环境中...

    windows安装需要的Hadoop库文件

    在Windows环境下搭建Hadoop集群，通常比在Linux系统中更为复杂，因为Hadoop原生是为Linux设计的。...记住，由于Windows与Linux的差异，可能会遇到一些特有的问题，需要查阅文档或社区论坛寻求解决方案。

    hadooponwindows-master.rar

    6. **挑战与解决方案**：在Windows上运行Hadoop可能遇到权限问题、路径长度限制、文件系统不兼容等问题。可以通过修改配置、使用短路径名或安装特殊工具（如Cygwin）来解决。 7. **测试与应用**：可以使用Hadoop...

    hadoop-windows下配置文件

    9. **故障排查**: 在Windows上运行Hadoop可能会遇到一些特定的问题，如权限问题、路径格式问题等，需要根据日志信息进行排查和解决。 总之，使用提供的压缩包可以在Windows上快速搭建Hadoop环境，这将帮助用户专注...

    HADOOP2.8.1Windows环境下压缩包

    Hadoop在Windows上的使用可能与Linux环境有所不同，因为Windows不支持Unix套接字，因此可能会遇到一些兼容性问题。但Hadoop社区为Windows提供了相应的支持，使得开发者和数据分析师也能在Windows上体验到Hadoop的...

    windows版hadoop

    在Windows上安装Hadoop可能会遇到一些挑战，因为Hadoop最初是为Linux设计的。但是，通过一些特殊配置，如使用Cygwin或Windows Subsystem for Linux（WSL）等工具，可以在Windows环境下运行Hadoop。这里我们将探讨...

    hadoop-2.7.5 windows环境

    需要注意的是，由于Windows环境与Hadoop的Unix/Linux背景存在差异，可能会遇到权限、路径和网络等问题，需要根据实际情况进行调整。此外，Hadoop在Windows上的运行效率通常不如Linux，生产环境中更推荐使用Linux集群...

    Hadoop 2.7.4 Windows 64位 编译bin

    10. **故障排查**：在Windows上运行Hadoop可能会遇到一些特定问题，如端口冲突、路径格式不兼容等，解决这些问题需要对Hadoop配置文件（如`core-site.xml`, `hdfs-site.xml`, `yarn-site.xml`）进行适当调整。...

    Hadoop windows启动文件

    在Windows环境下启动Hadoop，通常会遇到依赖Cygwin的问题，因为Hadoop最初设计时主要考虑的是类Unix系统。然而，随着技术的发展，现在我们可以在Windows上直接运行Hadoop，无需Cygwin作为桥梁。本教程将详细介绍如何...

    hadoop 2.7.4 windows 7 64位 编译bin

    在Windows上运行Hadoop可能遇到的问题包括权限问题、路径格式问题（Windows使用反斜杠，而Hadoop期望正斜杠）、端口冲突等。解决这些问题通常需要对配置文件进行适当调整。 最后，启动Hadoop服务： 1. 首先启动...

    hadoop2.7.3_windows安装附件

    然而，在Windows环境中，由于与Unix/Linux系统的差异，可能会遇到一些问题。描述中提到的“需要替换一些文件”，很可能指的是以下几点： - **Winutils**: Hadoop在Windows上运行需要`winutils.exe`，这是在Unix/...

    在Windows上安装Hadoop教程

    在Windows上安装Hadoop是一项复杂但值得学习的任务，它涉及到多个步骤和技术，包括环境配置、依赖工具的安装以及服务的启动和管理。本教程将详细解释这个过程，并着重解决一个常见的问题——Cygwin SSHD服务启动失败...

    Windows装Hadoop的一些必须文件和包

    不过，通过一些特定的配置和工具，我们可以在Windows上搭建Hadoop环境。以下是一些关键的步骤和必要的文件包，这些都包含在你提供的压缩包文件中。 1. **Hadoop发行版**: 首先，你需要下载适用于Windows的Hadoop...

    Hadoop的windows环境搭建依赖jar包

    在Windows上安装Hadoop，主要面临的是兼容性和配置问题，因为Hadoop最初是为Linux设计的。不过，通过一些额外的设置和依赖项管理，我们可以在Windows环境中成功搭建。以下是搭建过程中的一些关键知识点： 1. **Java...

    hadoop-windows

    在Windows操作系统上部署Hadoop可能会遇到一些与Linux系统不同的挑战，因为Hadoop最初是为分布式集群环境设计的，主要考虑的是Linux环境。然而，通过一些特定的配置和补丁，我们可以在Windows 7上进行单机部署，这...

    hadoop-3.0.0 windows配置文件

    注意，由于Windows并不完全兼容Unix/Linux的文件系统模型，可能会遇到一些问题，比如文件权限和硬链接的支持。因此，确保你使用的Hadoop版本是专门为Windows优化的，或者有相应的适配工具，如这个压缩包提供的`...

Magicbox
Global site tag (gtag.js) - Google Analytics