`
SINCE1978
  • 浏览: 58637 次
  • 性别: Icon_minigender_1
  • 来自: 济南
社区版块
存档分类
最新评论

在32bit win7下安装测试Hadoop2.6.0 etc纪要

 
阅读更多

    根据官网指导(http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/SingleCluster.html),按照wiki(http://wiki.apache.org/hadoop/Hadoop2OnWindows)的步骤进行,如果你的wiki安装步骤都顺利,那么往下也不用看了。

    wiki上提到“Hadoop version 2.2 onwards includes native support for Windows. The official Apache Hadoop releases do not include Windows binaries (yet, as of January 2014).However building a Windows package from the sources is fairly straightforward”,实际上在2.4、2.5直至目前最新版2.6,官方发行版一直都是不包含win本地库的,需要的话你得自己mvn编译,但在我的32位win7家庭版上问题出在步骤2.6,由于SDK一直装不上、mvn编译无法执行、无法本地编译hadoop。

    问题的源头是SDK7.1一直装不上,我将.net框架从4.5改到了4.0、以及针对注册表权限的修改都没用,始终安装失败。stackoverflow找办法:http://stackoverflow.com/questions/19620642/failed-to-locate-the-winutils-binary-in-the-hadoop-binary-path;这个stackoverflow办法不错,还提供了Simple Solution,只可惜提供下载的是64位winutils,当中提到了一篇更详细、有针对的资料:Build, Install, Configure and Run Apache Hadoop 2.2.0 in Microsoft Windows OS

    由于我本机无法编译,那么要么是找别的机器,有32位win7系统、并且具备4.0 .net + SDK7.1的、装上maven、JDK(如果没有的话)、把hadoop-2.6.0编译出来;要么继续去网上找雷锋上传的现成hadoop\bin,所幸找到了:http://www.cnblogs.com/smartbooks/p/3694760.html,赞一个!

    还有一位雷锋winghc提供了2.x版的eclipse插件下载:https://github.com/winghc/hadoop2x-eclipse-plugin,并于去年底提交了hadoop-eclipse-plugin-2.6.0.jar,他的博客:http://blog.csdn.net/white__cat/article/details/38392439,good job!

 

    在进行到wiki指导的最后一步3.5,执行put命令时出错,貌似仍然是winutils版本不对付,参考:

    http://download.csdn.net/detail/u014310430/8402965

    下载、解压、拷贝,再次运行:

    hdfs dfs -put myfile.txt /

o了,也可以ls查看到。smartbooks提供的是基于2.2版,看来2.4前后的winutils版本不兼容似乎是真的...

 

最终认识到:在win上搞hadoop就是耍流氓,推荐Ubuntu Kylin

分享到:
评论

相关推荐

    hadoop 2.6.0 eclipse 插件

    hadoop 2.6.0 eclipse 插件 测试可用

    hadoop2.6.0插件+64位winutils+hadoop.dll

    总的来说,"hadoop2.6.0插件+64位winutils+hadoop.dll"这个压缩包为Windows用户提供了一个在本地运行和测试Hadoop2.6.0的便捷途径。通过了解和掌握这些组件的工作原理以及如何在Windows环境下配置和使用它们,开发者...

    hadoop-2.6.0

    在实际应用中,使用Hadoop 2.6.0时,我们需要配置`hadoop-2.6.0`目录下的相关配置文件,如`core-site.xml`(核心配置)、`hdfs-site.xml`(HDFS配置)、`mapred-site.xml`(MapReduce配置)和`yarn-site.xml`(YARN...

    hadoop 2.6.0 安装包

    Hadoop是Apache软件基金...以上是对"Hadoop 2.6.0 安装包"的相关知识点的详细介绍,包括Hadoop的基本概念、主要组件、新特性、安装配置流程以及Hadoop生态系统的其他组件。这些知识对于理解和操作Hadoop集群至关重要。

    hadoop2.6.0.rar

    3. 解压Hadoop压缩包:使用`tar -zxvf hadoop2.6.0.tgz`命令解压。 4. 配置环境变量:在`~/.bashrc`或`~/.bash_profile`文件中设置HADOOP_HOME,并添加到PATH。 5. 配置Hadoop配置文件:修改`etc/hadoop/core-site....

    Hadoop 2.6.0在Windows 10 64bit下的hadoop.dll和winutils.exe

    hadoop.dll winutils.exe 在Windows 10 64bit系统上编译生成。 具体请参考: https://www.zybuluo.com/ncepuwanghui/note/343755

    hadoop2.6.0版本hadoop.dll和winutils.exe

    在标题中提到的“hadoop2.6.0版本hadoop.dll和winutils.exe”是针对Windows环境下运行Hadoop的一些关键组件。 1. **Hadoop 2.6.0**: 这是Hadoop的一个主要版本,发布于2014年,带来了许多增强和改进。在Hadoop 2.x...

    spark-assembly-1.5.2-hadoop2.6.0.jar

    Spark-assembly-1.5.2-hadoop2.6.0.jar是Spark中的一个重要组件,它是Spark的核心库,包含了所有Spark模块的合并版本,便于用户在运行Spark应用时进行一次性部署。本文将深入解析这个组件的关键知识点。 1. Spark...

    hadoop2.6.0+spark1.0所需资源

    hadoop-2.6.0.tar.gz + ideaIC-13.1.6.tar.gz + jdk-7u75-linux-i586.tar.gz + scala-2.10.4.tgz + spark-1.0.0-bin-hadoop2.tgz

    hadoop2.6.0-64-bin.zip

    标题"Hadoop2.6.0-64-bin.zip"指的是Hadoop 2.6.0版本的64位二进制发行版。Hadoop是一个开源的分布式计算框架,由Apache软件基金会开发,它允许在廉价硬件上处理大量数据,实现了大数据的存储和处理能力。这个压缩包...

    spark-assembly-1.5.2-hadoop2.6.0jar包

    Spark-assembly-1.5.2-hadoop2.6.0.jar是Apache Spark的一个关键组件,主要用于在Scala环境中开发Spark应用程序。这个特定的版本(1.5.2)与Hadoop 2.6.0兼容,这意味着它可以无缝地运行在支持Hadoop 2.6.0的集群上...

    spark-assembly-1.6.1-hadoop2.6.0.jar

    spark-assembly-1.6.1-hadoop2.6.0.jar,欢迎下载,,,,,,,,,,,,,,,,,,,,

    hadoop2.6.0的源码jar hadoop-common-2.6.0-sources.jar

    下载hadoop2.6.0的源码辛苦编译成的,网上没找到编译好现成的,费了几个小时用maven编译好的带源码的jar包,中间还得安装编译protoc,可以直接供eclipse使用。

    hadoop2.6.0.chm

    hadoop2.6.0.chm由hadoop的doc制成,包含User Guide、Javadocs等

    hadoop.dll & winutils.exe For hadoop-2.6.0

    在使用这两个文件时,确保将它们放在Hadoop的安装路径下,并正确配置`HADOOP_HOME`和`PATH`环境变量,以便系统能够找到并正确使用这些文件。同时,由于Hadoop的Windows支持有时可能存在兼容性问题或更新不及时,因此...

    Hadoop2.6.0版本windows环境搭建

    总结,搭建Hadoop2.6.0在Windows环境下的过程涉及多个步骤,包括下载、解压、配置环境变量、修改配置文件、启动服务以及验证安装。此外,对于开发者而言,集成Hadoop-eclipse插件能提高开发效率。理解并掌握这些步骤...

    hadoop-2.6.0.tar.gz&hadoop-2.6.0-cdh5.16.2.tar.gz

    Apache Hadoop 2.6.0是Hadoop生态系统中的一个里程碑,它在2.4.0的基础上进行了一系列优化,提升了系统的稳定性和可扩展性。在这个版本中,YARN(Yet Another Resource Negotiator)作为资源管理器得到了进一步强化...

    hadoop2.6.0ecipse插件

    hadoop2.6.0 jdk1.7 ant 1.9.4 eclipse最新版 使用说明:放置到eclipse/plugins下 重启eclipse即可

    hadoop2.6.0(winutils、hadoop.dll)

    4. **HDFS模拟器**: Hadoop2.6.0版本包含了HDFS的本地模拟器,使得开发者可以在单机的Windows环境下测试HDFS操作,而无需完整的分布式集群。这对于开发和调试Hadoop应用程序非常有用。 5. **安全认证**: winutils....

Global site tag (gtag.js) - Google Analytics