`

eclipse plugin 终于有作用了

阅读更多

前几天一直无进展,今天也弄了半天,但是出现了转机,不再是那个“connection to myubuntu(这里是自己起的名字) org/apache/hadoop/configuration/configuration”的错误了,因为我当时直接双击下方那个view里的图标,结果报出的错误是An internal error occurred during: “Map/Reduce location status updater”.

java.lang.NoClassDefFoundError: org/codehaus/jackso/map/JsonMappingException

 

以此为关键词搜索出了解决办法:(最幸运的莫过于一篇中文文章了)

http://www.maplef.net/blog/archives/eclipse-hadoop-plugin.html

 

文章作者说明了这是20.203的问题,全换成20.2可以连接上HDFS了

但作者也提出了,"使用0.20.2版本后,仍然没有办法直接通过hadoop运行mapreduce程序,需要手动运行,"

 

为此,按照 这个文章 编写了一个makefile去运行程序,内容如下:

JarFile=”wordcount-0.1.jar”
MainFunc=”net.maplef.hadoop.wordcount.WordCountDriver”
LocalOutDir=”/tmp/output”

all:help
jar:
jar -cvf ${JarFile} -C bin/ .

input:
hadoop fs -rmr input
hadoop fs -put ${input} input

run:
hadoop jar ${JarFile} ${MainFunc} input output

clean:
hadoop fs -rmr output

output:
rm -rf ${LocalOutDir}
hadoop fs -get output ${LocalOutDir}
gedit ${LocalOutDir}/part-r-00000 &

help:
@echo “Usage:”
@echo ” make jar – Build Jar File.”
@echo ” make input input=yourinputpath – Set up Input Path”
@echo ” make clean – Clean up Output directory on HDFS.”
@echo ” make run – Run your MapReduce code on Hadoop.”
@echo ” make output – Download and show output file”
@echo ” make help – Show Makefile options.”
@echo ” ”
@echo “Example:”
@echo ” make jar; make input input=/home/username/hadoop-test/input/*; make run; make output; make clean”

 

最后,小小表扬一下自己,虽然世上很少有事一帆风顺,但是只有坚持才有可能找到路,比起以前那种兴奋劲三天就过,总算进步了。

 

分享到:
评论

相关推荐

    groovy eclipse plugin2

    groovy eclipse plugin2groovy eclipse plugin2groovy eclipse plugin2groovy eclipse plugin2groovy eclipse plugin2groovy eclipse plugin2groovy eclipse plugin2

    xfire eclipse plugin插件

    xfire eclipse plugin是一款专为Eclipse集成开发环境设计的插件,它主要目的是方便开发者在Eclipse中使用XFire框架进行服务导向架构(Service-Oriented Architecture, SOA)的开发工作。XFire是一个高性能、轻量级的...

    IAR EWARM6.30 Eclipse Plugin

    《IAR EWARM6.30 Eclipse Plugin:集成开发环境的新选择》 IAR EWARM6.30 Eclipse Plugin是一款由IAR Systems公司推出的Eclipse集成开发环境(IDE)插件,它为开发者提供了一种在Eclipse平台上使用IAR编译工具的...

    hadoop-eclipse-plugin1.2.1 and hadoop-eclipse-plugin2.8.0

    《Hadoop Eclipse Plugin:开发利器的进化》 在大数据领域,Hadoop作为开源分布式计算框架,扮演着核心角色。为了方便开发者在Eclipse或MyEclipse这样的集成开发环境中高效地进行Hadoop应用开发,Hadoop-Eclipse-...

    Android Eclipse Plugin 12.0

    **Android Eclipse Plugin 12.0** Android Eclipse Plugin 12.0 是一款专为集成开发环境(IDE)Eclipse设计的插件,用于支持Android应用程序的开发。这个插件是开发者的重要工具,它将Eclipse转变为一个强大的...

    Activity for Eclipse plugin

    Activity for Eclipse 插件是专为Eclipse集成开发环境设计的一款扩展工具,主要用来增强Eclipse的功能,提高开发效率。版本号为5.9.3,这是一个较新的稳定版本,通常会包含各种性能优化和新特性。安装过程简单便捷,...

    hadoop-eclipse-plugin-2.7.4

    《Hadoop Eclipse Plugin 2.7.4:MapReduce编程的得力助手》 Hadoop Eclipse Plugin 2.7.4是专为Hadoop 2.7.4版本设计的一款集成开发工具,它使得开发者能够在Eclipse环境中直接编写、调试和运行MapReduce程序,极...

    hadoop-eclipse-plugin-1.1.2

    【Hadoop Eclipse Plugin 1.1.2:开启Hadoop在Eclipse中的开发之旅】 Hadoop Eclipse Plugin 1.1.2 是一个专门为Eclipse IDE设计的插件,旨在简化Hadoop应用程序的开发过程。这个插件使得Java开发者能够在熟悉的...

    hadoop-eclipse-plugin-2.10.0.jar

    Eclipse集成Hadoop2.10.0的插件,使用`ant`对hadoop的jar包进行打包并适应Eclipse加载,所以参数里有hadoop和eclipse的目录. 必须注意对于不同的hadoop版本,` HADDOP_INSTALL_PATH/share/hadoop/common/lib`下的jar包...

    hadoop eclipse plugin 1.0.1

    hadoop eclipse plugin for version 1.0.1

    Eclipse Plugin开发者API

    eclipse plugin 开发者帮助api文档

    hadoop-eclipse-plugin-3.1.1.tar.gz

    Hadoop-Eclipse-Plugin-3.1.1是一款专为Eclipse集成开发环境设计的插件,用于方便地在Hadoop分布式文件系统(HDFS)上进行开发和调试MapReduce程序。这款插件是Hadoop生态系统的组成部分,它使得Java开发者能够更加...

    UMLet 11.4 Eclipse plugin

    UMLet 11.4 Eclipse plugin ,这个插件用来画UML图比较好用!

    hadoop-eclipse-plugin-2.6.0.jar.zip_2.6.0_hadoop_hadoop plugin

    《Hadoop Eclipse Plugin 2.6.0:高效开发与测试工具》 Hadoop作为大数据处理的核心框架,为开发者提供了强大的分布式存储和计算能力。在实际的开发过程中,为了提高效率并减少错误,Hadoop提供了Eclipse插件,即...

    Hadoop-eclipse-plugin-2.7.2

    《Hadoop-eclipse-plugin-2.7.2:在Eclipse中轻松开发Hadoop应用》 在大数据处理领域,Hadoop作为一个开源的分布式计算框架,因其高效、可扩展的特性而备受青睐。然而,对于开发者而言,有效地集成开发环境至关重要...

    好用hadoop-eclipse-plugin-1.2.1

    hadoop-eclipse-plugin-1.2.1hadoop-eclipse-plugin-1.2.1hadoop-eclipse-plugin-1.2.1hadoop-eclipse-plugin-1.2.1

    hadoop-eclipse-plugin-2.6.0.jar

    《Hadoop Eclipse Plugin 2.6.0:整合Eclipse开发环境的利器》 Hadoop Eclipse Plugin 2.6.0是一款专为Eclipse集成开发环境设计的插件,它使得开发者能够在熟悉的Eclipse环境中直接操作和管理Hadoop集群,极大地...

    eclipse plugin

    "eclipse plugin"这个标题表明我们将探讨与Eclipse插件相关的知识。 首先,Eclipse插件基于OSGi(Open Service Gateway Initiative)框架,该框架使得插件之间可以模块化、动态地加载和卸载。每个插件都有自己的类...

    hadoop-eclipse-plugin-2.6.5.jar插件下载

    《Hadoop Eclipse Plugin 2.6.5:Eclipse与Hadoop的桥梁》 在大数据处理领域,Hadoop无疑是一个核心组件,它提供了一个分布式文件系统(HDFS)和MapReduce计算框架,使得大规模数据处理变得可能。而为了方便开发者...

Global site tag (gtag.js) - Google Analytics