- 浏览: 64693 次
- 性别:
- 来自: 上海
文章分类
最新评论
前几天一直无进展,今天也弄了半天,但是出现了转机,不再是那个“connection to myubuntu(这里是自己起的名字) org/apache/hadoop/configuration/configuration”的错误了,因为我当时直接双击下方那个view里的图标,结果报出的错误是An internal error occurred during: “Map/Reduce location status updater”.
java.lang.NoClassDefFoundError: org/codehaus/jackso/map/JsonMappingException
以此为关键词搜索出了解决办法:(最幸运的莫过于一篇中文文章了)
http://www.maplef.net/blog/archives/eclipse-hadoop-plugin.html
文章作者说明了这是20.203的问题,全换成20.2可以连接上HDFS了
但作者也提出了,"使用0.20.2版本后,仍然没有办法直接通过hadoop运行mapreduce程序,需要手动运行,"
为此,按照 这个文章 编写了一个makefile去运行程序,内容如下:
JarFile=”wordcount-0.1.jar”
MainFunc=”net.maplef.hadoop.wordcount.WordCountDriver”
LocalOutDir=”/tmp/output”
all:help
jar:
jar -cvf ${JarFile} -C bin/ .
input:
hadoop fs -rmr input
hadoop fs -put ${input} input
run:
hadoop jar ${JarFile} ${MainFunc} input output
clean:
hadoop fs -rmr output
output:
rm -rf ${LocalOutDir}
hadoop fs -get output ${LocalOutDir}
gedit ${LocalOutDir}/part-r-00000 &
help:
@echo “Usage:”
@echo ” make jar – Build Jar File.”
@echo ” make input input=yourinputpath – Set up Input Path”
@echo ” make clean – Clean up Output directory on HDFS.”
@echo ” make run – Run your MapReduce code on Hadoop.”
@echo ” make output – Download and show output file”
@echo ” make help – Show Makefile options.”
@echo ” ”
@echo “Example:”
@echo ” make jar; make input input=/home/username/hadoop-test/input/*; make run; make output; make clean”
最后,小小表扬一下自己,虽然世上很少有事一帆风顺,但是只有坚持才有可能找到路,比起以前那种兴奋劲三天就过,总算进步了。
发表评论
-
centos7下安装hadoop2.6.4过程总结
2016-03-03 21:49 0linux是从ubuntu开始接触的,但听说做服务器的,而且 ... -
java review
2013-04-07 00:02 0jdk包括编译与执行环境 jre是执行环境 将java源 ... -
[转]Yahoo持续的Pig/Hadoop(MapReduce)工作流
2013-03-16 21:40 859传送门:http://blog.sina.c ... -
有关kvm
2013-03-16 21:15 1325有一台式机,希望能模拟一个三四台的小集群,因为装的ubun ... -
20130301日志:第一个python脚本文件的执行
2013-03-01 16:38 811使用的参考书:《python学习手册》 第3章的 ... -
java review 130218
2013-02-18 20:33 0ssy javase 20-26 多态:父类或者接口 ... -
java review 130215
2013-02-15 17:45 0ssy javase 11 一、java方法参数传递方式 ... -
有关装机与虚拟机
2011-12-15 14:44 0http://itbbs.pconline.com.cn/no ... -
hadoop 源代码学习
2011-12-15 14:44 0根据《hadoop 源代码分析 完整版》 (四) 主 ... -
hadoop io机制 序列化与反序列化
2011-12-15 11:27 0原文: http://blog.csdn.net/asx20 ... -
对象的序列化与反序列化
2011-12-15 11:02 0原文: http://www.blogjava.net/am ... -
source insight使用
2011-12-15 10:24 953原文: http://www.sourceinsight.c ... -
MapReduce流程分析
2011-12-13 18:39 1256原文:http://blog.csdn.net/jackyda ... -
[转]Twitter首席工程师:如何“打败”CAP定理
2011-12-12 11:44 1891英文原文:How to beat the CAP theore ... -
自行编译hadoop eclipse-plugin for eclipse3.7
2011-12-12 11:33 2859主要是这两篇文章: http://varyall.iteye ... -
mapper,reducer的个数
2011-12-07 13:10 0《实战Hadoop》中第3章有一节讨论reducer的个数,从 ... -
hadoop eclipse plugin 之二
2011-12-03 11:47 1735前面已经有一篇记述了hadoop-plugin for ecl ... -
HDFS常用操作与API
2011-11-22 11:16 0《Hadoop》实践Chap2 相应条目下给出命令与贴图(另 ... -
Puzzel2:Time for a Change
2010-09-05 00:31 803Consider the following word pro ... -
web.xml 中的listener、 filter、servlet 加载顺序及其详解
2011-09-20 13:46 619原文在这里:http://zhxing.iteye.com/b ...
相关推荐
groovy eclipse plugin2groovy eclipse plugin2groovy eclipse plugin2groovy eclipse plugin2groovy eclipse plugin2groovy eclipse plugin2groovy eclipse plugin2
xfire eclipse plugin是一款专为Eclipse集成开发环境设计的插件,它主要目的是方便开发者在Eclipse中使用XFire框架进行服务导向架构(Service-Oriented Architecture, SOA)的开发工作。XFire是一个高性能、轻量级的...
《IAR EWARM6.30 Eclipse Plugin:集成开发环境的新选择》 IAR EWARM6.30 Eclipse Plugin是一款由IAR Systems公司推出的Eclipse集成开发环境(IDE)插件,它为开发者提供了一种在Eclipse平台上使用IAR编译工具的...
《Hadoop Eclipse Plugin:开发利器的进化》 在大数据领域,Hadoop作为开源分布式计算框架,扮演着核心角色。为了方便开发者在Eclipse或MyEclipse这样的集成开发环境中高效地进行Hadoop应用开发,Hadoop-Eclipse-...
**Android Eclipse Plugin 12.0** Android Eclipse Plugin 12.0 是一款专为集成开发环境(IDE)Eclipse设计的插件,用于支持Android应用程序的开发。这个插件是开发者的重要工具,它将Eclipse转变为一个强大的...
Eclipse集成Hadoop2.10.0的插件,使用`ant`对hadoop的jar包进行打包并适应Eclipse加载,所以参数里有hadoop和eclipse的目录. 必须注意对于不同的hadoop版本,` HADDOP_INSTALL_PATH/share/hadoop/common/lib`下的jar包...
Activity for Eclipse 插件是专为Eclipse集成开发环境设计的一款扩展工具,主要用来增强Eclipse的功能,提高开发效率。版本号为5.9.3,这是一个较新的稳定版本,通常会包含各种性能优化和新特性。安装过程简单便捷,...
《Hadoop Eclipse Plugin 2.7.4:MapReduce编程的得力助手》 Hadoop Eclipse Plugin 2.7.4是专为Hadoop 2.7.4版本设计的一款集成开发工具,它使得开发者能够在Eclipse环境中直接编写、调试和运行MapReduce程序,极...
【Hadoop Eclipse Plugin 1.1.2:开启Hadoop在Eclipse中的开发之旅】 Hadoop Eclipse Plugin 1.1.2 是一个专门为Eclipse IDE设计的插件,旨在简化Hadoop应用程序的开发过程。这个插件使得Java开发者能够在熟悉的...
《Hadoop Eclipse Plugin 2.6.0:高效开发与测试工具》 Hadoop作为大数据处理的核心框架,为开发者提供了强大的分布式存储和计算能力。在实际的开发过程中,为了提高效率并减少错误,Hadoop提供了Eclipse插件,即...
hadoop eclipse plugin for version 1.0.1
《Hadoop Eclipse Plugin 2.6.0:整合Eclipse开发环境的利器》 Hadoop Eclipse Plugin 2.6.0是一款专为Eclipse集成开发环境设计的插件,它使得开发者能够在熟悉的Eclipse环境中直接操作和管理Hadoop集群,极大地...
eclipse plugin 开发者帮助api文档
Hadoop-Eclipse-Plugin-3.1.1是一款专为Eclipse集成开发环境设计的插件,用于方便地在Hadoop分布式文件系统(HDFS)上进行开发和调试MapReduce程序。这款插件是Hadoop生态系统的组成部分,它使得Java开发者能够更加...
UMLet 11.4 Eclipse plugin ,这个插件用来画UML图比较好用!
《Hadoop-eclipse-plugin-2.7.2:在Eclipse中轻松开发Hadoop应用》 在大数据处理领域,Hadoop作为一个开源的分布式计算框架,因其高效、可扩展的特性而备受青睐。然而,对于开发者而言,有效地集成开发环境至关重要...
hadoop-eclipse-plugin-1.2.1hadoop-eclipse-plugin-1.2.1hadoop-eclipse-plugin-1.2.1hadoop-eclipse-plugin-1.2.1
"eclipse plugin"这个标题表明我们将探讨与Eclipse插件相关的知识。 首先,Eclipse插件基于OSGi(Open Service Gateway Initiative)框架,该框架使得插件之间可以模块化、动态地加载和卸载。每个插件都有自己的类...
《Hadoop Eclipse Plugin 2.6.5:Eclipse与Hadoop的桥梁》 在大数据处理领域,Hadoop无疑是一个核心组件,它提供了一个分布式文件系统(HDFS)和MapReduce计算框架,使得大规模数据处理变得可能。而为了方便开发者...