`
micheall
  • 浏览: 14199 次
  • 性别: Icon_minigender_1
  • 来自: 北京
最近访客 更多访客>>
社区版块
存档分类

Eclipse下hadoop之旅-第一篇

阅读更多

 

第一步:eclipse的配置

 

在浏览器输入网址:http://www.eclipse.org/downloads/

 

由于我用的是mac os 64位的,所以我下载了Mac OS X 64 Bit


将hadoop的插件hadoop-eclipse-plugin-1.0.3.jar(可在附件中下载)放置到eclipse\plugins目录下,重新启动eclipse。

 

第二步:建立Hadoop Location

 

在Windows->Open Perspective中,选择Other,在弹出框中选择Map/Reduce,点击OK。进入Map/Reduce视图,如下图:




 
如上图,点击红色框中的添加,新建一个Location,如下图:

 


点击Finish,完成后,在左边的Project Explore视图中,即可看到已经建立后的目录结构。如下图:

 


如上图,可以在hadoop-zhangosufei上,通过右键,新建目录和上传、下载文件。

 

第三步:创建hadoop project

 

新建一个Map/Reduce的项目,步骤如下:

 


 

点击next

 


如上图,配置完hadoop路径后,点击ok,点击Finish。

 

 

第四步:测试单词统计的例子

 

1、在hadoop-zhangosufei目录上右键,新建两个子目录,分别是input01和output01,如下图:


 

2、在本地新建文本文件file01,内容为:Hello World Bye World

              新建文本文件file02,内容为:Hello Hadoop Goodbye Hadoop

     在input01目录上,右键,上传file01和file02到dfs,如下图:


 

3、从路径hadoop-1.0.3/src/examples/org/apache/hadoop/examples下拷贝WordCount.java文件,到HelloHadoop的src下。

 

在WordCount.java文件上,右键选择Run As->Run Configurations,在弹出的窗口中,进行参数配置,如下图:

 


如上图,在Java Application目录上右键,选择New,弹出窗口如下:


在弹出的窗口中,Name输入WordCount

在Arguments标签中输入以下信息:

 

hdfs://localhost:9000/tmp/hadoop-zhangosufei/input01 hdfs://localhost:9000/tmp/hadoop-zhangosufei/output01

点击Run,待运行结束后,点击Project Explore中的output01,双击打开_SUCCESS文件,即可看到统计结果。 

 

  • 大小: 23.9 KB
  • 大小: 88.1 KB
  • 大小: 70.2 KB
  • 大小: 24 KB
  • 大小: 60.2 KB
  • 大小: 125.6 KB
  • 大小: 38.8 KB
  • 大小: 115.9 KB
  • 大小: 114.1 KB
分享到:
评论

相关推荐

    hadoop-eclipse-plugin1.2.1 and hadoop-eclipse-plugin2.8.0

    Hadoop-Eclipse-Plugin 2.8.0的出现,反映了Hadoop生态系统从Hadoop 1到Hadoop 2的重大转变,尤其是在资源管理和任务调度方面的改进。同时,这也意味着对于那些已经习惯了Eclipse或MyEclipse的开发者来说,他们无需...

    hadoop-eclipse-plugin-2.10.0.jar

    必须注意对于不同的hadoop版本,` HADDOP_INSTALL_PATH/share/hadoop/common/lib`下的jar包版本都不同,需要一个个调整 - `hadoop2x-eclipse-plugin-master/ivy/library.properties` - `hadoop2x-eclipse-plugin-...

    eclipse运行mr插件hadoop-eclipse-plugin-2.6.0.jar

    1. **下载插件**: 首先,你需要从可靠的来源下载`hadoop-eclipse-plugin-2.6.0.jar`文件。确保这个版本与你的Hadoop 2.6.0版本兼容。 2. **添加插件到Eclipse**: 打开Eclipse,然后选择`Window` -> `Preferences` -...

    hadoop-eclipse-plugin-3.1.3.jar

    hadoop-eclipse-plugin-3.1.3,eclipse版本为eclipse-jee-2020-03

    hadoop-eclipse-plugin-3.1.1.tar.gz

    Hadoop-Eclipse-Plugin-3.1.1是一款专为Eclipse集成开发环境设计的插件,用于方便地在Hadoop分布式文件系统(HDFS)上进行开发和调试MapReduce程序。这款插件是Hadoop生态系统的组成部分,它使得Java开发者能够更加...

    好用hadoop-eclipse-plugin-1.2.1

    hadoop-eclipse-plugin-1.2.1hadoop-eclipse-plugin-1.2.1hadoop-eclipse-plugin-1.2.1hadoop-eclipse-plugin-1.2.1

    hadoop-eclipse-plugin-3.3.1.jar

    Ubuntu虚拟机HADOOP集群搭建eclipse环境 hadoop-eclipse-plugin-3.3.1.jar

    Hadoop-eclipse-plugin-2.7.2

    《Hadoop-eclipse-plugin-2.7.2:在Eclipse中轻松开发Hadoop应用》 在大数据处理领域,Hadoop作为一个开源的分布式计算框架,因其高效、可扩展的特性而备受青睐。然而,对于开发者而言,有效地集成开发环境至关重要...

    hadoop-eclipse-plugin三个版本的插件都在这里了。

    hadoop-eclipse-plugin-2.7.4.jar和hadoop-eclipse-plugin-2.7.3.jar还有hadoop-eclipse-plugin-2.6.0.jar的插件都在这打包了,都可以用。

    hadoop-eclipse-plugin-2.7.3和2.7.7

    hadoop-eclipse-plugin-2.7.3和2.7.7的jar包 hadoop-eclipse-plugin-2.7.3和2.7.7的jar包 hadoop-eclipse-plugin-2.7.3和2.7.7的jar包 hadoop-eclipse-plugin-2.7.3和2.7.7的jar包

    hadoop-eclipse-plugin-3.1.2.jar

    在eclipse中搭建hadoop环境,需要安装hadoop-eclipse-pulgin的插件,根据hadoop的版本对应jar包的版本,此为hadoop3.1.2版本的插件。

    hadoop-eclipse-plugin-0.20.3-SNAPSHOT.jar

    hadoop-eclipse-plugin-0.20.3-SNAPSHOT.jarhadoop-eclipse-plugin-0.20.3-SNAPSHOT.jarhadoop-eclipse-plugin-0.20.3-SNAPSHOT.jarhadoop-eclipse-plugin-0.20.3-SNAPSHOT.jar

    Hadoop-eclipse-plugin-2.7.6下载与说明

    1. **安装插件**:首先,你需要下载Hadoop-eclipse-plugin-2.7.6对应的JAR文件,然后将其放入Eclipse的plugins目录下。重启Eclipse后,插件会被自动加载。确保你的Eclipse版本与Hadoop版本兼容,否则可能会出现不...

    eclipse-hadoop3x-master.zip

    【标题】"eclipse-hadoop3x-master.zip" 指的是一个Eclipse插件或项目,用于支持Hadoop 3.x版本的开发环境。这个压缩包可能包含了配置、源代码、库文件以及必要的设置,使得开发人员能够在Eclipse集成开发环境中有效...

    hadoop-eclipse-plugin-2.7.4.jar

    最新的hadoop-eclipse-plugin-2.7.4.jar 很好用的hadoop的eclipse插件。自己编译的。 经过测试,使用没有任何问题。 请各位放心使用

    基于Eclipse的hadoop-eclipse-plugin-2.0.0插件

    `hadoop-eclipse-plugin`是Apache Hadoop项目提供的一款Eclipse集成插件,它允许开发者在Eclipse环境中直接创建、编辑、运行和管理Hadoop MapReduce项目。通过此插件,开发者可以将Hadoop作业直接部署到本地或远程...

    hadoop-eclipse-plugin-2.8.2.jar

    eclipse hadoop插件 ,基于hadoop2.8.2,亲测可用,不想用分下载的可以直接到这位大大的地盘去下载编译:https://github.com/jiaoyilun/hadoop2x-eclipse-plugin

    hadoop-eclipse-plugin-2.9.2

    找不到与hadoop-2.9.2版本对应的插件,手动生成的hadoop-eclipse-plugin-2.9.2版本,

    hadoop-eclipse-plugin-2.8.0.zip

    eclipse hadoop 环境插件,hadoop-eclipse-plugin-2.8.0

    好用的hadoop-eclipse-plugin-2.6.4.jar

    《Hadoop-Eclipse-Plugin-2.6.4.jar:Eclipse中的Hadoop开发利器》 在大数据处理领域,Hadoop作为一个开源的分布式计算框架,因其高效、可扩展的特性而备受青睐。为了方便开发者在Eclipse环境中进行Hadoop应用程序...

Global site tag (gtag.js) - Google Analytics