Eclipse 开发Hadoop
下载hadoop-eclipse-plugin-0.20.3-SNAPSHOT.jar
https://issues.apache.org/jira/secure/attachment/12460491/hadoop-eclipse-plugin-0.20.3-SNAPSHOT.jar
注意不要用hadoop-0.20.2下自带的eclise插件,那个是坑爹的。否则会导致run on Hadoop 无反应。这个插件的版本是配合eclipse3.5的。下载后将其重命名为hadoop-0.20.2-eclipse-plugin.jar,并放入到eclipse插件目录中。
启动eclipse:打开windows->open perspective->other->map/reduce 可以看到map/reduce开发视图。设置Hadoop location.
打开windows->show view->other-> map/reduce Locations视图,在点击大象后【new Hadoop location】弹出的对话框(General tab)进行参数的添加:
Location name: 任意
map/reduce master: 与mapred-site.xml里面mapred.job.tracker设置一致。
DFS master:与core-site.xml里fs.default.name设置一致。
User name: 服务器上运行hadoop服务的用户名。
这些已经足够用。当然,如果你需要特殊设置,那么打开Advanced parameters设置面板,查看当前的选项以及修改其值.
创建Map/Reduce Project。运行最简单的WordCount程序。
点击Run on hadoop, 运行程序。你可以看到在output文件夹中出现文本段
运行时可能会出现内存溢出的异常:
原因是客户端程序运行时java虚拟机内存分配不够,修改run configuration(run as >run configurations),选择Arguments选项卡,在VM arguments栏中加入-Xmx1024m,保存后执行没有问题(即将执行时虚拟机内存调大)
分享到:
相关推荐
3. **运行WordCount程序**:调用Hadoop自带的Java程序`hadoop-mapreduce-examples-2.7.7.jar`,指定输入和输出参数。 ### 四、实验结果 成功运行WordCount后,可以在指定的输出文件夹(例如/output)中看到统计...
- 执行 `bin/hadoop jar hadoop-0.20.2-examples.jar wordcount input output` 来运行 WordCount 程序,其中 `input` 是 HDFS 上的输入目录,`output` 是输出结果的目录。 6. **查看输出结果**: - 使用 `bin/...
### Ubuntu上运行Hadoop WordCount实例详解 #### 一、环境搭建与配置 在Ubuntu系统上部署并运行Hadoop WordCount实例,首先需要确保已经安装了Hadoop环境,并且版本为hadoop-0.20.2。此版本较旧,主要用于教学或...
描述中的"windows 下的hadoop版本的配置"是一项关键任务,因为Hadoop通常在Linux环境下运行,但在Windows上运行需要一些额外的步骤。这里提到的`Eclipse安装Hadoop插件.docx`文档应该包含了详细步骤,包括配置HADOOP...
2. **JAVA JDK安装**:在Linux环境下安装和配置Java Development Kit (JDK) 是运行和开发Hadoop程序的必要条件。实验要求学生熟悉这一过程。 3. **多台主机虚拟化**:通过VirtualBox或类似工具创建多台虚拟机,模拟...
本文将深入探讨如何在Windows环境下,使用Eclipse、Maven以及Hadoop来实现一个基础的WordCount程序。WordCount是Hadoop的经典示例,用于统计文本中各个单词出现的次数,它是理解MapReduce编程模型的一个良好起点。 ...
本篇将详细讲解如何在Linux和Windows操作系统下配置Eclipse进行Hadoop开发。 **一、Linux环境下配置Eclipse开发Hadoop** 1. **安装Java**: Hadoop依赖Java运行环境,首先确保系统已安装Java,并且版本至少为Java 8...
在实际环境中,我们需要配置 Hadoop 集群,设置输入文件路径,编译并打包 WordCount 程序,最后通过 Hadoop 的 `hadoop jar` 命令提交作业到集群运行。调试时,可以查看日志输出,检查错误信息,优化性能。 通过...
选择 WordCount 程序,在 Arguments 中配置运行参数:/mapreduce/wordcount/input /mapreduce/wordcount/output/1 分别表示 HDFS 下的输入目录和输出目录,其中输入目录中有几个文本文件,输出目录必须不存在。...
在Eclipse中,`hadoop.ddl`可以用于辅助开发和调试Hadoop MapReduce任务,使开发人员能够更好地理解和操作HDFS上的数据。 接下来,我们讨论Eclipse插件。为了在Eclipse中支持Hadoop开发,我们需要安装特定的插件,...
在linux环境下部署的Hadoop集群-WordCount运行详解。
Hadoop示例程序WordCount运行及详解 Hadoop平台上进行WordCount是非常重要的,掌握了WordCount可以更好地理解Hadoop的map-reduce编程模型。本文将详细讲解Hadoop平台上WordCount的运行和实现。 基于Hadoop的map-...
本项目将详细介绍如何在Hadoop环境中成功运行WordCount程序,以及涉及到的相关知识点。 首先,`Hadoop`是一个基于Java的框架,设计用来处理和存储大规模数据。它采用了分布式计算模型,即MapReduce,将大型任务分解...
本文档详细记录了如何在Ubuntu下安装Eclipse,并如何在Eclipse中安装Hadoop插件,最后运行程序。下面将对标题、描述、标签和部分内容进行详细解释和分析。 标题: Ubuntu下开发Eclipse下的Hadoop应用 本标题表明本...
hadoop-wordcount测试程序,jar包,单词统计的不二之选
"Hadoop 1.2.1 版本下修改 WordCount 程序并编译" Hadoop 是一种基于分布式处理的大数据处理框架,其中 WordCount 程序是一个经典的示例程序,用于统计文本文件中的词频信息。在 Hadoop 1.2.1 版本下,我们可以修改...
在本文中,我们将深入探讨如何在Windows环境下使用Eclipse IDE远程连接到伪分布式Hadoop集群,并运行经典的WordCount示例程序。WordCount是Hadoop入门的标志性任务,它统计文本中单词出现的次数,这对于理解...
运行WordCount程序时,Hadoop会自动将数据分发到集群的各个节点上,每个节点上的TaskTracker会执行对应的Map任务。当Map任务完成,中间结果会被排序和分区,然后传递给Reduce任务。Reduce任务最终将结果写回到HDFS,...
在 Eclipse 中,可以创建一个 Java 类,例如 `WordCount`,然后将 Hadoop 的 WordCount 源程序代码拷贝到该类中。该代码实现了 WordCount 程序的逻辑,包括 Map 任务和 Reduce 任务。 运行 WordCount 程序 要运行 ...