`
wahaha603
  • 浏览: 79699 次
  • 来自: 上海
社区版块
存档分类
最新评论

linux下eclipse上运行hadoop自带wordcount程序

阅读更多

 Eclipse 开发Hadoop

 

    下载hadoop-eclipse-plugin-0.20.3-SNAPSHOT.jar

https://issues.apache.org/jira/secure/attachment/12460491/hadoop-eclipse-plugin-0.20.3-SNAPSHOT.jar

 

    注意不要用hadoop-0.20.2下自带的eclise插件,那个是坑爹的。否则会导致run on Hadoop 无反应。这个插件的版本是配合eclipse3.5的。下载后将其重命名为hadoop-0.20.2-eclipse-plugin.jar,并放入到eclipse插件目录中。

 

    启动eclipse:打开windows->open perspective->other->map/reduce 可以看到map/reduce开发视图。设置Hadoop location.

 

    打开windows->show view->other-> map/reduce Locations视图,在点击大象后【new Hadoop location】弹出的对话框(General tab)进行参数的添加:

    Location name: 任意

    map/reduce master: 与mapred-site.xml里面mapred.job.tracker设置一致。

    DFS master:与core-site.xml里fs.default.name设置一致。

    User name: 服务器上运行hadoop服务的用户名。

 

    这些已经足够用。当然,如果你需要特殊设置,那么打开Advanced parameters设置面板,查看当前的选项以及修改其值.

 

    创建Map/Reduce Project。运行最简单的WordCount程序。

 

    点击Run on hadoop, 运行程序。你可以看到在output文件夹中出现文本段

 

    运行时可能会出现内存溢出的异常:

原因是客户端程序运行时java虚拟机内存分配不够,修改run configuration(run as >run configurations),选择Arguments选项卡,在VM arguments栏中加入-Xmx1024m,保存后执行没有问题(即将执行时虚拟机内存调大)

 

 

分享到:
评论

相关推荐

    使用hadoop实现WordCount实验报告.docx

    3. **运行WordCount程序**:调用Hadoop自带的Java程序`hadoop-mapreduce-examples-2.7.7.jar`,指定输入和输出参数。 ### 四、实验结果 成功运行WordCount后,可以在指定的输出文件夹(例如/output)中看到统计...

    hadoop运行wordcount实例

    - 执行 `bin/hadoop jar hadoop-0.20.2-examples.jar wordcount input output` 来运行 WordCount 程序,其中 `input` 是 HDFS 上的输入目录,`output` 是输出结果的目录。 6. **查看输出结果**: - 使用 `bin/...

    ubuntu运行hadoop的wordcount

    ### Ubuntu上运行Hadoop WordCount实例详解 #### 一、环境搭建与配置 在Ubuntu系统上部署并运行Hadoop WordCount实例,首先需要确保已经安装了Hadoop环境,并且版本为hadoop-0.20.2。此版本较旧,主要用于教学或...

    eclipse hadoop插件安装 运行WordCount

    描述中的"windows 下的hadoop版本的配置"是一项关键任务,因为Hadoop通常在Linux环境下运行,但在Windows上运行需要一些额外的步骤。这里提到的`Eclipse安装Hadoop插件.docx`文档应该包含了详细步骤,包括配置HADOOP...

    实验2-在Hadoop平台上部署WordCount程序-孙淼1

    2. **JAVA JDK安装**:在Linux环境下安装和配置Java Development Kit (JDK) 是运行和开发Hadoop程序的必要条件。实验要求学生熟悉这一过程。 3. **多台主机虚拟化**:通过VirtualBox或类似工具创建多台虚拟机,模拟...

    基于Windows eclipse maven Hadoop 的WordCount源码

    本文将深入探讨如何在Windows环境下,使用Eclipse、Maven以及Hadoop来实现一个基础的WordCount程序。WordCount是Hadoop的经典示例,用于统计文本中各个单词出现的次数,它是理解MapReduce编程模型的一个良好起点。 ...

    Linux和Win下配置eclipse开发hadoop

    本篇将详细讲解如何在Linux和Windows操作系统下配置Eclipse进行Hadoop开发。 **一、Linux环境下配置Eclipse开发Hadoop** 1. **安装Java**: Hadoop依赖Java运行环境,首先确保系统已安装Java,并且版本至少为Java 8...

    Hadoop mapreduce实现wordcount

    在实际环境中,我们需要配置 Hadoop 集群,设置输入文件路径,编译并打包 WordCount 程序,最后通过 Hadoop 的 `hadoop jar` 命令提交作业到集群运行。调试时,可以查看日志输出,检查错误信息,优化性能。 通过...

    eclipse配置hadoop

    选择 WordCount 程序,在 Arguments 中配置运行参数:/mapreduce/wordcount/input /mapreduce/wordcount/output/1 分别表示 HDFS 下的输入目录和输出目录,其中输入目录中有几个文本文件,输出目录必须不存在。...

    eclipse连接hadoop所需要的hadoop.ddl和eclipse插件和hadoop运行案例

    在Eclipse中,`hadoop.ddl`可以用于辅助开发和调试Hadoop MapReduce任务,使开发人员能够更好地理解和操作HDFS上的数据。 接下来,我们讨论Eclipse插件。为了在Eclipse中支持Hadoop开发,我们需要安装特定的插件,...

    Hadoop集群-WordCount运行详解

    在linux环境下部署的Hadoop集群-WordCount运行详解。

    Hadoop示例程序WordCount运行及详解

    Hadoop示例程序WordCount运行及详解 Hadoop平台上进行WordCount是非常重要的,掌握了WordCount可以更好地理解Hadoop的map-reduce编程模型。本文将详细讲解Hadoop平台上WordCount的运行和实现。 基于Hadoop的map-...

    hadoop 运行成功代码(wordcount)

    本项目将详细介绍如何在Hadoop环境中成功运行WordCount程序,以及涉及到的相关知识点。 首先,`Hadoop`是一个基于Java的框架,设计用来处理和存储大规模数据。它采用了分布式计算模型,即MapReduce,将大型任务分解...

    Ubuntu下开发Eclipse下的Hadoop应用

    本文档详细记录了如何在Ubuntu下安装Eclipse,并如何在Eclipse中安装Hadoop插件,最后运行程序。下面将对标题、描述、标签和部分内容进行详细解释和分析。 标题: Ubuntu下开发Eclipse下的Hadoop应用 本标题表明本...

    hadoop-wordcount测试程序

    hadoop-wordcount测试程序,jar包,单词统计的不二之选

    hadoop1.2.1修改WordCount并编译

    "Hadoop 1.2.1 版本下修改 WordCount 程序并编译" Hadoop 是一种基于分布式处理的大数据处理框架,其中 WordCount 程序是一个经典的示例程序,用于统计文本文件中的词频信息。在 Hadoop 1.2.1 版本下,我们可以修改...

    eclipse下运行wordcount

    在本文中,我们将深入探讨如何在Windows环境下使用Eclipse IDE远程连接到伪分布式Hadoop集群,并运行经典的WordCount示例程序。WordCount是Hadoop入门的标志性任务,它统计文本中单词出现的次数,这对于理解...

    hadoop之wordcount例程代码

    运行WordCount程序时,Hadoop会自动将数据分发到集群的各个节点上,每个节点上的TaskTracker会执行对应的Map任务。当Map任务完成,中间结果会被排序和分区,然后传递给Reduce任务。Reduce任务最终将结果写回到HDFS,...

    hadoop wordCount程序

    在 Eclipse 中,可以创建一个 Java 类,例如 `WordCount`,然后将 Hadoop 的 WordCount 源程序代码拷贝到该类中。该代码实现了 WordCount 程序的逻辑,包括 Map 任务和 Reduce 任务。 运行 WordCount 程序 要运行 ...

Global site tag (gtag.js) - Google Analytics