在eclipse中配置hadoop插件
1.安装插件
准备程序:
eclipse-3.3.2(这个版本的插件只能用这个版本的eclipse)
hadoop-0.20.2-eclipse-plugin.jar (在hadoop-0.20.2/contrib/eclipse-plugin目录下)
将hadoop-0.20.2-eclipse-plugin.jar 复制到eclipse/plugins目录下,重启eclipse。
2.打开MapReduce视图
Window -> Open Perspective -> Other 选择Map/Reduce,图标是个蓝色的象。
3.添加一个MapReduce环境
在eclipse下端,控制台旁边会多一个Tab,叫“Map/Reduce Locations”,在下面空白的地方点右键,选择“New Hadoop location...”,如图所示:
在弹出的对话框中填写如下内容:
Location name(取个名字)
Map/Reduce Master(Job Tracker的IP和端口,根据mapred-site.xml中配置的mapred.job.tracker来填写)
DFS Master(Name Node的IP和端口,根据core-site.xml中配置的fs.default.name来填写)
4.使用eclipse对HDFS内容进行修改
经过上一步骤,左侧“Project Explorer”中应该会出现配置好的HDFS,点击右键,可以进行新建文件夹、删除文件夹、上传文件、下载文件、删除文件等操作。
注意:每一次操作完在eclipse中不能马上显示变化,必须得刷新一下。
5.创建MapReduce工程
5.1配置Hadoop路径
Window -> Preferences 选择 “Hadoop Map/Reduce”,点击“Browse...”选择Hadoop文件夹的路径。
这个步骤与运行环境无关,只是在新建工程的时候能将hadoop根目录和lib目录下的所有jar包自动导入。
5.2创建工程
File -> New -> Project 选择“Map/Reduce Project”,然后输入项目名称,创建项目。插件会自动把hadoop根目录和lib目录下的所有jar包导入。
5.3创建Mapper或者Reducer
File -> New -> Mapper 创建Mapper,自动继承mapred包里面的MapReduceBase并实现Mapper接口。
注意:这个插件自动继承的是mapred包里旧版的类和接口,新版的Mapper得自己写。
Reducer同理。
6.在eclipse中运行WordCount程序
6.1导入WordCount
6.2配置运行参数
Run As -> Open Run Dialog... 选择WordCount程序,在Arguments中配置运行参数:/mapreduce/wordcount/input /mapreduce/wordcount/output/1
分别表示HDFS下的输入目录和输出目录,其中输入目录中有几个文本文件,输出目录必须不存在。
6.3运行
Run As -> Run on Hadoop 选择之前配置好的MapReduce运行环境,点击“Finish”运行。
控制台会输出相关的运行信息。
6.4查看运行结果
在输出目录/mapreduce/wordcount/output/1中,可以看见WordCount程序的输出文件。除此之外,还可以看见一个logs文件夹,里面会有运行的日志。
相关推荐
### Eclipse安装Hadoop插件详解 #### 一、前言 随着大数据技术的快速发展,Hadoop作为处理海量数据的重要工具之一,其应用越来越广泛。为了更好地利用Eclipse进行Hadoop程序开发,安装Hadoop Eclipse插件是十分...
Eclipse的Hadoop插件是开发Hadoop MapReduce应用程序的重要工具,它允许开发者在熟悉的Eclipse集成开发环境中(IDE)编写、调试和管理Hadoop项目。这个插件专为Hadoop 0.20.2版本设计,并且要求Eclipse版本为3.5。在...
1. **下载Hadoop插件**:这里提到的`hadoop-eclipse-plugin-2.6.0.jar`是Eclipse与Hadoop交互的核心插件,它允许我们在Eclipse中直接创建、管理和运行Hadoop作业。你需要将这个jar文件放入Eclipse的plugins目录下。 ...
5. **安装与使用**:下载名为"hadoop2x-eclipse-plugin-2.6.0"的压缩包后,按照Eclipse的插件安装指南进行操作,通常涉及解压、复制到Eclipse的plugins目录,然后重启Eclipse。一旦安装成功,开发者就可以在Eclipse...
安装和使用 Hadoop Eclipse 插件通常涉及以下步骤: 1. 下载对应版本的 Hadoop Eclipse 插件 JAR 文件,例如提供的 hadoop-eclipse-plugin-2.6.0.jar。 2. 在 Eclipse 中,选择 Help > Install New Software,然后...
安装Eclipse Hadoop插件后,开发者可以享受到以下功能: 1. **项目创建**:插件提供了创建Hadoop项目的向导,指导用户设置必要的配置,如Hadoop版本、集群地址等。 2. **编辑器支持**:支持Hadoop相关的配置文件...
为了在Eclipse中方便地开发、测试和调试Hadoop项目,开发者通常需要安装特定的Hadoop插件。本压缩包提供的是针对Eclipse连接Hadoop的不同版本插件,适用于不同版本的Eclipse,因为每个Eclipse版本可能需要兼容的插件...
标题中的"eclipse hadoop插件安装"涉及到的是在Eclipse集成开发环境中安装Hadoop的插件过程。Eclipse是Java开发人员常用的IDE,而Hadoop插件使得在Eclipse中处理Hadoop项目变得可能。我们提供的资源中包含了适用于...
一旦插件安装成功,我们需要配置Hadoop的连接信息。这包括Hadoop的版本(这里是2.2.0)、HDFS的URL、用户名、密码等。在Eclipse中,可以这样做: 1. 打开"Window"菜单,选择"Preferences"。 2. 在左侧导航树中展开...
首先,需要安装 Eclipse 3.3.2 和 Hadoop 0.20.2-eclipse-plugin.jar 插件,插件可以在 Hadoop 0.20.2/contrib/eclipse-plugin 目录下找到。将插件复制到 Eclipse/plugins 目录下,重启 Eclipse。 二、打开 ...
Eclipse-Hadoop插件2.7.1是一个专门为Eclipse集成开发环境设计的扩展,用于支持Apache Hadoop框架的开发工作。Hadoop是大数据处理领域的重要开源项目,它提供了分布式文件系统(HDFS)和MapReduce计算模型,使得...
5. **安装与使用**:用户需要将对应的Hadoop-Eclipse插件JAR文件添加到Eclipse的plugins目录下,然后重启Eclipse即可。在新建项目时选择Hadoop相关模板,即可开始进行Hadoop开发。 6. **最佳实践**: - 选择与目标...
标题中的“在eclipse中配置hadoop插件”是指在集成开发环境Eclipse中安装和配置Hadoop插件,以便于开发和调试Hadoop MapReduce项目。这个过程涉及到多个步骤和知识点,包括Eclipse的扩展性、Hadoop的开发工具支持...
eclipse-hadoop2.7.3插件(Linux)在Ubuntu下验证可用
2. **Eclipse 插件安装**:找到解压后的文件夹,通常包含若干个.jar文件,这些是Eclipse插件的组成部分。打开Eclipse,选择菜单栏的"Help" -> "Install New Software",点击"Add"按钮,然后在弹出的窗口中选择...
windowXP上运行着eclipse以及hadoop-eclipse插件,但是本文的重点不是说如何在eclipse上安装hadoop的开发插件。
Eclipse Hadoop插件是开发Hadoop应用的重要工具,它为Eclipse集成开发环境(IDE)提供了对Hadoop生态系统的支持。本篇文章将详细介绍如何在Windows 64位环境下安装和使用Eclipse Hadoop插件,以及插件的主要功能。 ...