`

Hadoop(三):eclipse hadoop 插件,和hadoop通信

阅读更多

干货分析
大数据进行时http://weibo.com/u/3272022684
球球群:312647298

详细说明见附件

eclipse 3.7 (indigo)

1、下载 hadoop-eclipse-plugin-1.0.1.jar
将hadoop-eclipse-plugin-1.0.1.jar 复制到eclipse\plugins下面
重启eclipse
会发现打开open perspective选项卡,点击other,弹出窗口下会多出Map/Reduce选项


2、添加一个MapReduce环境
在eclipse下端,控制台旁边会多一个Tab,叫“Map/Reduce Locations”,在下面空白的地方点右键,选择“New Hadoop location...”,如图所示:


在弹出的对话框中填写如下内容:

Location name(取个名字)
Map/Reduce Master(Job Tracker的IP和端口,根据mapred-site.xml中配置的mapred.job.tracker来填写)
DFS Master(Name Node的IP和端口,根据core-site.xml中配置的fs.default.name来填写)

User name: 用户名(默认操作系统用户名,这个没什么用)



3、使用eclipse对HDFS内容进行修改
经过上一步骤,左侧“Project Explorer”中应该会出现配置好的HDFS,点击右键,可以进行新建文件夹、删除文件夹、上传文件、下载文件、删除文件等操作。

注意:每一次操作完在eclipse中不能马上显示变化,必须得刷新一下。





4、创建MapReduce工程

4.1配置Hadoop路径

Window -> Preferences 选择 “Hadoop Map/Reduce”,点击“Browse...”选择Hadoop文件夹的路径。



这个步骤与运行环境无关,只是在新建工程的时候能将hadoop根目录和lib目录下的所有jar包自动导入

4.2 创建工程
File -> New -> Project 选择“Map/Reduce Project”,然后输入项目名称,创建项目。插件会自动把hadoop根目录和lib目录下的所有jar包导入。


4.3 创建Mapper或者Reducer

File -> New -> Mapper 创建Mapper,自动继承mapred包里面的MapReduceBase并实现Mapper接口。
注意:这个插件自动继承的是mapred包里旧版的类和接口,新版的Mapper得自己写。

Reducer同理。

4.4 建立WordCount类
参考hadoop example

4.5运行






5 常见问题:

5.1 目录权限认证问题,问题如下:

12/04/11 11:41:46 ERROR security.UserGroupInformation: PriviledgedActionException as:lzpcause:java.io.IOException: Failed to set permissions of path: \app\hadoop\hadoop-1.0.1\hadoopdata\mapred\staging\lzp1107758487\.staging to 0700

Exception in thread "main" java.io.IOException: Failed to set permissions of path: \app\hadoop\hadoop-1.0.1\hadoopdata\mapred\staging\lzp1107758487\.staging to 0700

at org.apache.hadoop.fs.FileUtil.checkReturnValue(FileUtil.java:682)

at org.apache.hadoop.fs.FileUtil.setPermission(FileUtil.java:655)

解决方法:

这个问题用该是windows这边的问题,其中\app\hadoop\hadoop-1.0.1\hadoopdata\mapred\staging\lzp11是windows7磁盘上的一个目录

网上查到这是由于0.20.203.0以后的版本的权限认证引起的,只有去掉才行

修改hadoop源代码,去除权限认证,修改FileUtil.java的checkReturnValue方法,如下:

private static void checkReturnValue(boolean rv, File p,

FsPermission permission

) throws IOException {

// if (!rv) {

// throw new IOException("Failed to set permissions of path: " + p +

// " to " +

// String.format("%04o", permission.toShort()));

// }

}



















分享到:
评论

相关推荐

    eclipse安装Hadoop插件

    ### Eclipse安装Hadoop插件详解 #### 一、前言 随着大数据技术的快速发展,Hadoop作为处理海量数据的重要工具之一,其应用越来越广泛。为了更好地利用Eclipse进行Hadoop程序开发,安装Hadoop Eclipse插件是十分...

    eclipse hadoop2 插件

    Eclipse Hadoop2 插件是为开发人员提供的一种强大工具,它允许用户在Eclipse集成开发环境中(IDE)直接编写、调试和管理Hadoop项目。这个插件针对Hadoop 2.x版本进行了优化,提供了丰富的功能来简化Hadoop应用程序的...

    hadoop-eclipse插件各版本合集

    2. **Eclipse IDE**:Eclipse是一款广泛使用的Java集成开发环境,支持多种语言和插件,为开发者提供了丰富的工具和功能,便于代码编写、调试和测试。 3. **Hadoop-Eclipse插件功能**: - **项目创建**:通过插件,...

    hadoop2.2.0的eclipse插件

    自己编译的hadoop-eclipse-plugin-2.2.0.jar插件:hadoop版本hadoop-2.2.0、eclipse版本:Eclipse Standard 4.3.1

    hadoop-eclipse-plugin插件和hadoop.dll和winutile.exe.zip

    `hadoop-eclipse-plugin`是Eclipse集成开发环境中的一个插件,它使得开发者能够在Eclipse中直接编写、调试和运行Hadoop MapReduce程序,极大地提升了开发效率。在本场景中,我们讨论的是在Windows 10环境下,配合JDK...

    hadoop-eclipse-plugin1.2.1 and hadoop-eclipse-plugin2.8.0

    Hadoop-Eclipse-Plugin 2.8.0的出现,反映了Hadoop生态系统从Hadoop 1到Hadoop 2的重大转变,尤其是在资源管理和任务调度方面的改进。同时,这也意味着对于那些已经习惯了Eclipse或MyEclipse的开发者来说,他们无需...

    hadoop-eclipse-plugin三个版本的插件都在这里了。

    hadoop-eclipse-plugin-2.7.4.jar和hadoop-eclipse-plugin-2.7.3.jar还有hadoop-eclipse-plugin-2.6.0.jar的插件都在这打包了,都可以用。

    Hadoop开发环境的插件hadoop-eclipse-plugin-2.10.1

    Hadoop Eclipse是Hadoop开发环境的插件,用户在创建Hadoop程序时,Eclipse插件会自动导入Hadoop编程接口的jar文件,这样用户就可以在Eclipse插件的图形界面中进行编码、调试和运行Hadop程序,也能通过Eclipse插件...

    hadoop2.7.3版本eclipse插件.rar

    为了方便Hadoop开发,Eclipse提供了专门的Hadoop插件,让开发者可以在Eclipse环境中直接进行Hadoop相关的项目构建、调试和运行,极大地提高了开发效率。 "hadop2.7.3版本eclipse插件.rar"这个压缩包就是专门为...

    hadoop2.6.0源码和eclipse插件

    为了便于在Eclipse中开发和调试Hadoop项目,压缩包还提供了`hadoop-eclipse-plugin-2.6.0.jar`,这是一个Eclipse插件。安装这个插件后,开发者可以在Eclipse中直接创建、运行和调试Hadoop MapReduce程序。插件提供了...

    eclipse运行mr插件hadoop-eclipse-plugin-2.6.0.jar

    在本例中,`hadoop-eclipse-plugin-2.6.0.jar`就是这样的一个插件,它允许开发人员在Eclipse中直接创建、管理和运行Hadoop MapReduce项目,无需离开IDE,极大地提高了开发效率。 安装此插件的过程如下: 1. **下载...

    hadoop2.7.7 Eclipse 插件,自己编译,使用有效

    hadoop版本2.7.7 Eclipse 版本4.5.1,dfs location插件,自己编译成功,使用有效,将该jar包放到eclipse的plugins目录下

    hadoop2.7.4的eclipse插件下载

    Eclipse插件是开发者在Eclipse集成开发环境中与Hadoop进行交互的重要工具,它允许用户直接在IDE内创建、管理和运行Hadoop项目,大大提升了开发效率。 本压缩包提供的“hadoop-eclipse-plugin-2.7.4.jar”是专为...

    windows下连接hadoop2.2.0的eclipse+hadoop插件

    总的来说,通过Eclipse与Hadoop 2.2.0插件的配合,Windows用户可以在本地环境中高效地开发和测试Hadoop应用,无需频繁地在IDE和命令行之间切换,大大提升了开发效率。确保正确配置Hadoop环境,并利用好Eclipse提供的...

    Eclipse Hadoop2.7插件

    Eclipse Hadoop2.7插件是专门为Java开发者设计的一款工具,它允许用户在流行的集成开发环境(IDE)Eclipse中直接进行Hadoop项目的开发、调试和管理。这个插件极大地简化了Hadoop应用程序的创建过程,使得开发人员...

    hadoop1.2.0-eclipse-插件

    hadoop1.2.0-eclipse-插件

    hadoop1.2.1-eclipse-indigo插件

    Eclipse 插件则为开发者提供了在 Eclipse IDE 中直接集成 Hadoop 开发环境的能力,使得开发、调试和管理 Hadoop 项目变得更加便捷。Hadoop1.2.1-Eclipse-Indigo 插件是专门为 Eclipse Indigo 版本设计的,目的是为了...

    winutils+hadoop.dll+eclipse插件(hadoop2.7)

    总的来说,`winutils.exe`和`hadoop.dll`是Hadoop在Windows运行的基础,而Eclipse插件则为开发者提供了强大的Hadoop开发和调试工具。正确配置这些组件,将使你在Windows上进行Hadoop开发变得更加便捷和高效。

    hadoop伪集群搭建及eclipse插件配置

    同时,通过在开发IDE如Eclipse中配置Hadoop插件,可以更便捷地进行开发和调试Hadoop程序。本文将详细介绍如何搭建Hadoop伪集群环境,并在Eclipse中配置插件。 首先,搭建Hadoop伪集群环境主要分为以下几个步骤: 1...

Global site tag (gtag.js) - Google Analytics