`
crukor
  • 浏览: 31666 次
  • 性别: Icon_minigender_1
  • 来自: 青岛
社区版块
存档分类
最新评论

eclipse安装Hadoop 1.2.1 插件

 
阅读更多

下载插件hadoop-eclipse-plugin-1.2.1.jar(需自行编译,见附件)

放到eclipse/plugins目录下[ /usr/lib64/eclipse/plugins ]

 

 

重启eclipse

选择"Window"菜单下的"Preference",在窗体的左侧菜单栏 里面会多出"Hadoop Map/Reduce"选项,点击此选项,选择Hadoop的安装目录(如我的Hadoop目录:E:\HadoopWorkPlat\hadoop-1.2.1)。

 

eclipse的右上角出现蓝色大象logo,点击。之后,在正下方的区域将会多出一项Map/Reduce Locations的选项卡,点击该选项卡,右键新建New Hadoop Location

 

设置如下

参数名

配置参数

说明

Location name

hadoop

 当前链接的名字,可任意指定

MapReduce Master

Host: 192.168.3.80

NameNodeIP地址,不能写主机名

MapReduce Master

Port: 9001

MapReduce Port,参考配置的mapred-site.xml

DFS Master

Port: 9000

DFS Port,参考配置的core-site.xml

User name

grid

Hadoop用户

 之后,切换到Advanced parameters,需要修改以下参数

参数名

配置参数

说明

fs.default.name

hdfs://192.168.3.80:9000/

参考core-site.xml

hadoop.tmp.dir

/home/grid/hadoop/tmp

参考core-site.xml

mapred.job.tracker

192.168.3.80:9001

参考mapred-site.xml

 

之后确认,这样便在eclipse左边出现了HDFS的文件结构。但是现在你只能查看,而不能添加修改文件。因此你还需要手工登录到HDFS上,并使用命令修改权限。

./bin/hadoop fs -chmod -R 777 /

 

如果是在Windows电脑上使用eclipse远程登录集群,且windows用户与Hadoop用户不一致时则需要在conf/hdfs-site.xm中添加以下配置,并重启Hadoop集群:

<property>

<name>dfs.permissions</name>

<value>false</value>

</property>

 

运行程序WordCount.java 在\src\examples\org\apache\hadoop\examples目录下

package org.apache.hadoop.examples;

import java.io.IOException;
import java.util.StringTokenizer;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;

public class WordCount {

  public static class TokenizerMapper 
       extends Mapper<Object, Text, Text, IntWritable>{
    
    private final static IntWritable one = new IntWritable(1);
    private Text word = new Text();
      
    public void map(Object key, Text value, Context context
                    ) throws IOException, InterruptedException {
      StringTokenizer itr = new StringTokenizer(value.toString());
      while (itr.hasMoreTokens()) {
        word.set(itr.nextToken());
        context.write(word, one);
      }
    }
  }
  
  public static class IntSumReducer 
       extends Reducer<Text,IntWritable,Text,IntWritable> {
    private IntWritable result = new IntWritable();

    public void reduce(Text key, Iterable<IntWritable> values, 
                       Context context
                       ) throws IOException, InterruptedException {
      int sum = 0;
      for (IntWritable val : values) {
        sum += val.get();
      }
      result.set(sum);
      context.write(key, result);
    }
  }

  public static void main(String[] args) {
    Configuration conf = new Configuration();
        String[] otherArgs;
	try {
		otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();
	
	    if (otherArgs.length != 2) {
	      System.err.println("Usage: wordcount <in> <out>");
	      System.exit(2);
	    }
	    Job job = new Job(conf, "word count");
	    job.setJarByClass(WordCount.class);
	    job.setMapperClass(TokenizerMapper.class);
	    job.setCombinerClass(IntSumReducer.class);
	    job.setReducerClass(IntSumReducer.class);
	    job.setOutputKeyClass(Text.class);
	    job.setOutputValueClass(IntWritable.class);
	    FileInputFormat.addInputPath(job, new Path(otherArgs[0]));
	    FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));
	    System.exit(job.waitForCompletion(true) ? 0 : 1);
	} catch (IOException e) {
		e.printStackTrace();
	} catch (ClassNotFoundException e) {
		e.printStackTrace();
	} catch (InterruptedException e) {
		e.printStackTrace();
	}
  }

 

右键run configurations里添加以下两个参数,注意先将文本words里面包含单词Hello word Hello Hadoop

上传到Data目录下 bin/hadoop fs -put /home/grid/Date  Data

 执行,右键Run As -> Run on Hadoop

 

 

错误总结:

Invalid byte 1 of 1-byte UTF-8 sequence

1、查看conf/ 目录下的配置文件是否有中文字符

2、在配置“Hadoop Map/Reduce”选项时,是否路径中含有中文字符

 

运行程序时有以下异常

Exception in thread "main" java.io.IOException: Failed to set permissions of path: \tmp\hadoop-Administrator\mapred\staging\Administrator-519341271\.staging to 0700

Windows下文件权限问题,在Linux下可以正常运行,不存在这样的问题。
解决方法是,修改hadoop-1.2.1/src/core/org/apache/hadoop/fs/FileUtil.java里面的checkReturnValue,注释掉即可。

//    if (!rv) {

//     throw new IOException("Failed to set permissions of path: " + p +

//                         " to " +

//                         String.format("%04o", permission.toShort()));

//    }

重新编译打包hadoop-core-1.2.1.jar,替换掉hadoop-1.2.1根目录下的jar即可。已编译jar包参看附件。

 

  • 大小: 33.3 KB
分享到:
评论

相关推荐

    hadoop-eclipse-plugin1.2.1 and hadoop-eclipse-plugin2.8.0

    在实际使用中,安装Hadoop-Eclipse-Plugin非常简单。只需将jar文件(如hadoop-eclipse-plugin-2.8.0.jar)复制到Eclipse的plugins目录下,然后重启Eclipse,即可在“New Project”中看到Hadoop相关的项目类型。在...

    hadoop-eclipse-1.2.1插件

    找了不少,但是都不行;提示各种错误 这个是在查找资料之后,修改的; eclipse版本号: Version: Kepler Service Release 2 Build id: 20140224-0627 ...说明一下,对应hadoop的版本是1.2.1学习来用,还是足够的。

    好用hadoop-eclipse-plugin-1.2.1

    hadoop-eclipse-plugin-1.2.1hadoop-eclipse-plugin-1.2.1hadoop-eclipse-plugin-1.2.1hadoop-eclipse-plugin-1.2.1

    hadoop1.2.1-eclipse-indigo插件

    Hadoop1.2.1-Eclipse-Indigo 插件是专门为 Eclipse Indigo 版本设计的,目的是为了优化在该版本 IDE 中的 Hadoop 体验。 这个插件包含了以下关键功能和知识点: 1. **集成开发环境**:Eclipse 是一个广泛使用的 ...

    hadoop-eclipse-plugin-1.2.1.jar有用的

    该资源包里面包含eclipse上的hadoop-1.2.1版本插件的jar包和hadoop-1.2.1.tar.gz,亲测可用~~请在下载完该包后解压,将hadoop-1.2.1放置于Eclipse\plugins目录下,然后重启eclipse,将hadoop-1.2.1.tar.gz放到D:\...

    hadoop-eclipse-plugin-1.2.1插件

    luna编译的hadoop-eclipse-plugin-1.2.1插件

    hadoop-eclipse-plugin-1.2.1.jar

    hadoop-eclipse-plugin-1.2.1.jar ,最新hadoop1.2.1 eclipse插件,直接放入eclipse plugins下即可。

    去权限后的Hadoop-eclipse-1.2.1.jar插件

    再把hadoop eclipse plugin 1 2 1 jar插件也编译成功了(这个大家多懂得 用eclipse开发hadoop程序必备的插件 ) 我尝试过可用 希望这两个包对大家有用 自己编译摸索很耗时间的 如果先没时间 可以用现成的用用 之后...

    史上最强Hadoop-1.2.1安装文档

    通过上述步骤,您已经成功地安装了Hadoop-1.2.1并在Eclipse中集成了Hadoop插件。接下来,您可以利用WordCount示例来进一步探索Hadoop的强大功能。此文档不仅适用于初学者快速入门Hadoop,也为那些需要详细指导的用户...

    hadoop-eclipse-plugin-1.1.2

    安装Hadoop Eclipse Plugin非常简单,只需要将`hadoop-eclipse-plugin-1.1.2.jar`文件复制到Eclipse的`plugins`目录下,然后重启Eclipse。重启后,Eclipse会自动识别并加载该插件,此时,在"File"菜单中选择"New" -...

    hadoop-eclipse-plugin

    对于压缩包文件"hadoop-eclipse-plugin-1.2.1",这是插件的一个特定版本,可能包含有适用于Hadoop 1.2.1版本的源码、库文件和配置文件。在安装时,应根据IDE的版本和Hadoop集群的版本选择合适的插件版本。如果当前...

    win7+eclipse+hadoop开发环境搭建[收集].pdf

    你可以使用Eclipse的Hadoop插件(如Hadoop Eclipse Plugin)来编写、调试和运行Hadoop MapReduce程序。记住,这只是一个基本的配置,实际生产环境中可能还需要考虑集群部署、安全性、性能优化等多个方面。

Global site tag (gtag.js) - Google Analytics