`
beat_it_
  • 浏览: 63803 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

hadoop eclipse plugin 集成报错

阅读更多

把hadoop-eclipse-plugin-2.2.0.jar放到Eclipse的plugin目录,重启Eclipse后,运行WordCount报错:

Java代码如下:

package com.lyq.study.example;

import java.io.IOException;
import java.util.StringTokenizer;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;

public class WordCount {

  public static class TokenizerMapper
       extends Mapper<Object, Text, Text, IntWritable>{
   
    private final static IntWritable one = new IntWritable(1);
    private Text word = new Text();
     
    public void map(Object key, Text value, Context context
                    ) throws IOException, InterruptedException {
      StringTokenizer itr = new StringTokenizer(value.toString());
      while (itr.hasMoreTokens()) {
        word.set(itr.nextToken());
        context.write(word, one);
      }
    }
  }
 
  public static class IntSumReducer
       extends Reducer<Text,IntWritable,Text,IntWritable> {
    private IntWritable result = new IntWritable();

    public void reduce(Text key, Iterable<IntWritable> values,
                       Context context
                       ) throws IOException, InterruptedException {
      int sum = 0;
      for (IntWritable val : values) {
        sum += val.get();
      }
      result.set(sum);
      context.write(key, result);
    }
  }

  public static void main(String[] args) throws Exception {
    Configuration conf = new Configuration();
    conf.set("fs.defaultFS", "hdfs://master129:9000/");
    conf.set("mapreduce.framework.name", "local");
    conf.set("mapred.job.tracker", "master129:9001");
    conf.set("hbase.zookeeper.quorum", "master129,slave130,slave131,slave132");
    args = new String[]{"hdfs://master129:9000/test/input/","hdfs://master129:9000/test/output"};
    String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();
    if (otherArgs.length != 2) {
      System.err.println("Usage: wordcount <in> <out>");
      System.exit(2);
    }
    Job job = new Job(conf, "word count");
    job.setJarByClass(WordCount.class);
    job.setMapperClass(TokenizerMapper.class);
    job.setCombinerClass(IntSumReducer.class);
    job.setReducerClass(IntSumReducer.class);
    job.setOutputKeyClass(Text.class);
    job.setOutputValueClass(IntWritable.class);
    FileInputFormat.addInputPath(job, new Path(otherArgs[0]));
    FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));
    System.exit(job.waitForCompletion(true) ? 0 : 1);
  }
}
控制台报错如下:

Exception in thread "main" java.lang.UnsatisfiedLinkError: D:\app\hadoop-2.2.0\bin\hadoop.dll: Can't load AMD 64-bit .dll on a IA 32-bit platform
 at java.lang.ClassLoader$NativeLibrary.load(Native Method)
 at java.lang.ClassLoader.loadLibrary0(ClassLoader.java:1807)
 at java.lang.ClassLoader.loadLibrary(ClassLoader.java:1732)
 at java.lang.Runtime.loadLibrary0(Runtime.java:823)
 at java.lang.System.loadLibrary(System.java:1028)
 at com.lyq.study.example.A.main(A.java:5)

 

解决方法:

把笔记本上安装的32位jdk,改成64位的。

 

分享到:
评论

相关推荐

    hadoop-eclipse-plugin1.2.1 and hadoop-eclipse-plugin2.8.0

    为了方便开发者在Eclipse或MyEclipse这样的集成开发环境中高效地进行Hadoop应用开发,Hadoop-Eclipse-Plugin应运而生。这个插件允许开发者直接在IDE中对Hadoop集群进行操作,如创建、编辑和运行MapReduce任务,极大...

    hadoop-eclipse-plugin-2.6.0.jar.zip_2.6.0_hadoop_hadoop plugin

    这个插件是针对Hadoop 2.6.0版本设计的,主要目标是集成Eclipse IDE,使得开发者可以在本地环境中便捷地创建、调试和管理Hadoop MapReduce项目。 一、插件功能详解 1. **项目创建与导入**:通过Hadoop Eclipse插件...

    hadoop-eclipse-plugin-2.7.4

    Hadoop Eclipse Plugin 2.7.4是专为Hadoop 2.7.4版本设计的一款集成开发工具,它使得开发者能够在Eclipse环境中直接编写、调试和运行MapReduce程序,极大地提升了开发效率和便利性。在Hadoop 2.7.3版本中,一些用户...

    hadoop eclipse plugin 1.0.1

    hadoop eclipse plugin for version 1.0.1

    hadoop-eclipse-plugin.rar

    Hadoop Eclipse Plugin是一款用于Hadoop开发的Eclipse插件,它极大地简化了Hadoop开发者在Eclipse集成开发环境中的工作流程。这个压缩包文件包含了不同版本的Hadoop Eclipse Plugin,分别是2.5.2、2.6.0、2.7.3和...

    hadoop-eclipse-plugin-1.1.2

    除了基本的MapReduce开发,Hadoop Eclipse Plugin还可以与其他插件结合,例如使用m2eclipse(Maven Eclipse Integration)来管理依赖,或者与Pig、Hive等大数据工具集成,实现更复杂的数据分析任务。 总结来说,...

    hadoop-eclipse-plugin-2.6.0.jar

    Hadoop Eclipse Plugin 2.6.0是一款专为Eclipse集成开发环境设计的插件,它使得开发者能够在熟悉的Eclipse环境中直接操作和管理Hadoop集群,极大地提升了Hadoop应用的开发效率。这款插件在Hadoop生态系统中扮演着...

    hadoop-eclipse-plugin2.7.2-2.7.3-2.5.1.zip

    而为了方便Java开发者在Eclipse集成开发环境中进行Hadoop应用的开发和调试,Hadoop Eclipse Plugin应运而生。这个插件的2.7.2版本,是我们今天讨论的重点。 Hadoop Eclipse Plugin 2.7.2是一个专门为Eclipse设计的...

    hadoop-eclipse-plugin-3.1.1.tar.gz

    Hadoop-Eclipse-Plugin-3.1.1是一款专为Eclipse集成开发环境设计的插件,用于方便地在Hadoop分布式文件系统(HDFS)上进行开发和调试MapReduce程序。这款插件是Hadoop生态系统的组成部分,它使得Java开发者能够更加...

    hadoop-eclipse-plugin-2.7.7.jar.rar

    《Hadoop Eclipse Plugin 2.7.7:高效开发与集成环境》 Hadoop Eclipse Plugin 2.7.7.jar 是一个专为Java开发者设计的工具,它将Hadoop的开发环境与Eclipse IDE紧密集成,极大地提高了在Windows 10系统上进行Hadoop...

    hadoop eclipse plugin

    hadoop eclipse plugin,可以集成Eclipse进行开发。

    好用hadoop-eclipse-plugin-1.2.1

    hadoop-eclipse-plugin-1.2.1hadoop-eclipse-plugin-1.2.1hadoop-eclipse-plugin-1.2.1hadoop-eclipse-plugin-1.2.1

    hadoop-eclipse-plugin-2.7.0.jar

    Hadoop Eclipse Plugin 2.7.0是一款专门为Hadoop生态系统设计的Eclipse集成插件,它极大地简化了开发者在Eclipse环境中对Hadoop应用程序的创建、调试和管理过程。这款插件的核心功能在于提供了一个直观的图形用户...

    hadoop-eclipse-plugin-2.6.5.jar插件下载

    而为了方便开发者在Eclipse这样的集成开发环境中直接操作Hadoop集群,Hadoop Eclipse Plugin应运而生。本文将详细探讨Hadoop Eclipse Plugin 2.6.5这一版本,以及如何使用它来提升Hadoop开发效率。 Hadoop Eclipse ...

    Hadoop开发环境的插件hadoop-eclipse-plugin-2.10.1

    Hadoop Eclipse是Hadoop开发环境的插件,用户在创建Hadoop程序时,Eclipse插件会自动导入Hadoop编程接口的jar文件,这样用户就可以在Eclipse插件的图形界面中进行编码、调试和运行Hadop程序,也能通过Eclipse插件...

    hadoop eclipse plugin插件

    hadoop官方自带的eclipse插件貌似不能使用 在连接hadoop集群的时候报错 我根据这篇文章对jar包进行了修改 http://hi.baidu.com/wangyucao1989/blog/item/279cef87c4b37c34c75cc315.html 亲测正常使用

    hadoop-eclipse-plugin-2.7.2.rar

    Hadoop Eclipse Plugin是Apache Hadoop项目的一个重要组成部分,主要用于在Eclipse集成开发环境中方便地创建、管理和调试Hadoop MapReduce程序。2.7.2版本是这个插件的一个稳定版本,提供了对Hadoop 2.x系列的支持。...

    hadoop-eclipse-plugin-2.7.1

    《Hadoop Eclipse Plugin 2.7.1:集成开发环境的利器》 Hadoop Eclipse Plugin 2.7.1是一款专为Java开发人员设计的工具,它允许开发者在流行的集成开发环境Eclipse中直接对Hadoop项目进行操作。这个插件极大地简化...

    hadoop-eclipse-plugin-2.7.7.jar.zip

    Hadoop Eclipse Plugin是一款强大的开发工具,它将Apache Hadoop的开发环境与Eclipse IDE紧密集成,为Hadoop开发者提供了一种高效、便捷的开发体验。这款插件允许用户在Eclipse中直接创建、编辑、构建和调试...

    hadoop-eclipse-plugin-2.10.0.jar

    Eclipse集成Hadoop2.10.0的插件,使用`ant`对hadoop的jar包进行打包并适应Eclipse加载,所以参数里有hadoop和eclipse的目录. 必须注意对于不同的hadoop版本,` HADDOP_INSTALL_PATH/share/hadoop/common/lib`下的jar包...

Global site tag (gtag.js) - Google Analytics