把hadoop-eclipse-plugin-2.2.0.jar放到Eclipse的plugin目录,重启Eclipse后,运行WordCount报错:
Java代码如下:
package com.lyq.study.example;
import java.io.IOException;
import java.util.StringTokenizer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;
public class WordCount {
public static class TokenizerMapper
extends Mapper<Object, Text, Text, IntWritable>{
private final static IntWritable one = new IntWritable(1);
private Text word = new Text();
public void map(Object key, Text value, Context context
) throws IOException, InterruptedException {
StringTokenizer itr = new StringTokenizer(value.toString());
while (itr.hasMoreTokens()) {
word.set(itr.nextToken());
context.write(word, one);
}
}
}
public static class IntSumReducer
extends Reducer<Text,IntWritable,Text,IntWritable> {
private IntWritable result = new IntWritable();
public void reduce(Text key, Iterable<IntWritable> values,
Context context
) throws IOException, InterruptedException {
int sum = 0;
for (IntWritable val : values) {
sum += val.get();
}
result.set(sum);
context.write(key, result);
}
}
public static void main(String[] args) throws Exception {
Configuration conf = new Configuration();
conf.set("fs.defaultFS", "hdfs://master129:9000/");
conf.set("mapreduce.framework.name", "local");
conf.set("mapred.job.tracker", "master129:9001");
conf.set("hbase.zookeeper.quorum", "master129,slave130,slave131,slave132");
args = new String[]{"hdfs://master129:9000/test/input/","hdfs://master129:9000/test/output"};
String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();
if (otherArgs.length != 2) {
System.err.println("Usage: wordcount <in> <out>");
System.exit(2);
}
Job job = new Job(conf, "word count");
job.setJarByClass(WordCount.class);
job.setMapperClass(TokenizerMapper.class);
job.setCombinerClass(IntSumReducer.class);
job.setReducerClass(IntSumReducer.class);
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(IntWritable.class);
FileInputFormat.addInputPath(job, new Path(otherArgs[0]));
FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));
System.exit(job.waitForCompletion(true) ? 0 : 1);
}
}
控制台报错如下:
Exception in thread "main" java.lang.UnsatisfiedLinkError: D:\app\hadoop-2.2.0\bin\hadoop.dll: Can't load AMD 64-bit .dll on a IA 32-bit platform
at java.lang.ClassLoader$NativeLibrary.load(Native Method)
at java.lang.ClassLoader.loadLibrary0(ClassLoader.java:1807)
at java.lang.ClassLoader.loadLibrary(ClassLoader.java:1732)
at java.lang.Runtime.loadLibrary0(Runtime.java:823)
at java.lang.System.loadLibrary(System.java:1028)
at com.lyq.study.example.A.main(A.java:5)
解决方法:
把笔记本上安装的32位jdk,改成64位的。
相关推荐
这个插件是针对Hadoop 2.6.0版本设计的,主要目标是集成Eclipse IDE,使得开发者可以在本地环境中便捷地创建、调试和管理Hadoop MapReduce项目。 一、插件功能详解 1. **项目创建与导入**:通过Hadoop Eclipse插件...
为了方便开发者在Eclipse或MyEclipse这样的集成开发环境中高效地进行Hadoop应用开发,Hadoop-Eclipse-Plugin应运而生。这个插件允许开发者直接在IDE中对Hadoop集群进行操作,如创建、编辑和运行MapReduce任务,极大...
Hadoop Eclipse Plugin 2.7.4是专为Hadoop 2.7.4版本设计的一款集成开发工具,它使得开发者能够在Eclipse环境中直接编写、调试和运行MapReduce程序,极大地提升了开发效率和便利性。在Hadoop 2.7.3版本中,一些用户...
hadoop eclipse plugin for version 1.0.1
Eclipse集成Hadoop2.10.0的插件,使用`ant`对hadoop的jar包进行打包并适应Eclipse加载,所以参数里有hadoop和eclipse的目录. 必须注意对于不同的hadoop版本,` HADDOP_INSTALL_PATH/share/hadoop/common/lib`下的jar包...
Hadoop Eclipse Plugin是一款用于Hadoop开发的Eclipse插件,它极大地简化了Hadoop开发者在Eclipse集成开发环境中的工作流程。这个压缩包文件包含了不同版本的Hadoop Eclipse Plugin,分别是2.5.2、2.6.0、2.7.3和...
而为了方便开发者在Eclipse这样的集成开发环境中直接操作Hadoop集群,Hadoop Eclipse Plugin应运而生。本文将详细探讨Hadoop Eclipse Plugin 2.6.5这一版本,以及如何使用它来提升Hadoop开发效率。 Hadoop Eclipse ...
除了基本的MapReduce开发,Hadoop Eclipse Plugin还可以与其他插件结合,例如使用m2eclipse(Maven Eclipse Integration)来管理依赖,或者与Pig、Hive等大数据工具集成,实现更复杂的数据分析任务。 总结来说,...
Hadoop Eclipse Plugin 2.6.0是一款专为Eclipse集成开发环境设计的插件,它使得开发者能够在熟悉的Eclipse环境中直接操作和管理Hadoop集群,极大地提升了Hadoop应用的开发效率。这款插件在Hadoop生态系统中扮演着...
而为了方便Java开发者在Eclipse集成开发环境中进行Hadoop应用的开发和调试,Hadoop Eclipse Plugin应运而生。这个插件的2.7.2版本,是我们今天讨论的重点。 Hadoop Eclipse Plugin 2.7.2是一个专门为Eclipse设计的...
Hadoop-Eclipse-Plugin-3.1.1是一款专为Eclipse集成开发环境设计的插件,用于方便地在Hadoop分布式文件系统(HDFS)上进行开发和调试MapReduce程序。这款插件是Hadoop生态系统的组成部分,它使得Java开发者能够更加...
hadoop eclipse plugin,可以集成Eclipse进行开发。
《Hadoop Eclipse Plugin 2.7.7:高效开发与集成环境》 Hadoop Eclipse Plugin 2.7.7.jar 是一个专为Java开发者设计的工具,它将Hadoop的开发环境与Eclipse IDE紧密集成,极大地提高了在Windows 10系统上进行Hadoop...
hadoop-eclipse-plugin-1.2.1hadoop-eclipse-plugin-1.2.1hadoop-eclipse-plugin-1.2.1hadoop-eclipse-plugin-1.2.1
Hadoop Eclipse Plugin 2.7.0是一款专门为Hadoop生态系统设计的Eclipse集成插件,它极大地简化了开发者在Eclipse环境中对Hadoop应用程序的创建、调试和管理过程。这款插件的核心功能在于提供了一个直观的图形用户...
Hadoop Eclipse是Hadoop开发环境的插件,用户在创建Hadoop程序时,Eclipse插件会自动导入Hadoop编程接口的jar文件,这样用户就可以在Eclipse插件的图形界面中进行编码、调试和运行Hadop程序,也能通过Eclipse插件...
hadoop官方自带的eclipse插件貌似不能使用 在连接hadoop集群的时候报错 我根据这篇文章对jar包进行了修改 http://hi.baidu.com/wangyucao1989/blog/item/279cef87c4b37c34c75cc315.html 亲测正常使用
Hadoop Eclipse Plugin是Apache Hadoop项目的一个重要组成部分,主要用于在Eclipse集成开发环境中方便地创建、管理和调试Hadoop MapReduce程序。2.7.2版本是这个插件的一个稳定版本,提供了对Hadoop 2.x系列的支持。...
本文将深入探讨Hadoop Eclipse Plugin 2.7.4的使用,以及如何将其集成到Eclipse中,提升Hadoop项目的开发效率。 首先,我们来理解一下这个jar包——`hadoop-eclipse-plugin-2.7.4.jar`。这个插件是专为Eclipse设计...
《Hadoop Eclipse Plugin 2.7.1:集成开发环境的利器》 Hadoop Eclipse Plugin 2.7.1是一款专为Java开发人员设计的工具,它允许开发者在流行的集成开发环境Eclipse中直接对Hadoop项目进行操作。这个插件极大地简化...