下载插件hadoop-eclipse-plugin-1.2.1.jar(需自行编译,见附件)
放到eclipse/plugins目录下[ /usr/lib64/eclipse/plugins ]
重启eclipse
选择"Window"菜单下的"Preference",在窗体的左侧菜单栏 里面会多出"Hadoop Map/Reduce"选项,点击此选项,选择Hadoop的安装目录(如我的Hadoop目录:E:\HadoopWorkPlat\hadoop-1.2.1)。
在eclipse的右上角出现蓝色大象logo,点击。之后,在正下方的区域将会多出一项Map/Reduce Locations的选项卡,点击该选项卡,右键新建New Hadoop Location。
设置如下
参数名 |
配置参数 |
说明 |
Location name |
hadoop |
当前链接的名字,可任意指定 |
MapReduce Master |
Host: 192.168.3.80 |
NameNode的IP地址,不能写主机名 |
MapReduce Master |
Port: 9001 |
MapReduce Port,参考配置的mapred-site.xml |
DFS Master |
Port: 9000 |
DFS Port,参考配置的core-site.xml |
User name |
grid |
Hadoop用户 |
之后,切换到Advanced parameters,需要修改以下参数
参数名 |
配置参数 |
说明 |
fs.default.name |
hdfs://192.168.3.80:9000/ |
参考core-site.xml |
hadoop.tmp.dir |
/home/grid/hadoop/tmp |
参考core-site.xml |
mapred.job.tracker |
192.168.3.80:9001 |
参考mapred-site.xml |
之后确认,这样便在eclipse左边出现了HDFS的文件结构。但是现在你只能查看,而不能添加修改文件。因此你还需要手工登录到HDFS上,并使用命令修改权限。
./bin/hadoop fs -chmod -R 777 /
如果是在Windows电脑上使用eclipse远程登录集群,且windows用户与Hadoop用户不一致时则需要在conf/hdfs-site.xm中添加以下配置,并重启Hadoop集群:
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
运行程序WordCount.java 在\src\examples\org\apache\hadoop\examples目录下
package org.apache.hadoop.examples; import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.Mapper; import org.apache.hadoop.mapreduce.Reducer; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; import org.apache.hadoop.util.GenericOptionsParser; public class WordCount { public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable>{ private final static IntWritable one = new IntWritable(1); private Text word = new Text(); public void map(Object key, Text value, Context context ) throws IOException, InterruptedException { StringTokenizer itr = new StringTokenizer(value.toString()); while (itr.hasMoreTokens()) { word.set(itr.nextToken()); context.write(word, one); } } } public static class IntSumReducer extends Reducer<Text,IntWritable,Text,IntWritable> { private IntWritable result = new IntWritable(); public void reduce(Text key, Iterable<IntWritable> values, Context context ) throws IOException, InterruptedException { int sum = 0; for (IntWritable val : values) { sum += val.get(); } result.set(sum); context.write(key, result); } } public static void main(String[] args) { Configuration conf = new Configuration(); String[] otherArgs; try { otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs(); if (otherArgs.length != 2) { System.err.println("Usage: wordcount <in> <out>"); System.exit(2); } Job job = new Job(conf, "word count"); job.setJarByClass(WordCount.class); job.setMapperClass(TokenizerMapper.class); job.setCombinerClass(IntSumReducer.class); job.setReducerClass(IntSumReducer.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable.class); FileInputFormat.addInputPath(job, new Path(otherArgs[0])); FileOutputFormat.setOutputPath(job, new Path(otherArgs[1])); System.exit(job.waitForCompletion(true) ? 0 : 1); } catch (IOException e) { e.printStackTrace(); } catch (ClassNotFoundException e) { e.printStackTrace(); } catch (InterruptedException e) { e.printStackTrace(); } }
右键run configurations里添加以下两个参数,注意先将文本words里面包含单词Hello word Hello Hadoop
上传到Data目录下 bin/hadoop fs -put /home/grid/Date Data
执行,右键Run As -> Run on Hadoop
错误总结:
Invalid byte 1 of 1-byte UTF-8 sequence
1、查看conf/ 目录下的配置文件是否有中文字符
2、在配置“Hadoop Map/Reduce”选项时,是否路径中含有中文字符
运行程序时有以下异常
Exception in thread "main" java.io.IOException: Failed to set permissions of path: \tmp\hadoop-Administrator\mapred\staging\Administrator-519341271\.staging to 0700
Windows下文件权限问题,在Linux下可以正常运行,不存在这样的问题。
解决方法是,修改hadoop-1.2.1/src/core/org/apache/hadoop/fs/FileUtil.java里面的checkReturnValue,注释掉即可。
// if (!rv) {
// throw new IOException("Failed to set permissions of path: " + p +
// " to " +
// String.format("%04o", permission.toShort()));
// }
重新编译打包hadoop-core-1.2.1.jar,替换掉hadoop-1.2.1根目录下的jar即可。已编译jar包参看附件。
相关推荐
在实际使用中,安装Hadoop-Eclipse-Plugin非常简单。只需将jar文件(如hadoop-eclipse-plugin-2.8.0.jar)复制到Eclipse的plugins目录下,然后重启Eclipse,即可在“New Project”中看到Hadoop相关的项目类型。在...
找了不少,但是都不行;提示各种错误 这个是在查找资料之后,修改的; eclipse版本号: Version: Kepler Service Release 2 Build id: 20140224-0627 ...说明一下,对应hadoop的版本是1.2.1学习来用,还是足够的。
hadoop-eclipse-plugin-1.2.1hadoop-eclipse-plugin-1.2.1hadoop-eclipse-plugin-1.2.1hadoop-eclipse-plugin-1.2.1
Hadoop1.2.1-Eclipse-Indigo 插件是专门为 Eclipse Indigo 版本设计的,目的是为了优化在该版本 IDE 中的 Hadoop 体验。 这个插件包含了以下关键功能和知识点: 1. **集成开发环境**:Eclipse 是一个广泛使用的 ...
该资源包里面包含eclipse上的hadoop-1.2.1版本插件的jar包和hadoop-1.2.1.tar.gz,亲测可用~~请在下载完该包后解压,将hadoop-1.2.1放置于Eclipse\plugins目录下,然后重启eclipse,将hadoop-1.2.1.tar.gz放到D:\...
luna编译的hadoop-eclipse-plugin-1.2.1插件
hadoop-eclipse-plugin-1.2.1.jar ,最新hadoop1.2.1 eclipse插件,直接放入eclipse plugins下即可。
再把hadoop eclipse plugin 1 2 1 jar插件也编译成功了(这个大家多懂得 用eclipse开发hadoop程序必备的插件 ) 我尝试过可用 希望这两个包对大家有用 自己编译摸索很耗时间的 如果先没时间 可以用现成的用用 之后...
通过上述步骤,您已经成功地安装了Hadoop-1.2.1并在Eclipse中集成了Hadoop插件。接下来,您可以利用WordCount示例来进一步探索Hadoop的强大功能。此文档不仅适用于初学者快速入门Hadoop,也为那些需要详细指导的用户...
安装Hadoop Eclipse Plugin非常简单,只需要将`hadoop-eclipse-plugin-1.1.2.jar`文件复制到Eclipse的`plugins`目录下,然后重启Eclipse。重启后,Eclipse会自动识别并加载该插件,此时,在"File"菜单中选择"New" -...
对于压缩包文件"hadoop-eclipse-plugin-1.2.1",这是插件的一个特定版本,可能包含有适用于Hadoop 1.2.1版本的源码、库文件和配置文件。在安装时,应根据IDE的版本和Hadoop集群的版本选择合适的插件版本。如果当前...
你可以使用Eclipse的Hadoop插件(如Hadoop Eclipse Plugin)来编写、调试和运行Hadoop MapReduce程序。记住,这只是一个基本的配置,实际生产环境中可能还需要考虑集群部署、安全性、性能优化等多个方面。