windows下使用Hadoop Eclipse plugin运行map reduce

1. 安装Cygwin，并设置Cygwin_HOME/bin到windows Path变量
2. Cygwin下安装SSH
3. 复制Hadoop文件
4. 拷贝Hadoop项目中的eclipse plugin jar文件到eclipse plugin下
5. eclipse 在选项设置hadoop home路径，添加hadoop location（主要设置namenode 机器名端口和jobtracker端口即可）
6. 新建map reduce project
7. 从hadoop项目拷贝WordCount.java文件到新的项目
8. 右键WordCount.java，设置运行参数
9. 右键WordCount.java=> run on hadoop

 

注意：

• windows下跑Hadoop Eclipse plugin，无论是连接本地还是远程，Cygwin是必须的安装的，调试远程不需要配置ssh。
• 每个hadoop版本必须和Hadoop Eclipse plugin一直否则无法进行连接和执行程序

参考文章：

 

http://www.tech126.com/eclipse-hadoop/

 

http://hi.baidu.com/shirdrn/blog/item/11818d24e6dc7735c89559d0.html

 

http://www.searchtb.com/2010/09/%E5%9F%BA%E4%BA%8Eeclipse%E5%92%8Chadoop%E5%B9%B3%E5%8F%B0%E5%BA%94%E7%94%A8%E5%BC%80%E5%8F%91%E5%85%A5%E9%97%A8%E6%89%8B%E5%86%8C.html

 

http://ebiquity.umbc.edu/Tutorials/Hadoop/00%20-%20Intro.html

 

http://jimey.com/2009/03/26/eclipse-remote-debugging-under-windows-environment-hadoop-ubuntu.html

 

http://wanghongbao.spaces.live.com/blog/cns!61D4C9C04E438DD1!247.entry