windows下用eclipse连接linux中的hadoop,并执行mr

1. 准备：

 

    linux上已经安装好hadoop集群或者单机；

 

    windows上有个hadoop-0.20.2文件夹；

 

    Eclipse Europa 3.3.2

    (勿使用其他版本，测试没通过)下载地址： http://www.eclipse.org/downloads/packages/release/europa/winter

 

2. 安装eclipse插件：

 

    把hadoop-0.20.2/contrib/eclipse-plugin下的hadoop-0.20.2-eclipse-plugin.jar文件拷到eclipse 的plugins目录下，重启eclipse，在Window-》Open Perspective-》other，弹出的窗口中应该有一项Map/Reduce项，代表安装成功了。如果没有的话，把eclipse下的 configuration/org.eclipse.update文件夹删了，再重启eclipse。

 

 

 

 

 

3. 配置环境：

 

 

启动eclipse，转到Map/Reduce Perspective,在上图的Map/Reduce Locations里，新建一个Location，填入以下值

    * Location Name -- localhost
    * Map/Reduce Master  (mapred.job.tracker中配置的jobtracker地址和端口)
          o Host -- 10.125.50.20
          o Port -- 50021
    * DFS Master (fs.default.name中配置的host和端口)
          o Host -- hd021-test.nh.sdo.com
          o Port -- 8020
    * User name -- lxw (用来提交mr任务的用户名)

 

 

 

 

 

4. 上传文件到hdfs:

 

   hadoop fs -put 10.125.50.20.pub /user/lxw/input/

   这时，在eclipse的Project explorer的DFS location中，应该能反应变化，没有的话，reconnect一下

 

  

 

 

 

5. 创建Map/Reduce Project：

 

   右键点击  Project Explorer 窗口，选择 New -> Project.. 找到 Map/Reduce Project， 点Next ，输入名字。

 

   点击下面的Config Hadoop Install Directiory，输入Hadoop的目录，如：D:\hadoop-0.20.2

 

  

 

6. 新建mr程序：

 

 右键点击新创建的 Hadoop 工程，选择  New -> Other 转到 Map/Reduce 文件夹, 选择 MapReduceDriver 然后点击 Next ，输入名字，点击Finish。

 

这样会自动生成一些代码，不用管，直接删掉，然后写自己的mr程序即可；

 

7. 运行mr程序：

 

选择 Run As --> Run on Hadoop. 弹出以下窗口：

 

 

选择 "Choose existing hadoop location" , 然后选择刚才创建的hadoop配置信息，点击fihish即可开始运行；