基于Eclipse的Hadoop应用开发环境的配置

关键字：基于Eclipse的Hadoop应用开发环境的配置

说明 ：附件是该文章的完整版（图都有）



基于Eclipse的Hadoop应用开发环境的配置

配置好了Hadoop运行环境，下一步就要配置，开发环境了。实际上开发环境很好配置，网上很多的帖子，都指向了IBM提供的Hadoop开发工具，这个工具很好用。大家打开这个网址，很容易就能Step by step搞定，http://www.alphaworks.ibm.com/tech/mapreducetools。但是细心的读者不难发现，这个工具似乎是个绝版，到现在似乎还是停留在2007年3月23日呢，而且其支持的Eclipse也是3.3的，Hadoop更是0.17的。很多人在forum上还抱怨，安装上这个工具后，报出错误：Refresh DFS Children has encountered a problem：Refreshing DFS node failed: 1。呵呵，这个问题我也遇到了，我也很郁闷。我心里也在骂IBM这帮官僚如此不思进取。

这两天我在装载Hadoop Core的Examples测试，由于想要多了解些Hadoop，于是就打开了Hadoop的每个子目录，在打开/hadoop-0.19.0/contrib/意外发现了eclipse-plugin，心里不禁窃喜，不知道是不是IBM的这个工具的升级版移到这里还是其他什么原因，工具不是在这里吗？只不过与以前不同，是个jar包！我把hadoop-0.19.0-eclipse-plugin.jar，拷贝到eclipse-SDK-3.4-win32\eclipse\plugins下面，启动eclipse，居然真的安装成功了，真的是该工具的升级版，也没有了那个错误！真的是很意外！界面是这样滴，选择Window->Open Perspective，可见到一个窗口，里面有一个小象图标：Map/Reduce，点击它，会打开一个新的Perspective。然后点击Window->Show View，可以打开一个View，如图1所示，








图1


在这个View中，我们可以创建一个或多个Hadoop运行环境，这个运行环境，有点像，在Eclipse中配置JDBC数据库连接一样。如图2，图3所示：





图2



图3


配置完成以后，显示如图1左边的树形结构一样，这很像在Eclipse配置了，Tomcat的Server项目一样。配置完成以后，显示如图1左边的树形结构一样，这很像在Eclipse配置了，Tomcat的Server项目一样。


你点击view中的小象图标，很可能会报一个错误：
Cannot connect to the Map/Reduce location: hadoop@ubuntu1
java.io.IOException: Unknown protocol to name node: org.apache.hadoop.mapred.JobSubmissionProtocol
at org.apache.hadoop.dfs.NameNode.getProtocolVersion(NameNode.java:84)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)  at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:585)
at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:452)
at org.apache.hadoop.ipc.Server$Handler.run(Server.java:888)

我也遇到这个问题，很让我郁闷，我愿想是不是我的服务器哪里出了问题？后来才知道，是我的端口配置错误了，我在hadoop-site.xml中不是配置了:

<property>
<name>fs.default.name</name>
<value>hdfs://ubuntu1:9000</value>
</property>
<property>
<name>mapred.job.tracker</name>
<value>hdfs://ubuntu1:9001</value>
</property>

这两个端口很重要，9000是namenode的监听端口，而9001是jobtracker的监听端口，在图3的界面上新建DFS location时候，可以看到Map/Reduce Master，当时我还没弄明白，这是什么意思，现在才知道，这是jobtracker所在机器及监听端口，于是我设置成：host=ubuntu1,port=9001，而DFS Master中勾选Use M/R Master Host（意思是：是否使用与JobTracker相同的主机？）我的当然是勾上。端口当然也就是9000了，即host=ubuntu1，port=9000。

于是，连接the Map/Reduce location就不会再出现错误了。下面的用户是cdh，因为我的所有的ubuntu都是cdh的用户的。


我们可以用Web的方式来查看这个两个端口是否工作正常，namenode的Web访问端口是50070，由于我的namenode是建立在ubuntu1上的，因此，我要用Web方式访问namenode，那么在浏览器中敲入地址：http://ubuntu1:50070，你就会看到一个页面，如下图4：



图4



而9001是也是可以用Web方式来访问的，我的namenode和jobtracker是在一台机器上的，网址是http://ubuntu1:50030，如果你配置成功，可以打开如下图5的页面：



图5

tasktracker可以Web方式访问，由于我的tasktracker是建立在ubuntu2上的，因此网址是：http://ubuntu2:50060，如果你配置成功，可以打开如下图6的页面：


图6



为了能找到本地的Hadoop安装目录，打开Window->Preferences->Hadoop Map/Reduce，将本地的Hadoop安装目录添加进来，这个安装目录实际上就是把hadoop-0.19.0.tar.gz用解压工具解压到一个目录下面。这个目录就是安装目录。我的就是F:\hadoop-0.19.0。如图7所示：



图7


点击File->New->Other，在弹出的窗口中会有Map/Reduce项目，如图8所示：



图8



点击下一步，如图9所示，



图9



再点击下一步，如图10所示，点击Finish就成了。



图10



右键点击自己所创建的项目，进入到Properties，打开界面如图11所示，可以在Java Build Path中，设置源代码和Java Doc路径，这样，你就可以看到Hadoop的所有Core源代码了，呵呵



图11


右键点击项目中的src，可以添加Mapper类，Reducer类，以及MapReducerDriver类，向导会自动为你生成这三个类的Framework。这对于新手尤其重要。如图12所示：



图12


编写完你的代码以后，你可以点击你的Driver类->Run on hadoop，来运行你的Hadoop应用，这个运行是工具自动打包成jar，部署到Hadoop环境上去运行的。呵呵，至此，开发环境就配置好了，你可以尽情地享用Hadoop带给你的快乐了！祝大家在2009年的云计算的开发中，其乐无穷！