eclipse中导入nutch源码更新

在前一篇eclipse中导入nutch源码后，发现运行的时候报出各种错误，这里重新记录安装步骤，并测试。

安装前准备：

eclipse svn插件

eclipse ivy插件

1.  打开eclipse， File-> New-> Other -> SVN -> 从SVN检出项目 ， 选择next

2.  创建新的资源位置 -》 Next ，URL输入  https://svn.apache.org/repos/asf/nutch/branches/branch-1.6/

3.  点击  https://svn.apache.org/repos/asf/nutch/branches/branch-1.6/， Next， finish

4.  选择 java project -> next, 输入项目名，nutch，选择 finish

5.  右击nutch项目，选择Properties

6. source tab -> 移除nutch/src -> add folder ->展开 nutch/src -> 选择 src/bin, src/java, src/test 和 src/testresources

7.  同时把 plugin 下所有项目的 src/java 和 src/test folder 选上

8.  Libraries tab, click Add Class Folder and add /conf to the classpath

9.  Libraries tab add JARs > src/plugin/urlfilter-automaton/lib/automaton.jar & src/plugin/parse-swf/lib/javaswf.jar  如果没有可以自己去下载，然后加进去

10. Libraries tab Add Library > IvyDE Managed Dependencies > browse to nutch/ivy/ivy.xml > 选择ALL

11. Order and Export tab, 找到 "conf" folder  然后 点击上，再点TOP，把conf文件夹移到顶部

12. 将nutch-site.xml.template重命名为nutch-site.xml

13. 将 property "plugin.folders" 修改为 "./src/plugin" 在 $NUTCH_HOME/conf/nutch-site.xml文件中

14. 将  http.agent.name 的value 加入一个值，例如nutch，在conf/nutch-site.xml文件中

15. 修改 hadoop-core.jar 的源码，修改org.apache.hadoop.fs.FileUtil 中689行，将throw new IOException 改为LOG.warn。 编译，替换nutch中hadoop-core.jar 包

15. nutch项目进行ant

16. 在nutch项目下创建文件夹 urls，在urls下建立一个文件url.txt, 文件中写 http://news.163.com

17. Run configurations, Main tab-》 project 选择nutch， Main class选择org.apache.nutch.crawl.Crawl

Argument tab-》program arguments 写入urls -dir data -depth 2

VM arguments写入 -Dhadoop.log.dir=logs -Dhadoop.log.file=hadoop.log

执行Run

18. 观察控制台日志，如果出错，根据日志解决