eclipse中导入nutch源码

1、下载并解压eclipse（集成开发环境）
下载地址：http://www.eclipse.org/downloads/，下载Eclipse IDE for Java EE Developers
2、安装Subclipse插件（SVN客户端）
插件地址：http://subclipse.tigris.org/update_1.8.x，
3、安装IvyDE插件（下载依赖Jar）
插件地址：http://www.apache.org/dist/ant/ivyde/updatesite/
4、签出代码
File > New > Project > SVN > 从SVN 检出项目
创建新的资源库位置 > URL：https://svn.apache.org/repos/asf/nutch/tags/release-1.6/ > 选中URL > Finish
弹出New Project向导，选择Java Project > Next，输入Project name：nutch1.6 > Finish
5、配置构建路径
在左部Package Explorer的 nutch1.6文件夹上单击右键 > Build Path > Configure Build Path...
> 选中Source选项 > 选择src > Remove > Add Folder... > 选择src/bin, src/java, src/test 和 src/testresources（对于插件，需要选中src/plugin目录下的每一个插件目录下的src/java ， src/test文件夹） > OK
切换到Libraries选项 >
Add Class Folder... > 选中nutch1.6/conf > OK

下载已经jar包并放到build path中：automaton.jar, jdom-1.0.jar,  nekohtml-1.9.6.2.jar,   rome-1.0.jar,  tagsoup-1.1.3.jar
Add JARs... > 需要选中src/plugin目录下的每一个插件目录下的lib目录下的jar文件 > OK
Add Library... > IvyDE Managed Dependencies > Next > Main > Ivy File > Browse > ivy/ivy.xml > Finish
切换到Order and Export选项>
选中conf > Top
6、执行ANT
在左部Package Explorer的 nutch1.6文件夹下的build.xml文件上单击右键 > Run As > Ant Build  (需要挺长时间)
在左部Package Explorer的 nutch1.6文件夹上单击右键 > Refresh
在左部Package Explorer的 nutch1.6文件夹上单击右键 > Build Path > Configure Build Path... > 选中Libraries选项 > Add Class Folder... > 选中build > OK

7、修改配置文件nutch-site.xml
 将如下配置项加入文件nutch-site.xml：
<property>
<name>http.agent.name</name>
<value>nutch</value>
</property>
<property>
<name>http.content.limit</name>
<value>-1</value>
</property>

8、开发调试
在左部Package Explorer的 nutch1.6文件夹上单击右键 > New > Folder > Folder name: urls
在刚新建的urls目录下新建一个文本文件url，文本内容为：http://news.163.com
打开src/java下的org.apache.nutch.crawl.Crawl.java类，单击右键Run As > Run Configurations > Arguments > 在Program arguments输入框中输入: urls -dir data -depth 2 > Run
在需要调试的地方打上断点Debug As > Java Applicaton
9、查看结果
查看segments目录：
打开src/java下的org.apache.nutch.segment.SegmentReader.java类
单击右键Run As > Java Applicaton，控制台会输出该命令的使用方法
单击右键Run As > Run Configurations > Arguments > 在Program arguments输入框中输入: -dump data/segments/* data/segments/dump
用文本编辑器打开文件data/segments/dump/dump查看segments中存储的信息

查看crawldb目录：
打开src/java下的org.apache.nutch.crawl.CrawlDbReader.java类
单击右键Run As > Java Applicaton，控制台会输出该命令的使用方法
单击右键Run As > Run Configurations > Arguments > 在Program arguments输入框中输入: data/crawldb -stats
控制台会输出 crawldb统计信息

查看linkdb目录：
打开src/java下的org.apache.nutch.crawl.LinkDbReader.java类
单击右键Run As > Java Applicaton，控制台会输出该命令的使用方法
单击右键Run As > Run Configurations > Arguments > 在Program arguments输入框中输入: data/linkdb -dump data/linkdb_dump
用文本编辑器打开文件data/linkdb_dump/part-00000查看linkdb中存储的信息