Nutch的安装与部署

今天试用了下Nutch，感觉还不错，先把安装和试用的东东记录一下：）

1. 环境介绍：JDK 1.6+Win XP+Tomcat 5.5
2. 安装下cygwin，因为Nutch目前的爬虫部分只适应于Linux操作系统，这个东东用来Linux仿真，执行相关的爬取动作，主要的命令为（下文要用到，切换到nutch目录）：
   Linux命令 写道

   $ sh ./bin/nutch crawl urls -dir sohu.com -depth 4 -threads 5 -topN 1000

   参数介绍 写道

   crawl：通知nutch.jar，执行crawl的main方法。
   urls：存放需要爬行的url.txt文件的目录
   -dir mydir 爬行后文件保存的位置
   -depth 2：爬行次数，或者成为深度，不过还是觉得次数更贴切，建议测试时改为1。
   -threads 指定并发的进程 这是设定为 4
   -topN 50：一个网站保存的最大页面数。
   

    
3. 下载nutch，直接从官网上拿，然后用Linux的tar命令解压
4. 在nutch目录下将nutch.war拷贝到tomcat的webapps目录下
5. 将tomcat的相关编码设置成UTF-8，防止中文乱码
6. 在nutch目录下找到search.html，将queryfocus的js函数内容注释掉（防止js报错）
7. 建立网络爬虫，在nutch下新建urls目录，在目录下新建url文件（不带后缀名），在文件里输入需要爬虫的网站地址，如：http://www.iteye.com/（注意以/结尾）
8. 在nutch的conf目录下crawl-urlfilter.txt将iteye.com设为可接受的网站，具体可找到accept hosts in MY.DOMAIN.NAME这一行，将javaeye网站加入即可
9. 用第一个命令执行网络爬虫
10. 打开http://localhost:8080/nutch-1.0/，进入搜索页面，输入关键字，即可查询。

至此，nutch配置和安装完毕！