Nutch开源搜索引擎crawl的两种方式比较

在我之前的Nutch爬虫试验中，是调用crawl命令直接抓取，在深入学习crawl时，发现具体的运营过程当中，需要更精细的控制整个crawl抓取过程，下面就针对nutch两种方式做一个比较。
方式一：nutch局域网抓取
$ bin/nutch crawl urls -dir crawl10 -depth 10 -threads 10 >& nohup.out
具体的抓取过程分析详见《Nutch开源搜索引擎的crawl日志分析及工作目录说明》

方式一：Nutch互联网抓取
1)较大的入口URL列表。通过DmozParser工具对开放式互联网DMOZ目录库的支持。
$ bin/nutch org.apache.nutch.tools.DmozParser content.rdf.u8 -subset 3000 > dmozurls
也可以从互联网网站大全或排行榜分析URL得到。在vipurls.txt中存放1000个比较大的网站

2)下载大量网站
a)在Nutch根目录新建一个vipcrawl目录
b)复制vipurls.txt文件到nutch根目录。初始化vipcrawl目录数据库
$ bin/nutch inject vipcrawl/crawldb vipurls.txt
c)修改conf/nutch-site.xml文件，设置http.agent.name属性的值，这个值在抓取网页的时候，会携带在HTTP协议头里，用来表现网络蜘蛛身份。
d)利用crawldb中已经注入的URL下载列表，调用generate命令创建一个新的数据段，存放到vipcrawl目录下
$ bin/nutch generate vipcrawl/crawldb vipcrawl/segments
e)查看segments目录下最新生成的日期时间文件夹。当前生成的文件夹名称是20080905222729.大家需要根据自己机器显示的最新目录，修改命令参数。根据文件夹下生成的下载列表获取页面内容。
$ bin/nutch fetch vipcrawl/segments/20080905222729
f)从已经下载的段数据列表里获取URL链接，更新crawldb库里的内容
$ bin/nutch updatedb vipcrawl/crawldb vipcrawl/segments/20080905222729
g)循环(d)(e)(f)下载页面，直到crawldb的列表完成或全部达到网页深度。可以精确控制你想要达到的深度级别
h)调用analyze命令分析已经下载的网页内容
$ bin/nutch updatedb vipcrawl/crawldb vipcrawl/segments/20080905222729
$ bin/nutch analyze ...
i)根据webdb内容，修改分段的权值和外部链接
$ bin/nutch updatesegs
j)索引页面内容
$ bin/nutch index

两种下载模式的比较

对比局域网抓取和互联网抓取这两种模式，使用方式上有很大的差别，但完成了同样的工作，只是互联网模式调用了更底层的工作，局域网模式是由底层的命令组合成的。底层的每个命令实际都是Java类，对应关系如下
a)admin命令：net.nutch.tools.WebDBAdminTool
b)inject命令：net.nutch.db.WebDBInjector
c)generate命令：net.nutch.tools.FetchListTool
d)fetch命令：net.nutch.fetcher.Fetcher
e)updatedb命令：net.nutch.tools.UpdateDatabaseTool
f)analyze命令：net.nutch.tools.LinkAnalysisTool
用户可以调用这些类的简写，也可以写全称。

评论

1 楼 ghljx 2009-05-17  

$ bin/nutch analyze ...
i)根据webdb内容，修改分段的权值和外部链接
$ bin/nutch updatesegs
j)索引页面内容
$ bin/nutch index

这几个命令用不了呀 会不会还需要装别的安装包？