Nutch爬虫实验运行及抓取数据分析（一）

为了更深入地对Nutch爬虫进行了解，我们需要运行一个实际的抓取过程并对这个过程中的细节进行记录，对抓取生成的结果文件进行内容分析。首先你需要下载Nutch程序并搭建起可以令其运行的平台，这在网上都有详细的说明资料，我就不赘述了。我们需要做的第一步就是建立起一个实验用的Web站点，这个站点只包含了四个网页。图1描述了这四个网页之间的链接关系，并且C网页和C-dup网页的网页内容是相同的。

 

图1 实验站点结构图

 

我们首先需要设置种子URL，我们设置A网页为爬虫起始抓取网页。命令如下：

echo 'http://keaton/tinysite/A.html' > urls

 

另外我们需要限制Crawler只抓取这个实验站点的网页，Nutch爬虫使用一个Filter来识别URL是否需要抓取。我们可以通过对conf/crawl-urlfilter.txt文件的修改来实现这个Filter，将文件中的

 

+^http://([a-z0-9]*\.)*MY.DOMAIN.NAME/

内容修改为

+^http://keaton/

 

接下来，我们执行下面的命令行来运行Crawler：

bin/nutch crawl urls -dir crawl-tinysite -depth 3 >& crawl.log

 

在这个爬行命令中，我们设置抓取结果存储于crawl-tinysite文件夹中，抓取日志为crawl.log，另外限定了抓取深度为3，也就是告诉Crawler需要执行3次“产生/抓取/更新”循环就可以抓取完毕了。由于实验站点的简陋，深度为3就可以了，但是在实际运行时需要根据实际情况来进行设置。

 

下面就让我们通过对抓取产生文件的内容分析来进一步的了解Crawler的工作吧。

首先我们来看一下抓取过程中产生的所有文件有哪些，打开crawl-tinysite文件夹，里面有三个子目录，详细如图2所示：

图2 爬虫运行完毕所生成文件

 

Nutch自身带了很多查看结果文件的工具，我们利用它们来进行文件内容展示。

 

WebDB

 

首先我们需要看一下WebDB中的网页数目和链接数目，以确定站点爬行情况，执行下面的命令行：

 

bin/nutch readdb crawl-tinysite/db -stats

结果为：

Number of pages: 4

Number of links: 4

 

正如所料，其中包括四个网页（A,B,C,C-dup）和四个链接。因为WebDB只能去除重复URL，所以其中仍然含有C-dup网页，但是A网页却并没有被抓取两次。接下来，看一下WebDB中的网页实体和链接实体的具体存储内容，执行命令：

 

bin/nutch readdb crawl-tinysite/db -dumppageurl

生成结果：

Page 1: Version: 4

URL: http://keaton/tinysite/A.html

ID: fb8b9f0792e449cda72a9670b4ce833a

Next fetch: Thu Nov 24 11:13:35 GMT 2005

Retries since fetch: 0

Retry interval: 30 days

Num outlinks: 1

Score: 1.0

NextScore: 1.0

Page 2: Version: 4

URL: http://keaton/tinysite/B.html

ID: 404db2bd139307b0e1b696d3a1a772b4

Next fetch: Thu Nov 24 11:13:37 GMT 2005

Retries since fetch: 0

Retry interval: 30 days

Num outlinks: 3

Score: 1.0

NextScore: 1.0

Page 3: Version: 4

URL: http://keaton/tinysite/C-duplicate.html

ID: be7e0a5c7ad9d98dd3a518838afd5276

Next fetch: Thu Nov 24 11:13:39 GMT 2005

Retries since fetch: 0

Retry interval: 30 days

Num outlinks: 0

Score: 1.0

NextScore: 1.0

Page 4: Version: 4

URL: http://keaton/tinysite/C.html

ID: be7e0a5c7ad9d98dd3a518838afd5276

Next fetch: Thu Nov 24 11:13:40 GMT 2005

Retries since fetch: 0

Retry interval: 30 days

Num outlinks: 0

Score: 1.0

NextScore: 1.0

 

可以看出每一块内容是一个网页实体的信息，ID代表的是网页内容的MD5摘要，所以网页C和网页C-dup拥有一样的ID，另外还有其它的信息例如重新抓取预定时间和网页评分等。下面看看链接，执行命令：

 

bin/nutch readdb crawl-tinysite/db -dumplinks

生成结果：

from http://keaton/tinysite/B.html

 to http://keaton/tinysite/A.html

 to http://keaton/tinysite/C-duplicate.html

 to http://keaton/tinysite/C.html

from http://keaton/tinysite/A.html

 to http://keaton/tinysite/B.html

 

当抓取网页过多时，查看命令还可以通过URL或者MD5 hash单独查看单个网页实体，例如命令：

 

bin/nutch readdb crawl-tinysite/db -linkurl http://keaton/tinysite/B.html

结果：

Found 1 links.

Link 0: Version: 5

ID: fb8b9f0792e449cda72a9670b4ce833a

DomainID: 3625484895915226548

URL: http://keaton/tinysite/B.html

AnchorText: B

targetHasOutlink: true

 

看以看出得到的是单个的网页A。

 

未完待续，请继续关注《Nutch爬虫实验运行及抓取数据分析（二）》。

 

备注

参考文章：http://today.java.net/pub/a/today/2006/01/10/introduction-to-nutch-1.html

本文章为原创，如要转载请务必注明本文章出处http://blog.donews.com/52se。