介绍 Nutch 第一部分：抓取过程详解（2）

通过上文现在我们有了一些基本的概念了，现在应该接触实际的操作了，因为懂得原理和实践还是有很大差距的。

抓取是一个循环的过程：抓取蜘蛛从WebDB中生成了一个 fetchlist 集合；抽取工具根据fetchlist从网络上下载网页内容；蜘蛛程序根据抽取工具发现的新链接更新WebDB；然后再生成新的fetchlist；周而复始。（注：蜘蛛是分两个部分的。有一次在公司的一个讨论会上还就此争论了一番，google也是如此，以后会给出例子。）这个抓取循环在nutch中经常指： generate/fetch/update 循环。

一般来说同一域名下的 url 链接会被合成到同一个 fetchlist。这样做的考虑是：当同时使用多个蜘蛛抓取的时候，不会产生重复抓取的现象。Nutch 遵循 Robots Exclusion Protocol, 你可以用robots.txt 定义保护私有网页数据不被抓去。

上面这个抓取工具的组合是Nutch的最外层的，你也可以直接使用更底层的工具，自己组合这些底层工具的执行顺序达到同样的结果。这就是Nutch吸引人的地方吧。下面把上述过程分别详述一下，括号内就是底层工具的名字：

创建一个新的WebDB (admin db -create)。
把开始抓取的跟Url 放入WebDb (inject)。
从WebDb的新 segment 中生成 fetchlist (generate)。
根据 fetchlist 列表抓取网页的内容 (fetch)。
根据抓取回来的网页链接url更新 WebDB (updatedb)。
重复上面3-5个步骤直到到达指定的抓取层数。
用计算出来的网页url权重 scores 更新 segments (updatesegs)。
对抓取回来的网页建立索引(index)。
在索引中消除重复的内容和重复的url (dedup)。
合并多个索引到一个大索引，为搜索提供索引库(merge)。

在创建了一个新的WebDB后，抓取循环 generate/fetch/update 就根据最先第二步指定的根 url 在一定周期下自动循环了。当抓取循环结束后，就会生成一个最终的索引。从第7步到第10步。

需要说明的是：上面第 8 步中每个 segment 的索引都是单独建立的，之后才消重（第9步）。第10步就是大功告成，合并单独的索引到一个大索引库。

Dedup 工具可以从 segment 的索引中去除重复的url。因为 WebDB 中不允许重复的url ，也就是说 fetchlist 中不会有重复的url,所以不需要对 fetchlist 执行 dedup 操作。上文说过，默认的抓取周期是30天，如果已经生成的旧 fetch 没有删除，而又生成了新的fetch 这是还是会出现重复的url的。当只有一个抓取程序运行的时候是不会发生上述情况的。

从上面的介绍可以看出，一般情况下我们只要从头执行的程序就可以了，不需要接触底层的工具。但是搜索引擎有很多“意外”，很多的时间需要花费在维护上，所以底层的工具也是需要掌握的。我将会在下文给你演示如何运行上述过程。

开篇说过，本文是面向一个中型的搜索引擎的，如果做像百度这样的抓取互联网数据的引擎，你就需要参考下面的资源。

资源列表：

Nutch project page Nutch项目的大本营，想必大家都知道。
2、邮件列表： nutch-user 和 nutch-dev
3、在写本文的时候 Map Reduce 已经放到nutch的svn中了，不过还不是发布版本。我记得是Doug Cutting 在签入完 MapReduce 后就去度假了，呵呵。

更多资源：
Nutch tutorial还有一个好消息，写过Eclipse Plugin 的人都知道，Eclipse 架构的强大之处，Nutch 的Plugin 也是基于Eclipse 的，不过现在的版本是 2.0 。详情看这里 PluginCentral
search option
Building Nutch: Open Source Search
Nutch: A Flexible and Scalable Open Source Web Search Engine