nutch crawler 解析 下

好，咱们继续。

parse

$bin/nutch parse $commonOptions $skipRecordsOptions $CRAWL_PATH/segments/$SEGMENT

CLASS=org.apache.nutch.parse.ParseSegment

这就是传说中的解析网页内容的操作。

map中：

首先只解析成功的内容，看上一步返回的状态码，如果不是成功的情况直接 return . 下一步又是通过插件来解析文本的，看来得重开一篇专门讲插件的， 干活都在插件中。 

 

updatedb

$bin/nutch updatedb $commonOptions $CRAWL_PATH/crawldb  $CRAWL_PATH/segments/$SEGMENT

CLASS=org.apache.nutch.crawl.CrawlDb

更新 crawlDb中的内容了。

map中：

万年不变的 urlfilter  urlNormalizers  这一步看吐了。

然后根据 segments 下面 fetch 和 parse 中的内容更新 crawlDB 。为下一轮抓取做一些准备。

 

下一个操作是invertlinks 跟抓取没有什么关系。暂时忽略吧。