`

搜索引擎Nutch源代码研究之一 网页抓取（1）

搜索引擎threadApacheAccess数据结构 
阅读更多
搜索引擎Nutch源代码研究之一 网页抓取：
Nutch的爬虫代码部分主要集中在：package org.apache.nutch.fetcher和插件protocol-file
Protocol-ftp protocol-http protocol-httpclient以及相应的Parser插件中：
下面我们先从org.apache.nutch.fetcher开始：
最主要的类是Fetcher类，我们从它入手一步步跟踪整个代码：
我们从run函数入手：
首先：
Java代码 复制代码
  1. for (int i = 0; i < threadCount; i++) {       // spawn threads   
  2.       FetcherThread thread = new FetcherThread(THREAD_GROUP_NAME+i);    
  3.       thread.start();   
  4. }  
for (int i = 0; i < threadCount; i++) {       // spawn threads
      FetcherThread thread = new FetcherThread(THREAD_GROUP_NAME+i); 
      thread.start();
}

建立了多个FetcherThread线程来抓取网页，threadCount可以配置或者使用默认值。
接着一个while(true)的循环里面的代码：
Java代码 复制代码
  1. int n = group.activeCount();   
  2.      Thread[] list = new Thread[n];   
  3.      group.enumerate(list);   
  4.      boolean noMoreFetcherThread = true; // assumption   
  5.      for (int i = 0; i < n; i++) {   
  6.        // this thread may have gone away in the meantime   
  7.        if (list[i] == null) continue;   
  8.        String tname = list[i].getName();   
  9.        if (tname.startsWith(THREAD_GROUP_NAME)) // prove it   
  10.          noMoreFetcherThread = false;   
  11.        if (LOG.isLoggable(Level.FINE))   
  12.          LOG.fine(list[i].toString());   
  13.      }   
  14.      if (noMoreFetcherThread) {   
  15.        if (LOG.isLoggable(Level.FINE))   
  16.          LOG.fine("number of active threads: "+n);   
  17.        if (pages == pages0 && errors == errors0 && bytes == bytes0)   
  18.          break;   
  19.        status();   
  20.        pages0 = pages; errors0 = errors; bytes0 = bytes;   
  21.      }  
 int n = group.activeCount();
      Thread[] list = new Thread[n];
      group.enumerate(list);
      boolean noMoreFetcherThread = true; // assumption
      for (int i = 0; i < n; i++) {
        // this thread may have gone away in the meantime
        if (list[i] == null) continue;
        String tname = list[i].getName();
        if (tname.startsWith(THREAD_GROUP_NAME)) // prove it
          noMoreFetcherThread = false;
        if (LOG.isLoggable(Level.FINE))
          LOG.fine(list[i].toString());
      }
      if (noMoreFetcherThread) {
        if (LOG.isLoggable(Level.FINE))
          LOG.fine("number of active threads: "+n);
        if (pages == pages0 && errors == errors0 && bytes == bytes0)
          break;
        status();
        pages0 = pages; errors0 = errors; bytes0 = bytes;
      }

相当于维护一个线程池，并在Log中输入抓取页面的速度，状态之类的信息。其实可以使用java.util.concurrent包的Executors来创建一个线程池来使用。
现在我们看看抓取的线程FetcherThread是如何工作的：
线程当然要从run方法来跟踪了：
FetchListEntry fle = new FetchListEntry();
建立一个抓取列表类，为了不分散精力，我们稍候在看看这个FetchListEntry以及相关类的数据结构。
然后又是一个while (true)的循环，我们看看里面做了些什么：
Java代码 复制代码
  1. if (fetchList.next(fle) == null)   
  2.             break;   
  3. url = fle.getPage().getURL().toString();   
  4. 从当前的FetchListEntry中获得一个要抓取的url，然后   
  5. if (!fle.getFetch()) {                  // should we fetch this page?   
  6.             if (LOG.isLoggable(Level.FINE))   
  7.                 LOG.fine("not fetching " + url);   
  8.             handleFetch(fle, new ProtocolOutput(null, ProtocolStatus.STATUS_NOTFETCHING));   
  9.             continue;   
  10. }  
if (fetchList.next(fle) == null)
            break;
url = fle.getPage().getURL().toString();
从当前的FetchListEntry中获得一个要抓取的url，然后
if (!fle.getFetch()) {                  // should we fetch this page?
            if (LOG.isLoggable(Level.FINE))
                LOG.fine("not fetching " + url);
            handleFetch(fle, new ProtocolOutput(null, ProtocolStatus.STATUS_NOTFETCHING));
            continue;
}

如果不需要抓取，在handleFetch进行相应的处理。
然后又是一个do…while循环，用来处理抓取过程中重定向指定的次数：
整个循环的条件 refetch && (redirCnt < MAX_REDIRECT)
重新抓取并且重定向次数没有超出最大次数
ProtocolFactory工厂创建protocol实例：
Protocol protocol = ProtocolFactory.getProtocol(url);
Protocol的实现是以插件的形式提供的，我们先跳过Protocol实现的细节：
可以从protocol中获取到Fetch的输出流：
            ProtocolOutput output = protocol.getProtocolOutput(fle);
通过输出流可以获取到抓取的状态ProtocolStatus和抓取的内容Content：

Java代码 复制代码
  1. ProtocolStatus pstat = output.getStatus();   
  2. Content content = output.getContent();  
ProtocolStatus pstat = output.getStatus();
Content content = output.getContent();

然后根据抓取的状态：
switch(pstat.getCode())
如果成功 case ProtocolStatus.SUCCESS:
如果内容不为空if (content != null)
修改抓取的页数，抓取的字节数，并且如果抓取了100页，根据pages,bytes在日志中记录抓取的速度等信息。
Java代码 复制代码
  1. synchronized (Fetcher.this) {           // update status   
  2.                     pages++;   
  3.                     bytes += content.getContent().length;   
  4.                     if ((pages % 100) == 0) {             // show status every    
  5.                       status();   
  6.                     }   
  7. }  
synchronized (Fetcher.this) {           // update status
                    pages++;
                    bytes += content.getContent().length;
                    if ((pages % 100) == 0) {             // show status every 
                      status();
                    }
}

在handleFetch进行相应的处理
ParseStatus ps = handleFetch(fle, output);
如果处理返回的状态不为空，并且成功的重定向：
if (ps != null && ps.getMinorCode() == ParseStatus.SUCCESS_REDIRECT)
获取重定向的链接并进行过滤：
Java代码 复制代码
  1. String newurl = ps.getMessage();   
  2. newurl = URLFilters.filter(newurl);  
String newurl = ps.getMessage();
newurl = URLFilters.filter(newurl);

如果重定向的链接newurl不为空并且和现在的url不同：
if (newurl != null && !newurl.equals(url))
重新获取，更新refetch、url、redirCnt++;
Java代码 复制代码
  1. refetch = true;   
  2. url = newurl;   
  3. redirCnt++;  
      refetch = true;
      url = newurl;
      redirCnt++;

创建当前页面的FetchListEntry：
fle = new FetchListEntry(true, new Page(url, NEW_INJECTED_PAGE_SCORE), new String[0]);
如果链接页面已经转移或者临时转移：
case ProtocolStatus.MOVED: // try to redirect immediately
              case ProtocolStatus.TEMP_MOVED: // try to redirect immediately
立即重定向：
处理抓取的结果：
handleFetch(fle, output);
获取重定向的url:
Java代码 复制代码
  1.  String newurl = pstat.getMessage();   
  2.      newurl = URLFilters.filter(newurl);   
  3.      if (newurl != null && !newurl.equals(url)) {   
  4.              refetch = true;       
  5.              url = newurl;   
  6.              redirCnt++;   
  7.                   // create new entry.   
  8.              fle = new FetchListEntry(true, new Page(url, NEW_INJECTED_PAGE_SCORE), new String[0]);   
  9. }  
 String newurl = pstat.getMessage();
     newurl = URLFilters.filter(newurl);
     if (newurl != null && !newurl.equals(url)) {
             refetch = true;	
             url = newurl;
             redirCnt++;
                  // create new entry.
             fle = new FetchListEntry(true, new Page(url, NEW_INJECTED_PAGE_SCORE), new String[0]);
}

过程和上面的重定向类似。
以下几种状态：
Java代码 复制代码
  1. case ProtocolStatus.GONE:   
  2. case ProtocolStatus.NOTFOUND:   
  3. case ProtocolStatus.ACCESS_DENIED:   
  4.  case ProtocolStatus.ROBOTS_DENIED:   
  5.  case ProtocolStatus.RETRY:   
  6.  case ProtocolStatus.NOTMODIFIED:   
case ProtocolStatus.GONE:
case ProtocolStatus.NOTFOUND:
case ProtocolStatus.ACCESS_DENIED:
 case ProtocolStatus.ROBOTS_DENIED:
 case ProtocolStatus.RETRY:
 case ProtocolStatus.NOTMODIFIED:

直接交由handleFetch(fle, output);来处理
如果发生异常，logger异常信息，然后交给handleFetch处理：
case ProtocolStatus.EXCEPTION:
          logError(url, fle, new Exception(pstat.getMessage()));               
          handleFetch(fle, output);
其他情况为未知状态，log出当前的状态，然后交给handleFetch处理
default:
         LOG.warning("Unknown ProtocolStatus: " + pstat.getCode());
         handleFetch(fle, output);
循环结束。
最后如果完成的线程数等于threadCount，关闭所有的插件：
Java代码 复制代码
  1. synchronized (Fetcher.this) {   
  2.         atCompletion++;   
  3.         if (atCompletion == threadCount) {   
  4.           try {   
  5.             PluginRepository.getInstance().finalize();   
  6.           } catch (java.lang.Throwable t) {   
  7.             // do nothing   
  8.           }   
  9.         }   
  10.       }  
synchronized (Fetcher.this) {
        atCompletion++;
        if (atCompletion == threadCount) {
          try {
            PluginRepository.getInstance().finalize();
          } catch (java.lang.Throwable t) {
            // do nothing
          }
        }
      }

我们看到Fetch到页面后大多数的处理都交给了handleFetch了。
现在我们来看看private ParseStatus handleFetch(FetchListEntry fle, ProtocolOutput output) 的代码：
根据output获取到内容和url
Java代码 复制代码
  1. Content content = output.getContent();   
  2. MD5Hash hash = null;   
  3. String url = fle.getPage().getURL().toString();  
Content content = output.getContent();
MD5Hash hash = null;
String url = fle.getPage().getURL().toString();

如果content为null，我们直接空的content,然后对url 用digest编码,否则对content 用digest来编码：
Java代码 复制代码
  1. if (content == null) {   
  2.         content = new Content(url, url, new byte[0], "", new Properties());   
  3.         hash = MD5Hash.digest(url);   
  4. } else {   
  5.         hash = MD5Hash.digest(content.getContent());   
  6. }  
if (content == null) {
        content = new Content(url, url, new byte[0], "", new Properties());
        hash = MD5Hash.digest(url);
} else {
        hash = MD5Hash.digest(content.getContent());
}

在获取ProtocolStatus
ProtocolStatus protocolStatus = output.getStatus();
如果Fetcher不进行解析（parse），直接把抓取的页面写入磁盘
Java代码 复制代码
  1. if (!Fetcher.this.parsing) {   
  2.        outputPage(new FetcherOutput(fle, hash, protocolStatus),   
  3.                content, null, null);   
  4.        return null;   
  5.      }  
 if (!Fetcher.this.parsing) {
        outputPage(new FetcherOutput(fle, hash, protocolStatus),
                content, null, null);
        return null;
      }

否则进行parse:
首先获取页面contentType，以便根据正确编码进行Parse的:
String contentType = content.getContentType();
下面便是使用Parser进行页面提取得过程：
Java代码 复制代码
  1. Parser parser = null;   
  2.       Parse parse = null;   
  3.       ParseStatus status = null;   
  4.       try {   
  5.         parser = ParserFactory.getParser(contentType, url);   
  6.         parse = parser.getParse(content);   
  7.         status = parse.getData().getStatus();   
  8.       } catch (Exception e) {   
  9.         e.printStackTrace();   
  10.         status = new ParseStatus(e);   
  11.       }  
Parser parser = null;
      Parse parse = null;
      ParseStatus status = null;
      try {
        parser = ParserFactory.getParser(contentType, url);
        parse = parser.getParse(content);
        status = parse.getData().getStatus();
      } catch (Exception e) {
        e.printStackTrace();
        status = new ParseStatus(e);
      }

如果提取页面成功：if (status.isSuccess())
将FetcherOutput提取的内容以及状态作为写入保存：
Java代码 复制代码
  1. outputPage(new FetcherOutput(fle, hash, protocolStatus),   
  2.                content, new ParseText(parse.getText()), parse.getData());   
 outputPage(new FetcherOutput(fle, hash, protocolStatus),
                content, new ParseText(parse.getText()), parse.getData());

否则 else 将FetcherOutput和空的parse内容保存：
Java代码 复制代码
  1. LOG.info("fetch okay, but can't parse " + url + ", reason: "  
  2.                 + status.toString());   
  3.  outputPage(new FetcherOutput(fle, hash, protocolStatus),   
  4.                 content, new ParseText(""),   
  5.                 new ParseData(status, "", new Outlink[0], new Properties()));   
LOG.info("fetch okay, but can't parse " + url + ", reason: "
                + status.toString());
 outputPage(new FetcherOutput(fle, hash, protocolStatus),
                content, new ParseText(""),
                new ParseData(status, "", new Outlink[0], new Properties()));

我们先跳过Parser的过程。下次我们看看如何在http协议下载的web页面，这就Protocol
插件的实现。
分享到：
| 面试知识点
评论
1 楼 xtuali 2011-12-18  
能说明一下，你的nutch是哪个版本的吗？谢谢！
发表评论

您还没有登录,请您登录后再发表评论

相关推荐

    搜索引擎nutch配置

    从Apache官方网站下载Nutch的最新源代码，通常通过Git克隆仓库。解压后，进入Nutch的工作目录。 3. **配置Nutch** 打开`conf/nutch-site.xml`文件，这是Nutch的主要配置文件。以下是一些关键配置项： - `...

    Lucene+nutch搜索引擎开发（源代码）

    2. **Nutch源代码**：包括Nutch的爬虫模块、索引模块和搜索模块，可以帮助开发者学习如何配置和运行一个完整的网络爬虫，以及如何与Lucene集成进行全文检索。 3. **示例项目**：可能包含了一些示例应用，展示如何...

    nutch-2.1源代码

    Nutch不仅仅是一个搜索引擎，它还包含了一个Web爬虫，能够抓取互联网上的网页，并对抓取的数据进行索引和处理。 Nutch的源代码包含了整个项目的完整实现，包括爬虫、索引器、搜索器以及相关的配置和文档。这对于...

    nutch的源代码解析

    Nutch 的源代码解析对于深入理解搜索引擎的工作原理以及自定义搜索引擎的实现非常有帮助。下面我们将详细探讨 Nutch 的注入（Injector）过程，这是整个爬取流程的第一步。 Injector 类在 Nutch 中的作用是将输入的 ...

    Lucene+Nutch搜索引擎开发.王学松源代码

    总的来说，王学松的“Lucene+Nutch搜索引擎开发实例代码”是一份宝贵的教育资源，它可以帮助开发者快速入门搜索引擎开发，并深入了解这两个项目的内部工作机制。通过实践这些代码，不仅可以提升技术能力，还能为构建...

    lucene+nutch搜索引擎开发源码1

    《lucene+nutch搜索引擎开发源码1》是一个包含开源搜索引擎项目Lucene和Nutch源代码的压缩包，主要针对搜索引擎开发的学习和实践。这个压缩包是书籍《lucene+nutch搜索引擎开发》的一部分，由于源码量较大，因此分为...

    分布式搜索引擎nutch开发

    分布式搜索引擎Nutch开发详解 Nutch是一款开源的、基于Java实现的全文搜索引擎，它主要用于构建大规模的网络爬虫系统，并提供了对抓取的网页进行索引和搜索的功能。Nutch与Hadoop紧密集成，能够充分利用分布式计算...

    lucene+nutch开发自己的搜索引擎一书源代码

    《lucene+nutch开发自己的搜索引擎一书源代码》是一份专为初学者设计的资源，旨在教授如何利用Apache Lucene和Nutch构建自定义搜索引擎。Lucene是Java编写的一个高性能全文检索库，而Nutch则是一个开源的网络爬虫...

    nutch 1.5的源代码

    Nutch 1.5 是一个基于Java开发的开源搜索引擎项目，它主要负责网络抓取、索引和搜索等功能。这个源代码包包含了实现这些功能的所有模块和组件，为开发者提供了深入理解搜索引擎工作原理以及定制化搜索引擎的机会。接...

    nutch开发资料 搜索引擎

    1. **Nutch介绍**：Nutch是一个基于Java的开源Web爬虫，它能够抓取互联网上的网页，并对抓取的数据进行索引和搜索。Nutch的设计目标是提供可扩展性和高效率，适合大规模的Web数据处理。 2. **增量索引**：在Nutch中...

    开发自己的搜索引擎 lunenc nutch

    Lucene 是一个全文搜索引擎库，而 Nutch 是一个完整的网络爬虫项目，两者结合可以提供从网页抓取到索引、搜索的一站式解决方案。 在开发自定义搜索引擎的过程中，首先我们需要了解 **Lucene** 的基本原理。Lucene ...

    Nutch 是一个开源Java 实现的搜索引擎(学习资料)----下载不扣分，回帖加1分，童叟无欺，欢迎下载 。不下也来看看啊！！

    1. **Java编程基础**：由于Nutch是用Java编写的，因此理解和修改Nutch源代码需要扎实的Java基础知识。 2. **搜索引擎原理**：理解搜索引擎的基本工作流程，包括爬虫、预处理、索引和查询处理。 3. **Hadoop和...

    Lucene.Nutch搜索引擎开发

    2. **Nutch**: Nutch是一个开放源代码的网络爬虫，主要用于抓取和索引网页内容。它基于Lucene，提供了完整的爬虫解决方案，包括网页抓取、预处理（如HTML解析、链接分析、去重等）、索引和搜索功能。Nutch的主要优势...

    nutch解决搜索结果高亮和网页快照链接无效及网页变形

    Nutch 是一个开源的搜索引擎项目，它提供了网络爬虫、索引和搜索的功能。在构建一个自定义的搜索引擎时，可能会遇到几个常见的问题，如搜索结果的关键词高亮、快照链接无效以及网页在预览时的变形。下面将详细讨论...

    Lucene+Nutch搜索引擎开发（配套光盘资源）

    《Lucene+Nutch搜索引擎开发》是一本专注于搜索引擎技术的书籍，配套光盘资源为学习者提供了丰富的实践材料，尤其对于想要深入理解Nutch搜索引擎开发的读者来说，这是一份不可多得的学习资料。Nutch是基于Apache ...

    Nutch:一个灵活可扩展的开源web搜索引擎

    总之，Nutch是一个强大的开源搜索引擎工具，它不仅适用于构建自己的搜索引擎，也是研究和学习搜索引擎技术的理想平台。通过熟悉其工作流程、分析源代码以及查阅相关文档，你将能够掌握搜索引擎的核心技术和实现细节...

    apache-nutch-1.4-src.tar.gz_nutch_搜索引擎

    Apache Nutch 是一款高度可扩展的开源全文搜索引擎框架，它为构建自定义的网络爬虫和搜索引擎提供了强大的工具集。Nutch 的设计目标是处理大量网页数据，进行高效的抓取、索引和搜索操作。在“apache-nutch-1.4-src....

    nutch网页爬取总结

    - **配置 Nutch 创建索引**：下载 Nutch 的源代码并解压，然后通过 Maven 进行编译。配置 Nutch 的 `conf/nutch-site.xml` 文件以设置存储路径、抓取策略等参数。 - **安装 Tomcat**：Tomcat 用于运行 Nutch 的 UI...

    nutch使用&Nutch;入门教程

    在使用Nutch之前，你需要配置Nutch的运行环境，包括安装Java、设置Hadoop（如果需要分布式爬取）、下载和编译Nutch源代码。还需要配置Nutch的`conf/nutch-site.xml`文件，指定抓取策略、存储路径、爬虫范围等参数。 ...

Magicbox
Global site tag (gtag.js) - Google Analytics