`

nutch-1.2在搜索HDFS过程中高并发的处理

 
阅读更多

紧接着昨天的一篇文档写下去。nutch-1.2结合hadoop搜索，在高并发的情况下，搜索的速度如何提升。

1、其实通过看nutch-1.2中的NutchBean源码程序不难发现，它在搜索的时候，有几个实现类，RPCSearchBean、DistributedSearchBean、SolrSearchBean。在RPCSearchBean中还有LuceneSearchBean，和NutchBean.这里我是使用的NutchBean.在搜索过程中，发出一个search的请求，hadoop接受到这个请求后，会从各个的slaves节点上收集信息，然后返回给master。master返回给nutch.原理是这个样子的。这里我是把FetchedSegments 中的getParseData 方法的同步代码去掉了，可以让大量的请求过来搜索。因为我在初始化的时候只打开一次HDFS的 index.

希望这些对大家的工作过程中有所帮助！

分享到：
| nutch-1.2结合hadoop分布式搜索
评论
发表评论

您还没有登录,请您登录后再发表评论

相关推荐

    nutch-1.2.war

    nutch官方简单案例，请版本是nutch-1.2.war

    nutch-1.2.part06

    nutch Nutch是一个由Java实现的，刚刚诞生开放源代码(open-source)的web搜索引擎。 尽管Web搜索是漫游Internet的基本要求， 但是现有web搜索引擎的数目却在下降。 并且这很有可能进一步演变成为一个公司垄断了几乎...

    nutch-1.2.part02

    nutch Nutch是一个由Java实现的，刚刚诞生开放源代码(open-source)的web搜索引擎。 尽管Web搜索是漫游Internet的基本要求， 但是现有web搜索引擎的数目却在下降。 并且这很有可能进一步演变成为一个公司垄断了几乎...

    apache-nutch-1.4-bin.tar.gz

    在这个"apache-nutch-1.4-bin.tar.gz"压缩包中，包含了运行 Nutch 的所有必要组件和配置文件，适合初学者和开发者快速部署和实验。 **Nutch 的核心组成部分：** 1. **爬虫（Spider）**：Nutch 的爬虫负责在网络中...

    nucth-1.2.part01 (该资源有10个包，共144M 完整nutch包 目录如下)

    Nutch是一个由Java实现的，...-rwx------+ 1 nutch-1.2.jar -rwx------+ 1 nutch-1.2.job -rwx------+ 1 nutch-1.2.war drwx------+ 61 plugins drwx------+ 10 src -rwx------+ 1 url.txt drwx------+ 8 webapps

    nutch-1.2.part07

    nutch Nutch是一个由Java实现的，刚刚诞生开放源代码(open-source)的web搜索引擎。 尽管Web搜索是漫游Internet的基本要求， 但是现有web搜索引擎的数目却在下降。 并且这很有可能进一步演变成为一个公司垄断了几乎...

    nutch-1.2.part05

    nutch Nutch是一个由Java实现的，刚刚诞生开放源代码(open-source)的web搜索引擎。 尽管Web搜索是漫游Internet的基本要求， 但是现有web搜索引擎的数目却在下降。 并且这很有可能进一步演变成为一个公司垄断了几乎...

    nutch-1.2.part03

    nutch Nutch是一个由Java实现的，刚刚诞生开放源代码(open-source)的web搜索引擎。 尽管Web搜索是漫游Internet的基本要求， 但是现有web搜索引擎的数目却在下降。 并且这很有可能进一步演变成为一个公司垄断了几乎...

    nutch-1.2.part10

    Nutch是一个由Java实现的，刚刚诞生开放源代码(open-source)的web搜索引擎。 尽管Web搜索是漫游Internet的基本要求， 但是现有web搜索引擎的数目却在下降。 并且这很有可能进一步演变成为一个公司垄断了几乎所有的...

    nutch-1.2.part08

    Nutch是一个由Java实现的，刚刚诞生开放源代码(open-source)的web搜索引擎。 尽管Web搜索是漫游Internet的基本要求， 但是现有web搜索引擎的数目却在下降。 并且这很有可能进一步演变成为一个公司垄断了几乎所有的...

    nutch-1.2.part09

    Nutch是一个由Java实现的，刚刚诞生开放源代码(open-source)的web搜索引擎。 尽管Web搜索是漫游Internet的基本要求， 但是现有web搜索引擎的数目却在下降。 并且这很有可能进一步演变成为一个公司垄断了几乎所有的...

    nutch-1.2.part04

    Nutch 是一个开源Java 实现的搜索引擎.它提供了我们运行自己的搜索引擎所需的全部工具.包括全文搜索和Web爬虫. 尽管Web搜索是漫游Internet的基本要求, 但是现有web搜

    apache-nutch-1.5.1-bin.tar.gz

    Nutch是一款刚刚诞生的完整的开源搜索引擎系统，可以结合数据库进行索引，能快速构建所需系统。Nutch 是基于Lucene的，Lucene为 Nutch 提供了文本索引和搜索的API，所以它使用Lucene作为索引和检索的模块。Nutch的...

    apache-nutch-2.3.1-src.tar.gz

    8. **索引存储**：Nutch 可以将抓取的网页数据存储在各种后端，如 HDFS 或者本地文件系统，索引可以被 Elasticsearch 或者 Solr 等搜索引擎读取。 9. **爬虫调度**：Nutch 使用一个调度器（如 FairScheduler 或 ...

    Nutch 1.2源码阅读

    本文将以Nutch 1.2版本为核心，重点解析Crawl类及其在整体流程中的关键地位。 Nutch的工作流程主要包括以下几个阶段：注入（Injector）、生成抓取URL（Generator）、网页抓取（Fetcher）、网页解析（ParseSegment）...

    apache-nutch-1.4

    - **Solr和Elasticsearch**：Nutch可以与Apache Solr或Elasticsearch集成，提供高性能的搜索功能。 - **HBase**：Nutch也可与HBase结合，用于存储和检索大规模数据。 7. **社区支持** - **文档**：Nutch项目提供...

    nutch1.2 java project

    7. **存储与索引**：Nutch 可以将抓取的网页存储在 HDFS 上，并使用 Apache Solr 或 Elasticsearch 进行索引，以便于后续的搜索和分析。 8. **监控与调试**：在运行过程中，你可以通过日志文件来监控 Nutch 的运行...

    nutch1.2 java的project

    1. **导入项目**：在Eclipse中选择“File” > “Import” > “Existing Projects into Workspace”，然后浏览到下载的`nutch1.2+Project`目录，导入项目。 2. **添加库**：确保你的Eclipse环境中已经安装了Apache ...

    Windows下cygwin+MyEclipse 8.5+Nutch1.2+Tomcat 6.0

    - 将`apache-nutch-1.2-src.zip`解压后得到的`/src/java`目录下的所有代码复制到新项目的`src`目录中。 - 复制`nutch-1.2`目录下的`lib`、`plugins`和`conf`三个文件夹至项目根目录下。 - 在项目属性中将`conf`...

Magicbox
Global site tag (gtag.js) - Google Analytics