`
sharp-fcc
  • 浏览: 110394 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

solr searching 过程解析

阅读更多

翻译自 Apache Solr Reference Guide 

 

solr提供了一个十分灵活,可拓展的搜索特性,当我们发送一个请求的时候,一个search query 被一个叫做requst handler处理,solr提供许多类型的request handler,有的是为了处理搜索请求的,还有一些设计成帮助管理请求的。

 

能够处理搜索请求的request handler叫做 query parser,不同的query parser支持不同的特性,solr包含一个标准的(LUCENE)和 拓展的DISMAX, 标准的能获得更好的准确性,DISMAX容错能力比较强。

 

一般而言,一个query parser的输入包含如下几个部分:

搜索字符串

一些参数微调field,或者剔除一些无关内容

一些参数控制responce的展现形式

 

这里有一个facet的概念,facet可以看成是一个目录,相当于组织数据的一个维度,在每一个目录中,facet constrain表示solr汇报相关的搜索结果,faceting方便用户查看比如在一些电影网站查看搜索结果。

 

solr的一个组件叫做 response writer组织返回的展现,比如XML response writer  和  JSON response writer.

 

相关性:

相关性是衡量一个结果对于这个用户的满足程度。

相关性的好坏取决于不同的环境,比如一个搜索服务,里面有天气的数据,一个大学的研究者试图研究气象的变化,一个农民倾向于知道什么时候是冬天的第一场雪,一个大学的学生更加倾向于什么时候放假,不同动机的用户自然相关性也会差别非常大。

如何全面的评判一个搜索的相关性,在不同的应用会有巨大差距,比如搜一张票据,和找一个蛋糕的配方会有巨大差距,所以在配置solr的时候,你得权衡好及时性和易用性。

关于相关性有两个概念:

 

Precision 准确率:返回的结果中相关结果的百分比

 Recall 召回率:返回的相关结果占有所有相关结果的百分比

用好这两个概念,有可能量化相关性的结果,一个牛逼的系统能够有100%的召回率和100%的准确率,返回给系统的结果全是相关的,没有其他乱七八糟的,但是在真实的系统中,我们是在一定数量的结果中讨论这件事,比如说10个结果。

 

以下几点可以考虑在配置相关性中:

1. 使用用户的需求,比如要求易用,极快的响应速度,对信息准确性要求高

2. 考虑category的使用

3. 文档内在的相关性,一个官方的或者FAQ的结果应该排在上面。

4.  考虑文档的年龄,是否需要越新越靠前

 

 

 

分享到:
评论

相关推荐

    solr-config_solrj-demo.rar_DEMO_solr_solr的j

    除了基础功能,Solr还有许多高级特性,如实时增删改查( Near Realtime Searching, NRT)、复杂查询表达式、自定义插件(如过滤器、查询解析器等)、地理位置搜索(Geospatial Search)等。DEMO可能涵盖了其中的一...

    apache solr Reference guide 4.5.pdf

    最后,“Searching”章节提供了一个关于Solr搜索过程的概览。它将介绍搜索请求处理的主要组件,比如请求处理器(request handlers)、查询解析器(query parsers)和响应写入器(response writer)。这部分内容对于...

    apache-solr-ref-guide-7.4(官方英文-文字版本)

    4. **查询语法和解析**:详细说明了 Solr 支持的查询语法及其解析规则。 5. **JSON 请求 API**:介绍了如何使用 JSON 格式发送复杂的查询请求。 6. **JSON 面向 API**:提供了使用 JSON 格式进行面向 API 的查询...

    apache-solr-ref-guide-4.6.pdf

    最后,“Searching”部分概述了Solr中的搜索过程,描述了搜索中使用的主要组件,包括请求处理器(request handlers)、查询解析器(query parsers)和响应编写器(response writers)。这部分内容对于构建功能强大的...

    apache-solr-ref-guide-7.1.pdf

    “Upgrading a Solr Cluster”和“Solr Upgrade Notes”则分别介绍了Solr集群的升级过程及升级时的注意事项。 通过“Using the Solr Administration User Interface”部分,用户可以学习如何利用Solr的Web管理界面...

    Apache Solr lucene 搜索模块设计实现

    7. **Plugins**:Solr 和 Lucene 支持大量插件,允许自定义行为,如响应写入器、查询解析器、分析器等,这极大地增强了系统的灵活性和可扩展性。 总的来说,Apache Solr 和 Lucene 提供了一套完整的解决方案,能够...

    Solr-ctf-query-parser:使用Clickstream数据重新排名和扩展Solr查询返回

    Clickthroughfilter-xxxjar将过滤器作为Solr / Lucene的查询解析器插件运行。 过滤器(来自单独的clicks核心)对查询返回的项目的点击数据进行采样,并将其用于 1。 改组 根据点击流量按比例增加项目(主要项目)...

    lucene

    Lucene的核心架构主要分为三个部分:索引(Indexing)、查询(Query)和搜索(Searching)。首先,索引过程将原始文档转换为倒排索引(Inverted Index),这是一个经过优化的数据结构,便于快速查找包含特定词项的...

    非常详细的Lucene文档

    4. **分布式搜索(Distributed Searching)**: 通过 Solr 或 Elasticsearch 等项目,Lucene 可以扩展到分布式环境中,支持大规模的数据和高并发访问。 5. **更新与删除(Updating & Deleting)**: Lucene 支持对已...

    分布式搜索引擎nutch开发

    Nutch的核心架构分为四个主要部分:Crawling(爬虫)、Parsing(解析)、Indexing(索引)和Searching(搜索)。整个过程大致如下: - **Crawling**:Nutch使用URL种子开始,通过HTTP协议抓取网页内容。 - **...

    lucene源码

    Lucene 的主要组成部分包括索引(Indexing)、查询解析(Query Parsing)和搜索(Searching)等。 - **索引**:Lucene 的索引过程是将非结构化的文本数据转换为倒排索引(Inverted Index)的过程。倒排索引是一种...

    apache-nutch-1.7-src.tar.gz

    它通过跟踪网页中的链接来发现新的页面,这一过程由`src/java/org/apache/nutch/crawl`目录下的类负责,如`Fetcher`和`Injector`。 2. **解析(Parsing)**:抓取到的网页需要被解析以提取有用的信息。Nutch使用...

    lucene搜索引擎

    在这一过程中,每个单词都会映射到包含该单词的文档列表,从而加速查找过程。用户可以通过添加、删除或更新文档来动态维护索引。 3. **查询解析(Query Parsing)**:Lucene 提供了高级的查询解析器,可以处理多种...

    Lucene:基于Java的全文检索引擎简介.rar

    5. **搜索(Searching)**:搜索过程是通过比较查询对象与索引中的术语来找出匹配的文档。Lucene提供了高效的评分机制,用于确定文档的相关性。 **二、Lucene的使用流程** 1. **创建索引**:首先,需要创建一个...

    lucene学习资料

    9. **分布式搜索(Distributed Searching)**:随着数据量的增长,Lucene可以通过Solr或Elasticsearch等工具实现分布式搜索,提高搜索性能和扩展性。 10. **实时性(Real-time)**:Lucene的实时性体现在索引的快速...

    lucene in action 2e 源码

    - 搜索(Searching):查询解析、评分和排序,以及结果的获取。 3. **关键类解析** - `IndexWriter`:负责创建、更新和删除索引。 - `Directory`:存储索引的接口,如FSDirectory用于文件系统,RAMDirectory用于...

    基于Java的实例源码-搜索引擎 Lucene.zip

    6. **查询解析(Query Parsing)**:Lucene提供多种查询解析器,如标准查询解析器(Standard Query Parser)和简单查询解析器(Simple Query Parser),它们将用户输入的查询字符串转化为内部表示。 7. **评分与...

    Lucene 搜索引擎框架 基础实践

    4. **搜索(Searching)**:查询对象与索引进行匹配,找到最相关的文档。Lucene 提供了多种评分算法,如TF-IDF,用于确定文档的相关性。 5. **排序和结果集**:搜索结果按照相关性排序返回给用户。Lucene 支持...

Global site tag (gtag.js) - Google Analytics