翻译自 Apache Solr Reference Guide
solr提供了一个十分灵活,可拓展的搜索特性,当我们发送一个请求的时候,一个search query 被一个叫做requst handler处理,solr提供许多类型的request handler,有的是为了处理搜索请求的,还有一些设计成帮助管理请求的。
能够处理搜索请求的request handler叫做 query parser,不同的query parser支持不同的特性,solr包含一个标准的(LUCENE)和 拓展的DISMAX, 标准的能获得更好的准确性,DISMAX容错能力比较强。
一般而言,一个query parser的输入包含如下几个部分:
搜索字符串
一些参数微调field,或者剔除一些无关内容
一些参数控制responce的展现形式
这里有一个facet的概念,facet可以看成是一个目录,相当于组织数据的一个维度,在每一个目录中,facet constrain表示solr汇报相关的搜索结果,faceting方便用户查看比如在一些电影网站查看搜索结果。
solr的一个组件叫做 response writer组织返回的展现,比如XML response writer 和 JSON response writer.
相关性:
相关性是衡量一个结果对于这个用户的满足程度。
相关性的好坏取决于不同的环境,比如一个搜索服务,里面有天气的数据,一个大学的研究者试图研究气象的变化,一个农民倾向于知道什么时候是冬天的第一场雪,一个大学的学生更加倾向于什么时候放假,不同动机的用户自然相关性也会差别非常大。
如何全面的评判一个搜索的相关性,在不同的应用会有巨大差距,比如搜一张票据,和找一个蛋糕的配方会有巨大差距,所以在配置solr的时候,你得权衡好及时性和易用性。
关于相关性有两个概念:
Precision 准确率:返回的结果中相关结果的百分比
Recall 召回率:返回的相关结果占有所有相关结果的百分比
用好这两个概念,有可能量化相关性的结果,一个牛逼的系统能够有100%的召回率和100%的准确率,返回给系统的结果全是相关的,没有其他乱七八糟的,但是在真实的系统中,我们是在一定数量的结果中讨论这件事,比如说10个结果。
以下几点可以考虑在配置相关性中:
1. 使用用户的需求,比如要求易用,极快的响应速度,对信息准确性要求高
2. 考虑category的使用
3. 文档内在的相关性,一个官方的或者FAQ的结果应该排在上面。
4. 考虑文档的年龄,是否需要越新越靠前
相关推荐
除了基础功能,Solr还有许多高级特性,如实时增删改查( Near Realtime Searching, NRT)、复杂查询表达式、自定义插件(如过滤器、查询解析器等)、地理位置搜索(Geospatial Search)等。DEMO可能涵盖了其中的一...
最后,“Searching”章节提供了一个关于Solr搜索过程的概览。它将介绍搜索请求处理的主要组件,比如请求处理器(request handlers)、查询解析器(query parsers)和响应写入器(response writer)。这部分内容对于...
4. **查询语法和解析**:详细说明了 Solr 支持的查询语法及其解析规则。 5. **JSON 请求 API**:介绍了如何使用 JSON 格式发送复杂的查询请求。 6. **JSON 面向 API**:提供了使用 JSON 格式进行面向 API 的查询...
最后,“Searching”部分概述了Solr中的搜索过程,描述了搜索中使用的主要组件,包括请求处理器(request handlers)、查询解析器(query parsers)和响应编写器(response writers)。这部分内容对于构建功能强大的...
“Upgrading a Solr Cluster”和“Solr Upgrade Notes”则分别介绍了Solr集群的升级过程及升级时的注意事项。 通过“Using the Solr Administration User Interface”部分,用户可以学习如何利用Solr的Web管理界面...
7. **Plugins**:Solr 和 Lucene 支持大量插件,允许自定义行为,如响应写入器、查询解析器、分析器等,这极大地增强了系统的灵活性和可扩展性。 总的来说,Apache Solr 和 Lucene 提供了一套完整的解决方案,能够...
Clickthroughfilter-xxxjar将过滤器作为Solr / Lucene的查询解析器插件运行。 过滤器(来自单独的clicks核心)对查询返回的项目的点击数据进行采样,并将其用于 1。 改组 根据点击流量按比例增加项目(主要项目)...
Lucene的核心架构主要分为三个部分:索引(Indexing)、查询(Query)和搜索(Searching)。首先,索引过程将原始文档转换为倒排索引(Inverted Index),这是一个经过优化的数据结构,便于快速查找包含特定词项的...
4. **分布式搜索(Distributed Searching)**: 通过 Solr 或 Elasticsearch 等项目,Lucene 可以扩展到分布式环境中,支持大规模的数据和高并发访问。 5. **更新与删除(Updating & Deleting)**: Lucene 支持对已...
Nutch的核心架构分为四个主要部分:Crawling(爬虫)、Parsing(解析)、Indexing(索引)和Searching(搜索)。整个过程大致如下: - **Crawling**:Nutch使用URL种子开始,通过HTTP协议抓取网页内容。 - **...
Lucene 的主要组成部分包括索引(Indexing)、查询解析(Query Parsing)和搜索(Searching)等。 - **索引**:Lucene 的索引过程是将非结构化的文本数据转换为倒排索引(Inverted Index)的过程。倒排索引是一种...
它通过跟踪网页中的链接来发现新的页面,这一过程由`src/java/org/apache/nutch/crawl`目录下的类负责,如`Fetcher`和`Injector`。 2. **解析(Parsing)**:抓取到的网页需要被解析以提取有用的信息。Nutch使用...
在这一过程中,每个单词都会映射到包含该单词的文档列表,从而加速查找过程。用户可以通过添加、删除或更新文档来动态维护索引。 3. **查询解析(Query Parsing)**:Lucene 提供了高级的查询解析器,可以处理多种...
5. **搜索(Searching)**:搜索过程是通过比较查询对象与索引中的术语来找出匹配的文档。Lucene提供了高效的评分机制,用于确定文档的相关性。 **二、Lucene的使用流程** 1. **创建索引**:首先,需要创建一个...
9. **分布式搜索(Distributed Searching)**:随着数据量的增长,Lucene可以通过Solr或Elasticsearch等工具实现分布式搜索,提高搜索性能和扩展性。 10. **实时性(Real-time)**:Lucene的实时性体现在索引的快速...
- 搜索(Searching):查询解析、评分和排序,以及结果的获取。 3. **关键类解析** - `IndexWriter`:负责创建、更新和删除索引。 - `Directory`:存储索引的接口,如FSDirectory用于文件系统,RAMDirectory用于...
6. **查询解析(Query Parsing)**:Lucene提供多种查询解析器,如标准查询解析器(Standard Query Parser)和简单查询解析器(Simple Query Parser),它们将用户输入的查询字符串转化为内部表示。 7. **评分与...
4. **搜索(Searching)**:查询对象与索引进行匹配,找到最相关的文档。Lucene 提供了多种评分算法,如TF-IDF,用于确定文档的相关性。 5. **排序和结果集**:搜索结果按照相关性排序返回给用户。Lucene 支持...