Lucene文档得分计算原理:
首先要理解下文档与词条的向量空间
我们先来说下文档(document)和其中包含的词条(term)之间的关系,对于每篇文档它是由词条组成的因此可以表示成一个向量D(term1,term2,......,termn)。我们假设有两篇文档同时出现了term1和term2,那么我们用一个二维坐标系来表示文档和词条之间的关系。如下:
在上图中文档1出现term1共3次term21次,文档2出现term1一次出现term2三次,所以可以用D1(3,1)和D2(1,3)对这两个文档来表示,按照上面的分析一个包含了N个term的索引库可以看成是N维向量空间,每一个文档均为其中的一个向量,每一个词条都是向量空间中的一个轴。这样我们就是知道如果两个文档之间的夹角越小他们之间的相似性越高,现在我们如果要对term2进行检索的话,首先把它表示为Q(0,1),我们计算得出它与文档2的夹角小于文档1的夹角,因此这次检索,文档2的分值要高。
影响Lucene的文档得分因素:
(1)tf(term Frequency)词条频率,它表示检索的词条在某个文档中总出现的次数。在lucene中他的值是真实频率的平方根值。
(2)idf(Inversed Document Frequency)反转文档频率
具体计算式:
(float)(Math.log(numDocs/(double)(docFreq+1))+1.0)
其中docFreq当前检索词条的文档总数,numDocs索引中的文档的总数
(3)boost
boost是建索引的时候对每一个Filed设置的一种激励因子,默认值为1.0
(4)lengthNorm
他和boost一样也是在建立索引的时候的长度因子。
一个Filed内的词条越多他的长度因子越小,该词条所在的文档的得分也就越低。
最后一个因素对应到solr是schem.xml中filed的 omitNorms属性,如果我们想要这个长度因素起作用需要设置 omitNorms="false"
我们设置
<field name="desc" type="text" indexed="true" stored="true" omitNorms="true"/>
返回结果如下:
<result name="response" numFound="5" start="0" maxScore="2.1541507">
<doc>
<float name="score">2.1541507</float>
<str name="desc">高级工程师</str>
<str name="id">001</str>
</doc>
<doc>
<float name="score">2.1541507</float>
<str name="desc">工程师</str>
<str name="id">002</str>
</doc>
<doc>
<float name="score">2.1541507</float>
<str name="copname">百度</str>
<str name="desc">初级工程师</str>
<str name="id">003</str>
<str name="jobname">销售经理</str>
</doc>
<doc>
<float name="score">2.1541507</float>
<str name="desc">十分牛逼的工程师</str>
<str name="id">004</str>
</doc>
<doc>
<float name="score">2.1541507</float>
<str name="desc">好工程师</str>
<str name="id">005</str>
</doc>
</result>
我们设置如下:
<field name="desc" type="text" indexed="true" stored="true" omitNorms="false"/>
返回结果如下:
<result name="response" numFound="5" start="0" maxScore="1.3463442">
<doc>
<float name="score">1.3463442</float>
<str name="desc">工程师</str>
<str name="id">002</str>
</doc>
<doc>
<float name="score">1.0770754</float>
<str name="copname">百度人才</str>
<str name="desc">高级工程师</str>
<str name="id">001</str>
<str name="jobname">java工程师</str>
</doc>
<doc>
<float name="score">1.0770754</float>
<str name="desc">初级工程师</str>
<str name="id">003</str>
</doc>
<doc>
<float name="score">1.0770754</float>
<str name="desc">好工程师</str>
<str name="id">005</str>
</doc>
<doc>
<float name="score">0.9424409</float>
<str name="desc">十分牛逼的工程师</str>
<str name="id">004</str>
</doc>
</result>
- 大小: 10.4 KB
分享到:
相关推荐
3. 排序和评分:Lucene使用TF-IDF(词频-逆文档频率)和其他因素(如文档长度、查询词位置等)计算每个文档的相关性分数,用于排序。 4. 结果返回:根据评分排序,Lucene返回最相关的文档列表给用户。 三、其他...
3. 评分系统(Scoring):Lucene根据查询词在文档中的频率、位置等因素计算相关性分数。 4. 跨文件搜索(Multi-File Search):通过DirectoryReader和IndexSearcher可以处理多索引文件。 5. 高级查询构造...
例如,你可能希望在评分中加入地理位置因素,使得距离用户更近的文档得到更高的分数。 在"solr自定义评分组件demo.zip"中,`pom.xml`是项目依赖管理文件,用于定义构建项目的Maven依赖。这可能包括Solr的客户端库、...
Solr查询索引是Apache Solr的核心功能之一,它是一个基于Lucene的开源搜索服务器,提供了高效的全文检索、文档分类和聚类、拼写检查、高亮显示搜索结果等多种功能。在本文中,我们将深入探讨如何使用Solr进行索引...
5. **结果排序(Result Scoring)**:Lucene 根据查询条款在文档中的出现频率、位置以及文档的整体质量等因素,为每个匹配的文档计算一个分数,用于决定搜索结果的排序。 6. **扩展性与可配置性**:Lucene 具有很高...
- **评分**:根据查询项在文档中的出现频率、位置等因素,计算每个文档的相关性分数。 - **排序**:根据评分对匹配的文档进行排序,返回排名靠前的文档。 4. **索引结构** Lucene 的索引基于倒排索引的概念,即...
- **搜索匹配(Scoring)**:Lucene根据文档中匹配术语的数量、位置、频率等因素计算相关度分数,用于排序搜索结果。 - **Top-K检索**:Lucene返回评分最高的K个文档作为搜索结果。 4. 工具应用 - **Luke**:这...
8. **评分(Scoring)**:Lucene会根据多个因素(如TF-IDF,词项频率等)为每个匹配结果打分,帮助确定最相关的搜索结果。 9. **排序与优化**:Lucene提供了多种排序选项,包括按分数、自定义字段等。同时,通过...
Solr 使用 TF-IDF 算法和其他因素来计算分数。 3. **Faceting**:Solr 提供分类功能,可快速统计某个字段的值分布,帮助用户进行导航和过滤。 4. **Highlighting**:高亮显示搜索结果中的匹配部分,提高用户体验。 ...
Java具有丰富的库和框架支持NLP(如Stanford NLP、OpenNLP)和IR(如Lucene、Solr),这使得Java成为构建此类系统的理想选择。 总之,sentimentIR项目结合了NLP和IR的知识,利用情感分析提升信息检索的性能。通过这...