Lucene Scoring 评分机制[转]

Lucene Scoring 评分机制
发表于：2009年8月26日 | 分类：Search | 标签： lucene, score | views(3,075)
版权信息: 可以任意转载, 转载时请务必以超链接形式标明文章原文出处, 即下面的声明.


原文出处：http://blog.chenlb.com/2009/08/lucene-scoring-architecture.html

Lucene 评分体系/机制（lucene scoring）是 Lucene 出名的一核心部分。它对用户来说隐藏了很多复杂的细节，致使用户可以简单地使用 lucene。但个人觉得：如果要根据自己的应用调节评分（或结构排序），十分有必须深入了解 lucene 的评分机制。

Lucene scoring 组合使用了 信息检索的向量空间模型 和 布尔模型 。

首先来看下 lucene 的评分公式（在 Similarity 类里的说明）

score(q,d)   =   coord(q,d) ·  queryNorm(q) · ∑ ( tf(t in d) ·  idf(t)2 ·  t.getBoost() ·  norm(t,d) )
t in q 


其中：

tf(t in d) 关联到项频率，项频率是指 项 t 在 文档 d 中出现的次数 frequency。默认的实现是：
tf(t in d) = frequency½


idf(t) 关联到反转文档频率，文档频率指出现 项 t 的文档数 docFreq。docFreq 越少 idf 就越高（物以稀为贵），但在同一个查询下些值是相同的。默认实现：
idf(t) = 1 + log ( numDocs
–––––––––
docFreq+1
)


coord(q,d) 评分因子，是基于文档中出现查询项的个数。越多的查询项在一个文档中，说明些文档的匹配程序越高。默认是出现查询项的百分比。
queryNorm(q)查询的标准查询，使不同查询之间可以比较。此因子不影响文档的排序，因为所有有文档都会使用此因子。默认值：
queryNorm(q)   =   queryNorm(sumOfSquaredWeights) = 1
––––––––––––––
sumOfSquaredWeights½





每个查询项权重的平分方和(sumOfSquaredWeights)由 Weight 类完成。例如 BooleanQuery 地计算：

sumOfSquaredWeights =   q.getBoost() 2 · ∑ ( idf(t) ·  t.getBoost() ) 2
t in q


t.getBoost()查询时期的 项 t 加权（如：java^1.2），或者由程序使用 setBoost()。
norm(t,d)压缩几个索引期间的加权和长度因子：
Document boost - 文档加权，在索引之前使用 doc.setBoost()
Field boost - 字段加权，也在索引之前调用 field.setBoost()
lengthNorm(field) - 由字段内的 Token 的个数来计算此值，字段越短，评分越高，在做索引的时候由 Similarity.lengthNorm 计算。
以上所有因子相乘得出 norm 值，如果文档中有相同的字段，它们的加权也会相乘：

norm(t,d)   =   doc.getBoost() ·  lengthNorm(field) · ∏ f.getBoost()
field f in d named as t 

索引的时候，把 norm 值压缩(encode)成一个 byte 保存在索引中。搜索的时候再把索引中 norm 值解压(decode)成一个 float 值，这个 encode/decode 由 Similarity 提供。官方说：这个过程由于精度问题，以至不是可逆的，如：decode(encode(0.89)) = 0.75。

计算这个评分涉及到几个核心的类/接口：Similarity、Query、Weight、Scorer、Searcher，由它们或其子类来完成评分的计算。先来看下它们的类图：


lucene search score uml, 点击放大

搜索中，评分的过程：

创建一个查询对象 Query，传给 Searcher，具体来讲可能是 IndexSearcher。
Searcher 根据 Query 创建一个对应的 Weight（是 Query 的内部特征表示），接着 Weight 会创建对应的 Scorer。
Searcher 会创建 Hitcollector 并传到 Scorer，scorer 找到匹配的文档并计算评分，最后写到 Hitcollector 中。
Query、Weight、Scorer 三都关系十分密切，尤其是 Query 和 Weight。Weight 是计算查询权重和创建 Scorer 的。Query 为了可以重用把内部的特征抽象为 Weight，由子类去完成一些相关评分的计算。

任何 Searcher 依赖的状态都存储在 Weight 实现中，而不是在Query 中，这样可以重用 Query。

Weight 的生命周期（被使用）：

Weight 由顶层的 Query 创建。Query.createWeight(Searcher)，创建的 Weight 给 Searcher 去使用。
当用 Similarity.queryNorm(float) 来计算查询标准化因子（query normalization）的时候，Weight.sumOfSquaredWeights() 会被调用。
查询标准化因子（query normalization）会传给 Weight.normalize(float)计算，这个时候权重(weighting)计算完成。
创建一个 Scorer。
自定义评分的计算

可以实现一个 Similarity 换掉默认的。它仅限于 Scorer、Weight 计算好的因子值再加工。要想对评分有更强的控制力，可以实现一套 Query、Weight、Scorer。

Query 是用户信息需要的抽象
Weight 是 Query 的内部特性表示的抽象
Scorer 抽象公用的计算评分功能，提供计算评分和解说（explanation）评分的能力。
Query 子类实现的方法：

createWeight(Searcher searcher) -- Weight 是 Query 内部代表，所以每个 Query 都必实现一个 Weight，此方法就是生成一个Query对应的Weight对象。
rewrite(IndexReader reader) -- 重写查询为原始的查询，原始的查询有：TermQuery，BooleanQuery……
Weight 接口方法：

Weight#getQuery() -- 指出代表 Weight 的 Query。
Weight#getValue() -- Query 的权重，例如：TermQuery.TermWeight 的 value = idf^2 * boost * queryNorm
Weight#sumOfSquaredWeights() -- 各查询项的平方和，如，TermWeight 的 = (idf * boost)^2
Weight#normalize(float) -- 决定查询标准化的因子，查询标准化值可以在不同 Query 比较 score
Weight#scorer(IndexReader) -- 创建 Query 对应的评分器 Scorer，它的责任是给 Query 匹配到的文档评分。
Weight#explain(IndexReader, int) -- 给指定的文档详细解说评分值是怎么得来了。
Scorer 子类实现的方法：

Scorer#next() -- 预取匹配到的下一文档，有才返回 true。
Scorer#doc() -- 返回当前匹配到的文档id，它必须 next() 调用后才有效。
Scorer#score() -- 返回当前文档的评分，此值可以由应用程序以任何适当的方式给出，如 TermScorer 返回 tf * Weight.getValue() * fieldNorm
Scorer#skipTo(int) -- 跳到大于或等于 int 的匹配文档上。很多情况下，在结果集中 skipTo 比较循环更加快速高效。
Scorer#explain(int) -- 给出评分产生的细节。
要实现一套 Query、Weight、Scorer，最好还是看下 TermQuery、TermWeight、TermScorer。

当 Lucene 中没有想要的查询时（包括不同的评分细节），自定义Query 可能帮得上忙。

重要参考资料：
[url]
http://lucene.apache.org/java/2_4_1/scoring.html[/url]
http://lucene.apache.org/java/2_4_1/api/org/apache/lucene/search/package-summary.html#scoring
http://lucene.apache.org/java/2_4_1/api/org/apache/lucene/search/Weight.html

评论

1 楼 chenwq 2012-02-02  

http://www.oschina.net/question/5189_7707