数学之美 系列九 -- 如何确定网页和查询的相关性
2006年6月27日 上午 09:53:00
发表者:吴军,Google 研究员
[我们已经谈过了
如何自动下载网页、
如何建立索引、
如何衡量网页的质量(Page Rank)。我们今天谈谈如何确定一个网页和某个查询的相关性。了解了这四个方面,一个有一定编程基础的读者应该可以写一个简单的搜索引擎了,比如为您所在的学校或院系建立一个小的搜索引擎。]
我们还是看上回的例子,查找关于“原子能的应用”的网页。我们第一步是在索引中找到包含这三个词的网页(详见关于
布尔运算的系列)。现在任何一个搜索引擎都包含几十万甚至是上百万个多少有点关系的网页。那么哪个应该排在前面呢?显然我们应该根据网页和查询“原子能的应用”的相关性对这些网页进行排序。因此,这里的关键问题是如何度量网页和查询的相关性。
我们知道,短语“原子能的应用”可以分成三个关键词:原子能、的、应用。根据我们的直觉,我们知道,包含这三个词多的网页应该比包含它们少的网页相关。当然,这个办法有一个明显的漏洞,就是长的网页比短的网页占便宜,因为长的网页总的来讲包含的关键词要多些。因此我们需要根据网页的长度,对关键词的次数进行归一化,也就是用关键词的次数除以网页的总字数。我们把这个商称为“关键词的频率”,或者“单文本词汇频率”(Term Frequency),比如,在某个一共有一千词的网页中“原子能”、“的”和“应用”分别出现了 2 次、35 次 和 5 次,那么它们的词频就分别是 0.002、0.035 和 0.005。 我们将这三个数相加,其和 0.042 就是相应网页和查询“原子能的应用”
相关性的一个简单的度量。概括地讲,如果一个查询包含关键词 w1,w2,...,wN, 它们在一篇特定网页中的词频分别是: TF1, TF2, ..., TFN。 (TF: term frequency)。 那么,这个查询和该网页的相关性就是:
TF1 + TF2 + ... + TFN。
读者可能已经发现了又一个漏洞。在上面的例子中,词“的”站了总词频的 80% 以上,而它对确定网页的主题几乎没有用。我们称这种词叫“应删除词”(Stopwords),也就是说在度量相关性是不应考虑它们的频率。在汉语中,应删除词还有“是”、“和”、“中”、“地”、“得”等等几十个。忽略这些应删除词后,上述网页的相似度就变成了0.007,其中“原子能”贡献了0.002,“应用”贡献了 0.005。
细心的读者可能还会发现另一个小的漏洞。在汉语中,“应用”是个很通用的词,而“原子能”是个很专业的词,后者在相关性排名中比前者重要。因此我们需要给汉语中的每一个词给一个权重,这个权重的设定必须满足下面两个条件:
1. 一个词预测主题能力越强,权重就越大,反之,权重就越小。我们在网页中看到“原子能”这个词,或多或少地能了解网页的主题。我们看到“应用”一次,对主题基本上还是一无所知。因此,“原子能“的权重就应该比应用大。
2. 应删除词的权重应该是零。
我们很容易发现,如果一个关键词只在很少的网页中出现,我们通过它就容易锁定搜索目标,它的权重也就应该大。反之如果一个词在大量网页中出现,我们看到它仍然不很清楚要找什么内容,因此它应该小。概括地讲,假定一个关键词 w 在 Dw 个网页中出现过,那么 Dw 越大,w 的权重越小,反之亦然。在信息检索中,使用最多的权重是“逆文本频率指数” (Inverse document frequency 缩写为IDF),它的公式为log(D/Dw)其中D是全部网页数。比如,我们假定中文网页数是D=10亿,应删除词“的”在所有的网页中都出现,即Dw=10亿,那么它的IDF=log(10亿/10亿)= log (1) = 0。假如专用词“原子能”在两百万个网页中出现,即Dw=200万,则它的权重IDF=log(500) =6.2。又假定通用词“应用”,出现在五亿个网页中,它的权重IDF = log(2)
则只有 0.7。也就只说,在网页中找到一个“原子能”的比配相当于找到九个“应用”的匹配。利用 IDF,上述相关性计算个公式就由词频的简单求和变成了加权求和,即 TF1*IDF1 + TF2*IDF2 +... + TFN*IDFN。在上面的例子中,该网页和“原子能的应用”的相关性为 0.0161,其中“原子能”贡献了 0.0126,而“应用”只贡献了0.0035。这个比例和我们的直觉比较一致了。
TF/IDF(term frequency/inverse document frequency) 的概念被公认为信息检索中最重要的发明。在搜索、文献分类和其他相关领域有广泛的应用。讲起 TF/IDF 的历史蛮有意思。IDF 的概念最早是剑桥大学的斯巴克-琼斯[注:她有两个姓] (Karen Sparck Jones)提出来的。斯巴克-琼斯 1972 年在一篇题为关键词特殊性的统计解释和她在文献检索中的应用的论文中提出IDF。遗憾的是,她既没有从理论上解释为什么权重IDF 应该是对数函数 log(D/Dw)(而不是其它的函数,比如平方根),也没有在这个题目上作进一步深入研究,以至于在以后的很多文献中人们提到 TF/IDF 时没有引用她的论文,绝大多数人甚至不知道斯巴克-琼斯的贡献。同年罗宾逊写了个两页纸的解释,解释得很不好。倒是后来康乃尔大学的萨尔顿(Salton)多次写文章、写书讨论 TF/IDF 在信息检索中的用途,加上萨尔顿本人的大名(信息检索的世界大奖就是以萨尔顿的名字命名的)。很多人都引用萨尔顿的书,甚至以为这个信息检索中最重要的概念是他提出的。当然,世界并没有忘记斯巴克-琼斯的贡献,2004年,在纪念文献学学报创刊 60 周年之际,该学报重印了斯巴克-琼斯的大作。罗宾逊在同期期刊上写了篇文章,用香农的信息论解释 IDF,这回的解释是对的,但文章写的并不好、非常冗长(足足十八页),把一个简单问题搞复杂了。其实,信息论的学者们已经发现并指出,其实 IDF 的概念就是一个特定条件下、关键词的概率分布的交叉熵(Kullback-Leibler Divergence)(详见
上一系列)。这样,信息检索相关性的度量,又回到了信息论。
现在的搜索引擎对 TF/IDF 进行了不少细微的优化,使得相关性的度量更加准确了。当然,对有兴趣写一个搜索引擎的爱好者来讲,使用 TF/IDF 就足够了。 如果我们结合上网页排名(Page Rank),那么给定一个查询,有关网页综合排名大致由相关性和网页排名乘积决定。
分享到:
相关推荐
2. 基于链接的分类:这种方法关注网页之间的链接关系,认为链接可以反映网页的相关性和重要性。PageRank算法就是基于链接的分类的一个经典例子,它通过计算网页的入链数量和质量来评估其重要性。 3. 混合分类:结合...
在搜索引擎领域,提高搜索结果的相关性和用户体验是核心目标之一。为了实现这一目标,搜索引擎通常会采用多种相关性策略来评估网页与用户查询之间的匹配程度。这些策略可能涉及关键词匹配、文档质量评估、用户行为...
根据文档介绍,Google制定了一套详细的网页质量评估指南,旨在帮助其内部的质量评估员更好地理解和评估搜索结果的相关性和质量。这些指南不仅对Google的内部工作流程有着重要的指导意义,同时也为外部SEO专业人士...
网页链接分析算法是网络搜索引擎和数据挖掘领域的重要研究方向,旨在通过分析网页之间的链接结构来评估网页的重要性或相关性。这种算法的核心在于理解和利用网页之间的链接关系,从而为用户提供更精准的信息检索服务...
(3) 确定搜索命令和检索方式:掌握搜索引擎的逻辑布尔运算符,如AND、OR、NOT等,理解不同系统之间的差异,并在实践中不断调整优化检索方法。 4. 主要搜索引擎系统简介 - AltaVista:早期的全文搜索引擎,提供多...
智能冲浪者算法的主要贡献在于将内容信息和链接信息相结合,通过概率模型指导冲浪者的选择行为,从而更准确地评估网页对于特定查询的相关性和重要性。具体而言: - **智能冲浪者**:该算法中的“智能”体现在其使用...
这类工具通常用于SEO(搜索引擎优化)或数据分析,帮助用户了解特定关键字在互联网上的相关性和流行度。 【描述】中的信息与标题相同,进一步确认了这是一个使用PHP技术构建的网页应用,它可能包含一个前端界面,...
- **内部与外部链接分析**:通过分析网页间的链接关系,确定网页的相关性和重要性。 - **链接权重计算**:依据链接的数量和质量,为网页赋予权重。 4. **网页重要程度计算** - **PageRank算法**:基于“被引用...
4. **结果排序**:根据相关性和其他排名因素对搜索结果进行排序。 5. **实时反馈**:利用JavaScript和Ajax技术提供即时的搜索建议和无刷新更新的搜索结果。 当然,这只是一个简化的概述。实际的谷歌搜索引擎涉及更...
"关键词"查询可能涉及研究关键词的相关性、搜索量和竞争度,以确定最有效的优化策略。 在“资料-TDK的方便查询.pdf”这个文档中,可能会详细解释如何进行有效的TDK优化,包括: 1. 关键词研究:使用工具如Google ...
主题敏感PageRank是一种改进的网页排名算法,它将传统PageRank算法中网页的重要性排名细化到特定主题的维度上,从而能够根据用户...这种方法对于提升搜索引擎在处理语义相关性和用户个性化需求方面具有重要的应用价值。
4. **查询相关性**:除了计算全局的PageRank外,还可以针对特定的查询来调整PageRank的计算方式,以提高搜索结果的相关性。 5. **个性化偏置**:在迭代过程中应用特定的偏置,可以使得某些类别的网页获得更高的重要...
而查询系统通过合理的组合和优先级策略,提高了查询效率,确保了搜索结果的相关性和准确性。在设计全文检索系统时,还需要考虑如何平衡系统的性能和存储资源,以及如何处理索引的更新和维护等问题。 综上所述,全文...
- **HITS算法**:HITS(Hyperlink-Induced Topic Search)算法通过计算网页的权威值和中心值来确定网页的相关性和质量。 - **Hub and Authority模型**:这是一种评估网页质量和相关性的模型,其中“枢纽”是指拥有...