深入搜索引擎--机器学习方法

机器学习方法在搜索引擎、计算广告中简直是无处不在。

spider模块，我们需要分析一个URL需要多长时间抓取一次？
   URL的域名的重要性；URL的目录深度；URL中字符串；

这个URL是否需要重复抓取？重复抓取的时间是多少?
   抓取过几次；网页内部有多少新的链接数量？

一个网站多长时间抓取页面合适？

一个网站的重要性是多少？

一个网页的权重是多少？PageRank

分析网页，需要知道那些部分是重要部分，那些部分是框架部分？
  分类问题


对网页的文本提取，TF-IDF算法，首先需要分词。
   分词需要训练模型，一般使用HMM 或者CRF模型。

新闻网页分类
   如果是新闻网页，我们需要知道这个网页是什么主题，需要分类。Topic Model 是非常常见的。

网页是否重复，需要聚类。
   提取重要的bag word，然后聚类。

这个网站是否是垃圾站？
   分析网页的原创性；索引后被点击的数量；需要分类模型。


Query 分类问题

   Query分类，决定是否给出一些垂直的应用。

   百度对常见的产品搜索结果都做了改进。直接给出网站的导航页面。

网站的导航
   某些网站是否要给出导航信息。

Query的纠错问题

Query和网页的相关性
   需要相关性模型。

网页的排序
   也需要回归模型。

广告是否被点击，需要回归模型。
   搜索广告、推荐广告、行为广告的场景不同，使用完全不同的模型。