论坛首页 海阔天空论坛

google 实时索引?!

浏览 2446 次
精华帖 (0) :: 良好帖 (0) :: 灌水帖 (0) :: 隐藏帖 (0)
作者 正文
   发表时间:2007-12-08  
刚刚发上一个帖子http://www.iteye.com/topic/146928,不经意用google 搜索了 rails 2 chm。
结果,这个刚刚发布的帖子,已经收录到了google中。
google是如何如此快速的收录网页的?
1 通过rss订阅?
2 还是javaeye的结构比较google friendly? google 只需要每次抓取每个论坛的第一个页面?

第二个基本可以排除调,google再聪明,也无法判断哪个是第一个页面。

如果rss订阅是唯一途径的话,那baidu也太愚笨了,要尽快争夺rss市场呀!

RSS订阅在04年就已经很流行了,我到现在才逐渐明白它为什么被这么多的人吹捧。
它确实可以影响你的生活!很大地影响。
现在基本很少浏览网站了,我在google reader中订阅了几百个个自己感兴趣的rss,每天晚上9~11点是我的rss充电时间。


   发表时间:2007-12-08  
因为JavaEye的pagerank比较高,所以google会抓取网页非常频繁,另外也可能JavaEye的URL比较规则,Google只需要按照:http://www.iteye.com/topic/xxxxx,做一个数字循环去抓,隔几分钟抓一下,应该是很简单的算法。
0 请登录后投票
   发表时间:2007-12-08  
不大可能是rss吧,应该只是凑巧
0 请登录后投票
   发表时间:2007-12-08  
一个原因是Robbin说的PageRank缘故,还有一个我猜是Google对于更新频率比较高的网站,抓取的频率也比较高,我用Google的WebMaster工具看了一下,平均Google Bot每天查看JavaEye的页面达到了27,000多次,这样一篇文章出现后15分钟内就被Google收录也就不足为奇了。
  • 大小: 30.8 KB
0 请登录后投票
论坛首页 海阔天空版

跳转论坛:
Global site tag (gtag.js) - Google Analytics