浏览 2446 次
锁定老帖子 主题:google 实时索引?!
精华帖 (0) :: 良好帖 (0) :: 灌水帖 (0) :: 隐藏帖 (0)
|
|
---|---|
作者 | 正文 |
发表时间:2007-12-08
结果,这个刚刚发布的帖子,已经收录到了google中。 google是如何如此快速的收录网页的? 1 通过rss订阅? 2 还是javaeye的结构比较google friendly? google 只需要每次抓取每个论坛的第一个页面? 第二个基本可以排除调,google再聪明,也无法判断哪个是第一个页面。 如果rss订阅是唯一途径的话,那baidu也太愚笨了,要尽快争夺rss市场呀! RSS订阅在04年就已经很流行了,我到现在才逐渐明白它为什么被这么多的人吹捧。 它确实可以影响你的生活!很大地影响。 现在基本很少浏览网站了,我在google reader中订阅了几百个个自己感兴趣的rss,每天晚上9~11点是我的rss充电时间。 声明:ITeye文章版权属于作者,受法律保护。没有作者书面许可不得转载。
推荐链接
|
|
返回顶楼 | |
发表时间:2007-12-08
因为JavaEye的pagerank比较高,所以google会抓取网页非常频繁,另外也可能JavaEye的URL比较规则,Google只需要按照:http://www.iteye.com/topic/xxxxx,做一个数字循环去抓,隔几分钟抓一下,应该是很简单的算法。
|
|
返回顶楼 | |
发表时间:2007-12-08
不大可能是rss吧,应该只是凑巧
|
|
返回顶楼 | |
发表时间:2007-12-08
一个原因是Robbin说的PageRank缘故,还有一个我猜是Google对于更新频率比较高的网站,抓取的频率也比较高,我用Google的WebMaster工具看了一下,平均Google Bot每天查看JavaEye的页面达到了27,000多次,这样一篇文章出现后15分钟内就被Google收录也就不足为奇了。
|
|
返回顶楼 | |