请谨慎在robots.txt中增加sitemap链接

一直以来，大家都在寻找各种方式向搜索引擎提供自己网站的内容，其中就包括sitemap，甚至很多文章介绍说在robots.txt增加sitemap的指向效果非常明显。

是否真的有那么神奇呢？其实不然！

笔者因为工作的原因，有幸接触到了一次实战，而且是3个规模不一的站点同时向robots.txt中增加sitemap的链接指向。

sitemaps.org网站上有具体的sitemap的格式以及参数设置办法。

根据不同的站点规模，我们选择了不同的方式；


增加的格式如下：

站点1规模较大，使用的是sitemap的索引文件，索引文件再包含其他sitemap文件。

在robots.txt的最后一行增加 Sitemap：http://www.xxxxx.com/sitemap.xml

sitemap.xml索引文件的内容格式如下：


http://www.xxxx.com/sitemap1.xml2011-05-01T18:23:17+00:00http://www.xxxxx.com/sitemap2.xml2011-05-01

站点2和站点3规模都较小，采用的是直接指向具体的sitemap.xml

在robots.txt的最后一行增加 Sitemap：http://www.xxxxx.com/sitemap.xml

具体格式如下：

http://www.xxxxxx.com/2011-05-01monthly0.8

增加完毕3天后，就有了变化，情况并不像预期的那样好，具体表现如下：

1、百度：3个站的收录迅速变慢，尤其是站点1，从之前的每天收录2000多页变成了每天只收录10几页或者干脆不收录，分析日志发现百度的蜘蛛来了，但收录的内容极少，或者干脆只停留几分钟就走了，站点2和站点3的每天新收录数变成了0，之前是每天基本有10页左右。

2、google：整体来说，google的效果最好，站点1的收录迅速上升了，并且很多之前从不收录的页面也开始收录了，站点2和站点3的收录变化不是很大，排名有所上升，不知道是不是碰巧。

3、soso：所有站点的收录开始减少，基本没有收录新增加的页面，尽管站点1每天的更新量都在2000左右。

4、sogou：基本类似于百度。

5：bing：收录有小幅上升，但不是很明显。

出现这么糟糕的后果，使我们团队所有人员都不愿意看到的，于是果断的删除了所有的sitemap指向；

3天过后，百度收录开始正常，google变化不大，其他搜索引擎的收录基本恢复正常。

由
此可以推断，各个搜索引擎对于sitemap的理解和接受是不一样的，这里面的技术问题我们也无法去讨论，但是实践证明，如果你的站点结构合理，收录也正
常，完全没有必要去做什么sitemap，笔者个人认为，sitemap比较适合小规模的站点，并且是站点结构不太合理的小规模站点，如果你的网站结构合
理，搜索引擎均能自己完成收录。

另外比较重要的一点，如果你已经做了sitemap，就最好保持时刻更新，最好是程序自动化的更新。

以上只是笔者个人的一些实践体会，不能保证实验结果一定正确，也不具备指导性，只是和广大朋友探讨交流。


转载http://www.kkkdm.com