论坛首页 编程语言技术论坛

URL重写后百度蜘蛛抓取时不完整或是多了一个“-”

浏览 2133 次
精华帖 (0) :: 良好帖 (0) :: 新手帖 (0) :: 隐藏帖 (11)
作者 正文
   发表时间:2010-09-14  
完整的URL或是画蛇添足,具体情况与有关日志摘录如下:

2010-08-31 01:37:14 W3SVC485830957 202.91.231.89 GET /syfanw - 80 - 123.125.71.26 Baiduspider+(+http://www.baidu.com/search/spider.htm) 404 0 64 0 199 46————不完整

2010-09-04 02:50:37 W3SVC485830957 202.91.231.89 GET /PR - 80 - 123.125.71.35 Baiduspider+(+http://www.baidu.com/search/spider.htm) 404 0 64 0 195 31————不完整,这个“PR”也不知道哪里来的

2010-09-05 03:13:40 W3SVC485830957 202.75.216.89 GET /jiaoxueziyuan/shijuan/fanwen_12.ht- - 80 - 220.181.7.130 Baiduspider+(+http://www.baidu.com/search/spider.htm) 404 0 64 0 228 31————不完整,“M”变成“-”

2010-09-05 07:47:55 W3SVC485830957 202.75.216.89 GET /jianghua/jianghuagao/fanwen_25.htm- - 80 - 220.181.7.69 Baiduspider+(+http://www.baidu.com/search/spider.htm) 404 0 64 0 228 46————多了一个“-”

2010-09-07 05:52:47 W3SVC485830957 202.75.216.89 GET /xindetihui/guanhougan/fanwen_287.h- - 80 - 220.181.7.56 Baiduspider+(+http://www.baidu.com/search/spider.htm) 404 0 64 0 228 31————不完整,“TM”变成“-”
2010-09-09 22:07:05 W3SVC485830957 202.75.216.89 GET 

/xindetihui/guanhougan/fanwen_747.h- - 80 - 220.181.7.122 Baiduspider+

(+http://www.baidu.com/search/spider.htm) 404 0 64 0 228 31————不完整

2010-09-13 14:29:22 W3SVC485830957 202.91.231.89 GET /gerengongzuozongjie/jishu - 80 - 123.125.71.27 

Baiduspider+(+http://www.baidu.com/search/spider.htm) 404 0 64 0 218 46————不完整,少了“/”


2010-09-13 23:28:54 W3SVC485830957 202.91.231.89 GET /gongwen/minzheng/fanwen_449.htm- - 80 - 123.125.71.13 

Baiduspider+(+http://www.baidu.com/search/spider.htm) 404 0 64 0 225 31多了一个“-”

高手们快点出现吧,我快要崩溃了
   发表时间:2011-08-18  
应该是你的伪静态规则没有写好吧
这个问题过去块一年了
0 请登录后投票
论坛首页 编程语言技术版

跳转论坛:
Global site tag (gtag.js) - Google Analytics