URL重写后百度蜘蛛抓取时不完整或是多了一个“-”
完整的URL或是画蛇添足,具体情况与有关日志摘录如下:
2010-08-31 01:37:14 W3SVC485830957 202.91.231.89 GET /syfanw - 80 - 123.125.71.26 Baiduspider+(+http://www.baidu.com/search/spider.htm) 404 0 64 0 199 46————不完整
2010-09-04 02:50:37 W3SVC485830957 202.91.231.89 GET /PR - 80 - 123.125.71.35 Baiduspider+(+http://www.baidu.com/search/spider.htm) 404 0 64 0 195 31————不完整,这个“PR”也不知道哪里来的
2010-09-05 03:13:40 W3SVC485830957 202.75.216.89 GET /jiaoxueziyuan/shijuan/fanwen_12.ht- - 80 - 220.181.7.130 Baiduspider+(+http://www.baidu.com/search/spider.htm) 404 0 64 0 228 31————不完整,“M”变成“-”
2010-09-05 07:47:55 W3SVC485830957 202.75.216.89 GET /jianghua/jianghuagao/fanwen_25.htm- - 80 - 220.181.7.69 Baiduspider+(+http://www.baidu.com/search/spider.htm) 404 0 64 0 228 46————多了一个“-”
2010-09-07 05:52:47 W3SVC485830957 202.75.216.89 GET /xindetihui/guanhougan/fanwen_287.h- - 80 - 220.181.7.56 Baiduspider+(+http://www.baidu.com/search/spider.htm) 404 0 64 0 228 31————不完整,“TM”变成“-”
高手们快点出现吧,我快要崩溃了 我的网站是
http://www.haoword.com/,客户端访问一切都正常的
分享到:
相关推荐
URL重写是一种机制,它允许开发人员将一个URL映射到另一个URL,而不会改变实际请求的资源。在ASP.NET中,这通常通过使用IIS(Internet Information Services)的URL重写模块或者Microsoft的`System.Web.Routing`类库...
URL重写是Web开发中的一种技术,主要用于优化和简化用户访问网站时的URL结构,使其更易读、更友好。这种技术通常与动态网站或基于框架的应用程序配合使用,例如ASP.NET、PHP、Java等。在本例中,我们将探讨URL重写的...
Url重写是Web开发中的一个重要概念,主要用于优化和管理网站的网址结构,使其更符合搜索引擎优化(SEO)标准,同时也可提升用户体验。无后缀Url重写是指在URL中不显示传统的文件扩展名,如.aspx、.html等,使网址看...
在IT行业中,URL重写是一项重要的技术,尤其是在Web开发领域,它可以帮助我们创建更美观、更易读且更友好的URL。C#是.NET框架下的主要编程语言,它提供了多种方式来实现URL重写。本篇文章将深入探讨C#中URL重写的...
ASP.NET的URL重写(URLRewrite)是一个强大的功能,它允许开发者隐藏实际的Web页面地址,提供更友好的、可读性强的URL,从而提高用户体验和搜索引擎优化(SEO)。在本文中,我们将深入探讨ASP.NET URL重写的核心概念...
标题 "URL 重写类 url class" 涉及的核心技术是 URL 重写,这是一种优化网站 URL 结构,使其更美观、更易读的方法。在网页开发中,URL 重写通常用于实现 SEO(搜索引擎优化)友好和用户友好的网址。通过 URL 重写,...
**URL标准化**是为了避免搜索引擎对同一内容的多个URL进行重复抓取和索引,从而导致权重分散的问题。例如,对于如下几种URL: - `http://www.example.com/` - `http://example.com/` - `...
Java 中的 URL 重写是一种常用的技术,它可以将原始的 URL 转换为另一个 URL,以便达到特定的目的。例如,隐藏真实的 URL、实现 URL 的加密、实现 URL 的重定向等。在 Java 中,有多种方式可以实现 URL 重写,包括...
URL重写是Web开发中的一种技术,主要用于优化和简化网站的访问URL,使其更符合用户的记忆习惯和搜索引擎的友好性。在本主题中,我们将深入探讨URL重写的概念、原理以及在实际应用中的常见方法。 一、URL重写概念 ...
1. **Rewrite**:将请求的URL重写为另一个URL,但不改变浏览器中的地址。 2. **Redirect**:将请求的URL重定向到另一个URL,浏览器地址也会更新。 ### 四、条件匹配与条件组 URLRewrite规则可以包含多个条件,用于...
在探讨“jsp的一个url重写”这一主题时,我们深入解析了达内郑州中心老师分享的关于URL重写的实现方式,这不仅展示了JSP技术在动态网页开发中的灵活性,也揭示了URL重写在提高用户体验、优化SEO以及简化URL结构方面...
Url重写技术,通常以Apache的mod_rewrite模块和IIS的UrlRewrite模块为代表,是Web服务器中的一个重要功能,用于优化网站的URL结构,提高用户体验并有助于搜索引擎优化(SEO)。在本示例源码中,我们将深入理解Url...
IIS URL重写模块就是这样一个关键工具,它允许管理员通过规则配置来实现动态URL到静态URL的转换,从而改善网站性能和用户访问体验。 **一、IIS URL重写模块的功能** 1. **URL规范化**:避免由于URL拼写错误或多种...
- **UrlRewriteFilter**:这是一个基于Java的开源过滤器,常用于Spring MVC等Java Web应用中,通过web.xml配置实现URL重写。 **4. 使用UrlRewriteFilter** UrlRewriteFilter是Tuckey开发的非侵入式的URL重写工具...
URL重写的主要目的是将复杂的、带有多个参数的URL转化为更加友好、易于理解的形式。这样的URL更容易被用户记住,同时也更利于搜索引擎抓取。 首先,我们需要了解URL的基本结构,通常包括协议(如http或https)、...
在IT行业中,URL重写是一项重要的技术,尤其在构建高效、友好的Web应用程序时。微软提供了多种工具和技术来实现URL重写,其中一个常见的方法是通过使用HttpModule。本篇文章将深入探讨URL重写的基本概念,以及如何在...
`RewriteRule`则定义了重写规则,`^products/(\d+)$`匹配以`/products/`开头,后面跟着一个或多个数字的URL,`$1`是捕获的数字组,最后的[L]标志表示这是最后一条规则,防止进一步的重写。 标签`urlrewriter`可能指...
总结来说,VS2005中的URL重写涉及多个层面,包括配置IIS、编写Web.config规则、处理回发事件以及可能的客户端调整。通过理解这些概念和技术,开发者可以构建出更加优雅、用户友好的Web应用程序。
标题中的“url重写工具”指的是用于转换或重新映射网站URL的一种技术,它能够将不友好的、复杂的URL转化为用户友好的、简洁的形式。在.NET环境中,这通常通过使用IIS(Internet Information Services)的扩展性来...
本教程将详细阐述如何在Windows IIS上安装并配置URL重写组件,以及解决Vue项目在IIS上部署时可能遇到的问题。 首先,让我们了解URL重写的概念。URL重写允许我们根据预设的规则更改用户请求的实际URL,而服务器仍然...