`
haolijing
  • 浏览: 5818 次
  • 性别: Icon_minigender_2
  • 来自: 厦门
文章分类
社区版块
存档分类
最新评论

URL重写后百度蜘蛛抓取时不完整或是多了一个“-”

阅读更多
URL重写后百度蜘蛛抓取时不完整或是多了一个“-”

完整的URL或是画蛇添足,具体情况与有关日志摘录如下:

2010-08-31 01:37:14 W3SVC485830957 202.91.231.89 GET /syfanw - 80 - 123.125.71.26 Baiduspider+(+http://www.baidu.com/search/spider.htm) 404 0 64 0 199 46————不完整

2010-09-04 02:50:37 W3SVC485830957 202.91.231.89 GET /PR - 80 - 123.125.71.35 Baiduspider+(+http://www.baidu.com/search/spider.htm) 404 0 64 0 195 31————不完整,这个“PR”也不知道哪里来的

2010-09-05 03:13:40 W3SVC485830957 202.75.216.89 GET /jiaoxueziyuan/shijuan/fanwen_12.ht- - 80 - 220.181.7.130 Baiduspider+(+http://www.baidu.com/search/spider.htm) 404 0 64 0 228 31————不完整,“M”变成“-”

2010-09-05 07:47:55 W3SVC485830957 202.75.216.89 GET /jianghua/jianghuagao/fanwen_25.htm- - 80 - 220.181.7.69 Baiduspider+(+http://www.baidu.com/search/spider.htm) 404 0 64 0 228 46————多了一个“-”

2010-09-07 05:52:47 W3SVC485830957 202.75.216.89 GET /xindetihui/guanhougan/fanwen_287.h- - 80 - 220.181.7.56 Baiduspider+(+http://www.baidu.com/search/spider.htm) 404 0 64 0 228 31————不完整,“TM”变成“-”

高手们快点出现吧,我快要崩溃了 我的网站是http://www.haoword.com/,客户端访问一切都正常的
分享到:
评论

相关推荐

    URL重写URL重写

    URL重写是Web开发中的一种技术,主要用于优化和简化网站的访问URL,使其更符合用户的记忆习惯和搜索引擎的友好性。在本主题中,我们将深入探讨URL重写的概念、原理以及在实际应用中的常见方法。 一、URL重写概念 ...

    asp.net c# Url重写和无扩展名Url重写

    URL重写是一种机制,它允许开发人员将一个URL映射到另一个URL,而不会改变实际请求的资源。在ASP.NET中,这通常通过使用IIS(Internet Information Services)的URL重写模块或者Microsoft的`System.Web.Routing`类库...

    URL重写URL重写URL重写

    当用户通过浏览器输入一个经过重写的URL时,服务器会通过特定规则将这个友好的URL解析为实际处理请求的URL,然后进行相应的服务响应。这一过程通常涉及到HTTP服务器的配置文件,如Apache的`.htaccess`文件或IIS的web...

    URL重写URL重写URL重写URL重写

    URL重写是Web开发中的一种技术,主要用于优化和管理网站的URL结构,使其更符合搜索引擎优化(SEO)标准,提高用户体验,并便于服务器管理和应用程序处理。这个技术主要涉及到服务器配置、HTTP请求处理以及URL路径与...

    URL重写的一个例子

    URL重写是Web开发中的一种技术,主要用于优化和简化用户访问网站时的URL结构,使其更易读、更友好。这种技术通常与动态网站或基于框架的应用程序配合使用,例如ASP.NET、PHP、Java等。在本例中,我们将探讨URL重写的...

    Url重写示例(无后缀Url重写)

    Url重写是Web开发中的一个重要概念,主要用于优化和管理网站的网址结构,使其更符合搜索引擎优化(SEO)标准,同时也可提升用户体验。无后缀Url重写是指在URL中不显示传统的文件扩展名,如.aspx、.html等,使网址看...

    C# url重写 C# url重写

    在IT行业中,URL重写是一项重要的技术,尤其是在Web开发领域,它可以帮助我们创建更美观、更易读且更友好的URL。C#是.NET框架下的主要编程语言,它提供了多种方式来实现URL重写。本篇文章将深入探讨C#中URL重写的...

    Asp.Net URL重写-URLReWrite

    ASP.NET的URL重写(URLRewrite)是一个强大的功能,它允许开发者隐藏实际的Web页面地址,提供更友好的、可读性强的URL,从而提高用户体验和搜索引擎优化(SEO)。在本文中,我们将深入探讨ASP.NET URL重写的核心概念...

    URL重写DEMOURL重写DEMO

    URL重写是Web开发中的一个重要概念,主要用于优化网站的URL结构,提高用户体验,以及更好地适应搜索引擎优化(SEO)的需求。在ASP.NET环境中,一个常用的URL重写库是UrlRewriting.Net,它允许开发者通过配置规则来...

    URL 重写类 url class

    标题 "URL 重写类 url class" 涉及的核心技术是 URL 重写,这是一种优化网站 URL 结构,使其更美观、更易读的方法。在网页开发中,URL 重写通常用于实现 SEO(搜索引擎优化)友好和用户友好的网址。通过 URL 重写,...

    URL重写概念和例子

    **URL标准化**是为了避免搜索引擎对同一内容的多个URL进行重复抓取和索引,从而导致权重分散的问题。例如,对于如下几种URL: - `http://www.example.com/` - `http://example.com/` - `...

    java中的url重写

    Java 中的 URL 重写是一种常用的技术,它可以将原始的 URL 转换为另一个 URL,以便达到特定的目的。例如,隐藏真实的 URL、实现 URL 的加密、实现 URL 的重定向等。在 Java 中,有多种方式可以实现 URL 重写,包括...

    URLRewrite URL重写组件

    1. **Rewrite**:将请求的URL重写为另一个URL,但不改变浏览器中的地址。 2. **Redirect**:将请求的URL重定向到另一个URL,浏览器地址也会更新。 ### 四、条件匹配与条件组 URLRewrite规则可以包含多个条件,用于...

    jsp的一个url重写

    在探讨“jsp的一个url重写”这一主题时,我们深入解析了达内郑州中心老师分享的关于URL重写的实现方式,这不仅展示了JSP技术在动态网页开发中的灵活性,也揭示了URL重写在提高用户体验、优化SEO以及简化URL结构方面...

    UrlReWrite(Url重写或伪静态)完美示例源码

    Url重写技术,通常以Apache的mod_rewrite模块和IIS的UrlRewrite模块为代表,是Web服务器中的一个重要功能,用于优化网站的URL结构,提高用户体验并有助于搜索引擎优化(SEO)。在本示例源码中,我们将深入理解Url...

    IIS URL 重写模块工具

    IIS URL重写模块就是这样一个关键工具,它允许管理员通过规则配置来实现动态URL到静态URL的转换,从而改善网站性能和用户访问体验。 **一、IIS URL重写模块的功能** 1. **URL规范化**:避免由于URL拼写错误或多种...

    urlrewrite url地址重写

    - **UrlRewriteFilter**:这是一个基于Java的开源过滤器,常用于Spring MVC等Java Web应用中,通过web.xml配置实现URL重写。 **4. 使用UrlRewriteFilter** UrlRewriteFilter是Tuckey开发的非侵入式的URL重写工具...

    Java WEB实现URL重写

    URL重写的主要目的是将复杂的、带有多个参数的URL转化为更加友好、易于理解的形式。这样的URL更容易被用户记住,同时也更利于搜索引擎抓取。 首先,我们需要了解URL的基本结构,通常包括协议(如http或https)、...

    微软URL重写文件

    在IT行业中,URL重写是一项重要的技术,尤其在构建高效、友好的Web应用程序时。微软提供了多种工具和技术来实现URL重写,其中一个常见的方法是通过使用HttpModule。本篇文章将深入探讨URL重写的基本概念,以及如何在...

    url重写软件rewrite规则

    标题中的“url重写软件rewrite规则”涉及到的是网站优化和管理的一个重要概念——URL重写。URL重写是通过特定的规则(通常基于HTTP服务器的模块,如IIS的URL Rewrite模块)将用户请求的不友好的、动态的或者包含查询...

Global site tag (gtag.js) - Google Analytics