`
lzj0470
  • 浏览: 1270982 次
  • 性别: Icon_minigender_1
  • 来自: 深圳
社区版块
存档分类
最新评论

各大搜索引擎蜘蛛的UserAgent

    博客分类:
  • SEO
阅读更多
GOOGLE
---------------------------------------------------------------------
66.249.70.212 - - [11/Jan/2009:00:03:35 -0700] "GET www.vidun.com/user-f2fc990265c712c49d51a18a32b39f0c.html?umid=f2fc990265c712c49d51a18a32b39f0c HTTP/1.1" 200 8148 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
Referer: ""
UserAgent: "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

66.249.70.212 - - [11/Jan/2009:03:27:23 -0700] "GET www.youxigao.com/images/pink/demo.gif HTTP/1.1" 200 2367 "-" "Googlebot-Image/1.0"
Referer: ""
UserAgent: "Googlebot-Image/1.0"

209.85.238.7 - - [11/Jan/2009:00:02:58 -0700] "GET www.youxigao.com/rss/c/1009 HTTP/1.1" 404 37 "-" "Feedfetcher-Google; (+http://www.google.com/feedfetcher.html; 10 subscribers; feed-id=8474979256887526569)"
Referer: ""
UserAgent: "Feedfetcher-Google; (+http://www.google.com/feedfetcher.html; 10 subscribers; feed-id=8474979256887526569)"


百度
---------------------------------------------------------------------
60.28.22.38 - - [11/Jan/2009:01:28:09 -0700] "GET www.vidun.com/vwsoft-vwantileechs-download.html?pr=vwantileechs&vi=download HTTP/1.1" 200 27406 "http://www.vidun.com/" "Baiduspider+(+http://www.baidu.com/search/spider.htm)"
Referer: ""
UserAgent: "Baiduspider+(+http://www.baidu.com/search/spider.htm)"


YAHOO
---------------------------------------------------------------------
202.160.180.81 - - [11/Jan/2009:00:02:44 -0700] "GET www.vidun.com/ HTTP/1.0" 200 14250 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html)"
Referer: ""
UserAgent: "Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html)"

67.195.37.167 - - [11/Jan/2009:00:23:00 -0700] "GET www.vidun.com/postmsg-tech-2-120.html?type=tech&id=2&tid=120 HTTP/1.0" 200 12609 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"
Referer: ""
UserAgent: "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"


有道
---------------------------------------------------------------------
2008-03-04 09:54:12 W3SVC226223753 222.33.192.54 GET /index.php - 80 - 61.135.219.7 Mozilla/5.0+(compatible;+YodaoBot/1.0;+http://www.yodao.com/help/webmaster/spider/;+) - 200 0 0
Referer: ""
UserAgent: "Mozilla/5.0 (compatible; YodaoBot/1.0; http://www.yodao.com/help/webmaster/spider/; )"


61.135.249.120 - - [11/Jan/2009:09:44:46 -0700] "GET vidun.com/robots.txt HTTP/1.1" 404 - "-" "Mozilla/5.0 (compatible; YodaoBot/1.0; http://www.yodao.com/help/webmaster/spider/; )"
Referer: ""
UserAgent: "Mozilla/5.0 (compatible; YodaoBot/1.0; http://www.yodao.com/help/webmaster/spider/; )"


SOSO
---------------------------------------------------------------------
58.61.164.207 - - [11/Jan/2009:03:13:53 -0700] "GET www.vidun.com/robots.txt HTTP/1.1" 404 - "http://www.vidun.com/robots.txt" "Sosospider+(+http://help.soso.com/webspider.htm)"
Referer: ""
UserAgent: "Sosospider+(+http://help.soso.com/webspider.htm)"

2008-03-04 10:48:28 W3SVC226223753 222.33.192.54 GET /index.php - 80 - 124.115.4.218 Sosoimagespider+(+http://help.soso.com/soso-image-spider.htm) http://www.tatabao.com/ 200 0 0
Referer: ""
UserAgent: "Sosoimagespider+(+http://help.soso.com/soso-image-spider.htm)"


Sogou
---------------------------------------------------------------------
219.234.81.41 - - [11/Jan/2009:03:26:49 -0700] "GET www.vidun.com/ HTTP/1.0" 200 14250 "-" "Sogou Web Sprider(compatible; Mozilla 4.0; MSIE 6.0; Windows NT 5.1; SV1; Avant Browser; InfoPath.1; .NET CLR 2.0.50727; .NET CLR1.1.4322)"
Referer: ""
UserAgent: "Sogou Web Sprider(compatible; Mozilla 4.0; MSIE 6.0; Windows NT 5.1; SV1; Avant Browser; InfoPath.1; .NET CLR 2.0.50727; .NET CLR1.1.4322)"


220.181.61.217 - - [11/Jan/2009:13:10:57 -0700] "GET www.youxigao.com/play/3615?id=3615 HTTP/1.1" 302 5 "-" "Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)"
Referer: ""
UserAgent: "Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)"

220.181.19.74 - - [11/Jan/2009:06:20:37 -0700] "GET www.vidun.com/vwsoft-vwantileechs-download.html?pr=vwantileechs&vi=download HTTP/1.1" 200 27406 "-" "Sogou Orion spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)"
Referer: ""
UserAgent: "Sogou Orion spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)"


220.181.19.78 - - [11/Jan/2009:10:55:18 -0700] "GET www.vidun.com/robots.txt HTTP/1.1" 404 - "http://pic.sogou.com/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322)"
Referer: "http://pic.sogou.com/"
UserAgent: "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322)"

219.234.81.27 - - [11/Jan/2009:23:53:41 -0700] "GET www.vidun.com/ HTTP/1.1" 200 14271 "-" "Sogou-Test-Spider/4.0 (compatible; MSIE 5.5; Windows 98)"
Referer: ""
UserAgent: "Sogou-Test-Spider/4.0 (compatible; MSIE 5.5; Windows 98)"

2008-03-04 17:23:59 W3SVC226223753 222.33.192.54 HEAD /index.php - 80 - 220.181.19.107 Sogou+head+spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07) - 200 0 0



分享到:
评论

相关推荐

    js如何判断访问是来自搜索引擎(蜘蛛人)还是直接访问

    在给定的代码片段中,可以看到几种不同的JavaScript方法来检测访问者是通过搜索引擎(通常被称为“蜘蛛”或“爬虫”)还是直接输入URL或点击书签访问的。这些方法主要是通过检查`document.referrer`属性,它会返回前...

    asp.net(c#)捕捉搜索引擎蜘蛛和机器人

    在ASP.NET(C#)开发中,捕捉搜索引擎蜘蛛和机器人是一项重要的任务,这有助于网站管理员监控网站的抓取情况,分析流量来源,以及优化SEO策略。搜索引擎蜘蛛和机器人是自动访问网站并索引网页内容的程序,如Googlebot...

    如何准确判断请求是搜索引擎爬虫(蜘蛛)发出的请求

    ### 如何准确判断请求是搜索引擎爬虫(蜘蛛)发出的请求 在当今互联网时代,网站管理者经常面临的一个问题是如何区分访问其网站的请求是来自真实的用户还是搜索引擎爬虫(也称为蜘蛛)。这个问题对于网站优化(SEO...

    PHP判断来访是搜索引擎蜘蛛还是普通用户的代码小结

    `checkrobot()`函数使用了两个静态数组,一个包含了常见的搜索引擎蜘蛛关键词,如"bot"、"crawl"等,另一个包含了常见浏览器的关键字。如果`HTTP_USER_AGENT`中包含浏览器关键字但不包含搜索引擎关键字,则认为是...

    PHP判断搜索引擎蜘蛛并自动记忆到文件的代码

    首先,我们需要理解搜索引擎蜘蛛的工作原理。搜索引擎爬虫是搜索引擎用来抓取网页内容的自动化程序。它们通过遍历网页链接来发现新的页面,并抓取页面内容以供搜索引擎索引。每个爬虫都有其独特的用户代理字符串...

    C# 搜索引擎和网络爬虫的实现

    在IT领域,网络爬虫和搜索引擎是两个非常关键的技术,特别是在大数据分析和信息提取中。本文将深入探讨如何使用C#这一编程语言来实现这两项技术。 首先,让我们从网络爬虫开始。网络爬虫,也称为网页抓取器或蜘蛛,...

    PHP屏蔽蜘蛛访问代码及常用搜索引擎的HTTP_USER_AGENT

    在互联网上,搜索引擎的爬虫会定期抓取网站内容,以更新索引并提供搜索结果。然而,有时候网站管理员可能希望限制或屏蔽这些爬虫的访问,以保护服务器资源、防止过量抓取或者处理隐私问题。在PHP中,可以通过检查`$_...

    PHP写的获取各搜索蜘蛛爬行记录代码

    那么下面分享一款用php写的获取各搜索蜘蛛爬行记录代码 支持搜索引擎如下 可以记录Baidu,Google,Bing,Yahoo,Soso,Sogou,Yodao爬行网站的记录! php代码如下 复制代码 代码如下: <?php function get_naps_bot() { $...

    php采集时被封ip的解决方法

    在网上找了一些资料都没有找到,功夫不负有心人啊,在找的时侯有一个人提到了用搜索引擎爬虫蜘蛛的USERAGENT。虽然只提到一点点我还是想到了,列出我的解决方法, 1.使用Snoopy或curl传搜索引擎爬虫的USERAGENT值。 ...

    使用PHP实现蜘蛛访问日志统计

    在互联网世界中,搜索引擎爬虫(也称为蜘蛛)扮演着重要的角色,它们通过抓取网页内容来更新搜索引擎的索引。对于网站管理员来说,了解这些爬虫的访问情况有助于优化网站SEO策略、分析流量来源以及识别潜在的问题。...

    JavaScript脚本判断蜘蛛来源的方法

    在SEO(搜索引擎优化)领域,开发者有时需要判断访问者是否为搜索引擎的爬虫(也称蜘蛛),以便采取不同的处理策略。本文将详细解释如何使用JavaScript脚本来判断蜘蛛的来源。 首先,我们需要理解`document....

    用Perl写的网络蜘蛛fetchgals-5.6

    网络蜘蛛在搜索引擎优化(SEO)、数据分析和网站维护等领域有着广泛的应用。 Perl蜘蛛(Spider)的工作原理是通过模拟用户浏览行为,遍历网站的链接结构,将获取到的数据存储或进一步处理。"fetchgals-5.6" 版本...

    用Python实现网络爬虫、蜘蛛.docx

    文档中还提到了一个使用Django框架、Python语言以及`BeautifulSoup`库组合实现的垂直搜索引擎爬虫。垂直搜索引擎爬虫通常针对特定领域的网站进行爬取。文档中提到了Django模型的创建以及爬虫代码的编写: 1. **...

    crawler-validator:一个蜘蛛,用于爬取站点并检查验证器中的错误

    这个工具对于Web开发者和SEO专家来说非常有用,因为它可以帮助他们确保网站的代码质量,提高搜索引擎的友好度,并可能提升用户体验。 首先,我们要理解 `Perl` 语言。Perl 是一种高级的、通用的、解释型、动态的...

    Linux软件下载源码编程文章资料[借鉴].pdf

    这个程序的设计灵感来源于对特定内容的搜索需求,尤其是当需要收集大量电子邮件地址时,普通的搜索引擎无法满足这样的特定任务。因此,开发者通过编写C语言程序,模拟网络蜘蛛的行为,从一个网页爬向另一个网页,...

    User-Agent Switcher-crx插件

    更改用户代理可让您模仿,欺骗或伪造其他浏览器,设备或搜索引擎蜘蛛。 该扩展程序无法以与所选网页​​相同的方式呈现网页。 User-Agent Switcher主要面向想要测试页面如何响应不同浏览器的开发人员。 用户代理切换...

    webcrawler:用 Perl 编写的 Webspider

    它通常用于数据挖掘、搜索引擎索引、网站内容分析等多种用途。使用 Perl 编写的 Webspider 可以高效地跟踪链接,下载网页,并对抓取的数据进行处理。 Perl 在 Web 爬虫中的优势: 1. 正则表达式支持:Perl 的正则...

    ngxlua:nginxopenresty lua访问限制限流防爬

    2. spider:蜘蛛或爬虫,指的是自动抓取网页信息的程序,常用于搜索引擎索引或数据采集。 3. lua:lua是一种轻量级的脚本语言,因其简洁和高效而在很多领域得到应用,包括游戏开发和Web服务器扩展。 4. limit:在...

Global site tag (gtag.js) - Google Analytics