`
化蝶自在飞
  • 浏览: 2340102 次
  • 性别: Icon_minigender_2
  • 来自: 武汉
社区版块
存档分类
最新评论

百度蜘蛛的UserAgent_Googlebot的UserAgent_其他搜索引擎UserAgent

百度搜索引擎YahooGoogleWindows 
阅读更多
百度蜘蛛的UserAgent:
---------------------------------------------------------------------
60.28.22.38 - - [11/Jan/2009:01:28:09 -0700] "GET www.k686.com HTTP/1.1" 200 27406 "http://www.k686.com/" "Baiduspider+(+http://www.baidu.com/search/spider.htm)"
Referer: ""
UserAgent: "Baiduspider+(+http://www.baidu.com/search/spider.htm)"

Googlebot的UserAgent:
---------------------------------------------------------------------
66.249.70.212 - - [11/Jan/2009:00:03:35 -0700] "GET www.k686.com HTTP/1.1" 200 8148 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
Referer: ""
UserAgent: "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

66.249.70.212 - - [11/Jan/2009:03:27:23 -0700] "GET www.k686.com HTTP/1.1" 200 2367 "-" "Googlebot-Image/1.0"
Referer: ""
UserAgent: "Googlebot-Image/1.0"

209.85.238.7 - - [11/Jan/2009:00:02:58 -0700] "GET www.k686.com HTTP/1.1" 404 37 "-" "Feedfetcher-Google; (+http://www.google.com/feedfetcher.html; 10 subscribers; feed-id=8474979256887526569)"
Referer: ""
UserAgent: "Feedfetcher-Google; (+http://www.google.com/feedfetcher.html; 10 subscribers; feed-id=8474979256887526569)"

YAHOO
---------------------------------------------------------------------
202.160.180.81 - - [11/Jan/2009:00:02:44 -0700] "GET www.k686.com HTTP/1.0" 200 14250 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html)"
Referer: ""
UserAgent: "Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html)"

67.195.37.167 - - [11/Jan/2009:00:23:00 -0700] "GET www.k686.com HTTP/1.0" 200 12609 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"
Referer: ""
UserAgent: "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"


有道
---------------------------------------------------------------------
2008-03-04 09:54:12 W3SVC226223753 222.33.192.54 GET www.k686.com - 80 - 61.135.219.7 Mozilla/5.0+(compatible;+YodaoBot/1.0;+http://www.yodao.com/help/webmaster/spider/;+) - 200 0 0
Referer: ""
UserAgent: "Mozilla/5.0 (compatible; YodaoBot/1.0; http://www.yodao.com/help/webmaster/spider/; )"


61.135.249.120 - - [11/Jan/2009:09:44:46 -0700] "GET www.k686.com HTTP/1.1" 404 - "-" "Mozilla/5.0 (compatible; YodaoBot/1.0; http://www.yodao.com/help/webmaster/spider/; )"
Referer: ""
UserAgent: "Mozilla/5.0 (compatible; YodaoBot/1.0; http://www.yodao.com/help/webmaster/spider/; )"


SOSO
---------------------------------------------------------------------
58.61.164.207 - - [11/Jan/2009:03:13:53 -0700] "GET www.k686.com HTTP/1.1" 404 - "http://www.k686.com" "Sosospider+(+http://help.soso.com/webspider.htm)"
Referer: ""
UserAgent: "Sosospider+(+http://help.soso.com/webspider.htm)"

2008-03-04 10:48:28 W3SVC226223753 222.33.192.54 GET www.k686.com - 80 - 124.115.4.218 Sosoimagespider+(+http://help.soso.com/soso-image-spider.htm) http://www.k686.com/ 200 0 0
Referer: ""
UserAgent: "Sosoimagespider+(+http://help.soso.com/soso-image-spider.htm)"


Sogou
---------------------------------------------------------------------
219.234.81.41 - - [11/Jan/2009:03:26:49 -0700] "GET www.k686.com/ HTTP/1.0" 200 14250 "-" "Sogou Web Sprider(compatible; Mozilla 4.0; MSIE 6.0; Windows NT 5.1; SV1; Avant Browser; InfoPath.1; .NET CLR 2.0.50727; .NET CLR1.1.4322)"
Referer: ""
UserAgent: "Sogou Web Sprider(compatible; Mozilla 4.0; MSIE 6.0; Windows NT 5.1; SV1; Avant Browser; InfoPath.1; .NET CLR 2.0.50727; .NET CLR1.1.4322)"


220.181.61.217 - - [11/Jan/2009:13:10:57 -0700] "GET www.k686.com HTTP/1.1" 302 5 "-" "Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)"
Referer: ""
UserAgent: "Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)"

220.181.19.74 - - [11/Jan/2009:06:20:37 -0700] "GET www.k686.com HTTP/1.1" 200 27406 "-" "Sogou Orion spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)"
Referer: ""
UserAgent: "Sogou Orion spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)"


220.181.19.78 - - [11/Jan/2009:10:55:18 -0700] "GET www.k686.com HTTP/1.1" 404 - "http://pic.sogou.com/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322)"
Referer: "http://pic.sogou.com/"
UserAgent: "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322)"

219.234.81.27 - - [11/Jan/2009:23:53:41 -0700] "GET www.k686.com/ HTTP/1.1" 200 14271 "-" "Sogou-Test-Spider/4.0 (compatible; MSIE 5.5; Windows 98)"
Referer: ""
UserAgent: "Sogou-Test-Spider/4.0 (compatible; MSIE 5.5; Windows 98)"

2008-03-04 17:23:59 W3SVC226223753 222.33.192.54 HEAD www.k686.com - 80 - 220.181.19.107 Sogou+head+spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07) - 200 0 0
分享到：
| ffmpeg php win32扩展的初步调试 php_ffmpe ...
评论
发表评论

您还没有登录,请您登录后再发表评论

相关推荐

    PHP判断搜索引擎蜘蛛并自动记忆到文件的代码

    // 其他搜索引擎爬虫的检查... } ``` 2. `write_naps_bot()` 函数负责将爬虫信息写入文件。这个函数首先调用`get_naps_bot()`来获取爬虫名称，然后设置日期、IP地址和请求的URL。如果日志文件不存在，它会创建一个...

    PHP写的获取各搜索蜘蛛爬行记录代码

    那么下面分享一款用php写的获取各搜索蜘蛛爬行记录代码 支持搜索引擎如下 可以记录Baidu,Google,Bing,Yahoo,Soso,Sogou,Yodao爬行网站的记录! php代码如下 复制代码 代码如下: <?php function get_naps_bot() { $...

    PHP屏蔽蜘蛛访问代码及常用搜索引擎的HTTP_USER_AGENT

    if (strpos($useragent, 'googlebot') !== false) { $bot = 'Google'; } elseif (strpos($useragent, 'mediapartners-google') !== false) { $bot = 'Google Adsense'; } elseif (strpos($useragent, 'baiduspider...

    PHP判断来访是搜索引擎蜘蛛还是普通用户的代码小结

    在网站开发中，有时我们需要区分访问者是搜索引擎的蜘蛛（也称为爬虫）还是普通用户。这主要是为了优化网站性能，防止搜索引擎频繁抓取导致服务器负载过高，或者针对不同的访问者提供不同的内容和服务。以下是一些...

    如何准确判断请求是搜索引擎爬虫（蜘蛛）发出的请求

    ### 如何准确判断请求是搜索引擎爬虫（蜘蛛）发出的请求 在当今互联网时代，网站管理者经常面临的一个问题是如何区分访问其网站的请求是来自真实的用户还是搜索引擎爬虫（也称为蜘蛛）。这个问题对于网站优化（SEO...

    useragent:用于用户代理字符串的GoGolang解析器

    用户代理名称和版本（Chrome，Firefox，Googlebot等） 操作系统名称和版本（Windows，Android，iOS等） 设备类型（移动设备，台式机，平板电脑，机器人） 设备名称（如果有）（iPhone，iPad，华为VNS-L21） ...

    php记录搜索引擎爬行记录的实现代码

    这个函数检查了Googlebot、Baiduspider、msnbot、slurp、sosospider、sogou spider 和 yodaobot，这些都是常见搜索引擎的爬虫名称。如果找到匹配项，函数返回相应的搜索引擎名称；否则，返回 `false`。 ```php ...

    useragent-generator:轻松为流行的浏览器生成正确的用户代理字符串

    用户代理生成器 轻松为流行的浏览器生成准确的用户代理字符串。 正在安装 npm install useragent-generator 用法 const ua = require ( 'useragent-generator' ) // ... ...ua.googleBot(options) ua

    asp.net(c#)捕捉搜索引擎蜘蛛和机器人

    搜索引擎蜘蛛和机器人是自动访问网站并索引网页内容的程序，如Googlebot、Baiduspider等。了解如何识别这些非人类访问者对网站维护和性能分析至关重要。 首先，识别蜘蛛和正常用户的关键在于分析HTTP请求头中的`...

    php 向访客和爬虫显示不同的内容

    例如，Google的爬虫UserAgent可能是"Googlebot"，百度的爬虫UserAgent可能是"Baiduspider"。PHP中可以通过检查HTTP请求中的UserAgent来判断是否是爬虫访问。 在PHP代码中，我们可以通过编写一个函数is_crawler()来...

    使用PHP实现蜘蛛访问日志统计

    在互联网世界中，搜索引擎爬虫（也称为蜘蛛）扮演着重要的角色，它们通过抓取网页内容来更新搜索引擎的索引。对于网站管理员来说，了解这些爬虫的访问情况有助于优化网站SEO策略、分析流量来源以及识别潜在的问题。...

    let-me-google-it-for-you

    USER_AGENT=Reddit app useragent 创建应用后，可以客户端ID和密码， 您可以阅读有关更多信息。 用法 克隆此仓库git clone https://github.com/andrijaJ01/let-me-google-it-for-you.git 安装打字机pip

    Robots_txt-Specifications.pdf

    在文件的基本定义方面，User-agent指的是爬虫程序的身份标识，例如Googlebot是Google的爬虫名称。Directives是告诉爬虫如何行动的命令，如“allow”（允许访问）和“disallow”（禁止访问）。URL代表的是统一资源...

    to-query:从请求网址获取查询对象

    user_agent=googlebot → { userAgent: 'googlebot' } 自动将值转换为本机类型。 例如。 /?plan_id=123 → { planId: 123 } 友好的布尔值。 例如。 /?is_enabled → { isEnabled: true } 声明默认值。 例如。 /? ...

    积分java源码-pipnet:一个关于web的大api

    积分java源码管网 一个关于 web 的大型 api 可与 ...一起使用（您可以自由地将 ...代码转换为您的后端代码并提交 ...独特方法中的级别 当您按其名称使用方法时，您将使用此方法...googleBot，我们检查 IP 而不仅仅是 userAgent）

    robots-txt-parser:适用于Node.js的轻量级robots.txt解析器，支持通配符，缓存和Promise

    robots-txt解析器 适用于Node.js的轻量级... userAgent : 'Googlebot' , // The default user agent to use when looking for allow/disallow rules, if this agent isn't listed in the active robots.txt, we use *.

    Nginx中配置过滤爬虫的User-Agent的简单方法

    Googlebot/2.1; +http://www.google.com/bot.html)` - 雅虎爬虫（中国）：`Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html)` - 雅虎爬虫（美国）：`Mozilla/5.0 (compatible; ...

    Glype完全汉化&&移动版自动跳转适配.zip

    RewriteCond %{HTTP_USER_AGENT} "android|blackberry|googlebot-mobile|iemobile|ipad|iphone|ipod|opera mobile|palmos|webos|UCBrowser|QQBrowser|wap|Nokia|Lumia|Windows Phone|Windows 10 Mobile|Windows ...

Magicbox
Global site tag (gtag.js) - Google Analytics