爬虫 User-Agent

USER-AGENT是什么？

USER-AGENT：记录请求所来自的浏览器。

User-Agent分析网站 http://www.useragentstring.com/

通过解析User-Agent可以知道访问者信息。

特意截取了服务器一天的IIS日志进行分析！

robot 搜索机器人

像google、百度等搜索引擎都会有自动的爬虫程序在网上不停的爬取网页信息。来建立它们的搜索索引！

一下为爬虫的User-Agent：(按字母顺序排列)

Baiduspider+(+http://www.baidu.com/search/spider.htm) 百度网页

Gigabot/3.0+(http://www.gigablast.com/spider.html) 外国绿色搜索

Googlebot-Image/1.0 google图片搜索

HuaweiSymantecSpider/[e-mail]+(compatible;+MSIE+7.0;+http://www.huaweisymantec.com/en/IRL/spider)

华为赛门铁克

larbin+([e-mail]) 开源网络蜘蛛

MLBot+(www.metadatalabs.com/mlbot) 未知

Mozilla/5.0+(compatible;+008/0.83;+http://www.80legs.com/webcrawler.html;)+Gecko/2008032620 国外可自定义爬虫

Mozilla/5.0+(compatible;+bingbot/2.0;++http://www.bing.com/bingbot.htm) 微软BING

Mozilla/5.0+(compatible;+crawler/3.0.0++http://www.notconfigured.com/) 未知

Mozilla/5.0+(compatible;+DotBot/1.1;+http://www.dotnetdotcom.org/,[e-mail]) 外国互联网分析统计

Mozilla/5.0+(compatible;+Googlebot/2.1;++http://www.google.com/bot.html) Google

Mozilla/5.0+(compatible;+MJ12bot/v1.3.3;+http://www.majestic12.co.uk/bot.php?+) 英国

Mozilla/5.0+(compatible;+Search17Bot/1.1;+http://www.search17.com/bot.php) 未知

Mozilla/5.0+(compatible;+Yahoo!+Slurp;+http://help.yahoo.com/help/us/ysearch/slurp)  雅虎

Mozilla/5.0+(compatible;+Yahoo!+Slurp+China;+http://misc.yahoo.com.cn/help.html)  雅虎

Mozilla/5.0+(compatible;+YandexBot/3.0;++http://yandex.com/bots) 俄罗斯搜索引擎

Mozilla/5.0+(compatible;+YandexBot/3.0;+MirrorDetector;++http://yandex.com/bots) 俄罗斯搜索引擎

Mozilla/5.0+(compatible;+YoudaoBot/1.0;+http://www.youdao.com/help/webmaster/spider/;+) 有道

Mozilla/5.0+(compatible;YodaoBot-Image/1.0;http://www.youdao.com/help/webmaster/spider/;) 有道图片

msnbot/2.0b+(+http://search.msn.com/msnbot.htm)._ MSN搜索

msnbot-media/1.1+(+http://search.msn.com/msnbot.htm) MSN搜索

panscient.com 国外垂直搜索

Sogou+Pic+Spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07) 搜狗图片

Sogou-Test-Spider/4.0+(compatible;+MSIE+5.5;+Windows+98) 未知

Sosoimagespider+(+http://help.soso.com/soso-image-spider.htm) 搜搜图片

Sosospider+(+http://help.soso.com/webspider.htm) 搜搜

Yeti/1.0+(NHN+Corp.;+http://help.naver.com/robots/) 韩国搜索

zawc/Nutch-1.0+(http://www.zawc.com)  准备转让汗

DoCoMo/2.0+P900i(c100;TB;W24H11)(compatible;+ichiro/mobile+goo;+http://help.goo.ne.jp/door/crawler.html) 日本的搜索

Mozilla/4.0+(compatible;+http://search.thunderstone.com/texis/websearch/about.html) 国外

Mozilla/5.0+(Windows;+U;+Windows+NT+5.1;+en-US)+Speedy+Spider+(http://www.entireweb.com/about/search_tech/speedy_spider/)

分析：

有这么多机器人访问！注意User-Agent是可以伪造的。很多搜索爬虫说明页都有提到。但可以分析IP来辨别！

其他的User-Agent

+(^_^) 汗！不知道是什么东西

AppleWebKit/532.7+(KHTML,+like+Gecko)+Chrome/4.0.271.1+Safari/532.7+TencentTraveler/5.0+QQBrowser/5.0.6587.400+(webkit)

BREW-Applet/0x20068888+(BREW/3.1.5.20;+DeviceId:+110006;+Lang:+zhcn)+ucweb-squid

HD2_T8585+Mozilla/4.0+(compatible;+MSIE+4.01;+Windows+CE;+PPC)/UCWEB7.4.0.57/31/999

HD_mini_T5555+Mozilla/4.0+(compatible;+MSIE+4.01;+Windows+CE;+PPC)/UCWEB7.4.1.61/31/999

HTC_HD2_T8585+Mozilla/4.0+(compatible;+MSIE+4.01;+Windows+CE;+PPC)/UCWEB7.4.1.61/31/999

HUAWEI+C5110+Java/HWJa/1.0+Profile/MIDP-2.0+Configuration/CLDC-1.1+UNTRUSTED/1.0

J2ME

J2ME/UCWEB7.3.1.56/139/800

Jakarta+Commons-HttpClient/3.1

Java/1.6.0_10

LG-KG70+MIC/1.1.14+MIDP-2.0/CLDC-1.1+UNTRUSTED/1.0

MAUI_WAP_Browser

MOT-EM330/0.0.96+UNTRUSTED/1.0

MSIE+6.0

Microsoft-ATL-Native/9.00

Mozilla/4.0

Mozilla/4.0+(compatible;+MSIE+4.01;+Windows+95) IE4、win95现在还有人用

Mozilla/4.0+(compatible;+MSIE+4.01;+Windows+98)

Mozilla/4.0+(compatible;+MSIE+4.01;+Windows+CE;+PPC)/UCWEB7.4.0.57/31/800

Mozilla/4.0+(compatible;+MSIE+6.0;)

Mozilla/4.0+(compatible;+MSIE+7.0;+Windows+NT+5.1;+360SE)

Mozilla/4.0+(compatible;+MSIE+8.0;+Windows+NT+5.1;+Trident/4.0)

Mozilla/5.0+(Linux;+U;+Android+2.1;+zh-cn;+T2+Build/ERD79)+AppleWebKit/530.17+(KHTML,+like+Gecko)+Version/4.0+Mobile+Safari/530.17

Mozilla/5.0+(Macintosh;+U;+Intel+Mac+OS+X+10_6;+zh-cn)+AppleWebKit/531.9+(KHTML,+like+Gecko)+Version/4.0.3+Safari/531.9

Mozilla/5.0+(Windows;+U;+Windows+NT+5.1;+en-US)+AppleWebKit/534.6+(KHTML,+like+Gecko)+Chrome/6.0.493.0+Safari/534.6

Mozilla/5.0+(iPhone;+U;+CPU+iPhone+OS+4_1+like+Mac+OS+X;+zh-cn)+AppleWebKit/532.9+(KHTML,+like+Gecko)+Mobile/8B117

NOKIA3250/UCWEB7.1.0.42/28/800 手机上的UC

Opera/9.80+(Windows+NT+5.1;+U;+zh-cn)+Presto/2.6.30+Version/10.60

Palm680/RC1+(iPhone;+U;+CPU+iPhone+OS+2_2_1+like+Mac+OS+X;+zh-cn)/UCWEB7.4.1.68/41/997

Python-urllib/1.17

SonyEricssonU100i/R1BA+Profile/MIDP-2.1+Configuration/CLDC-1.1

TencentTraveler+4.0

UCWEB7.4.0.57/28/999

UNTRUSTED/1.0

Unknown/GoBrowser/1.6.0.70

Wget/1.10.2+(Red+Hat+modified)

Wget/1.9+cvs-stable+(Red+Hat+modified)

ZTE-Me/Mobile

aboutthedomain 什么东西

kuanguang+Java/1.6.0_18

libwww-perl/5.836

 

分析：

看到上面的User-Agent会发现手机的User-Agent有多混乱！并且User-Agent里面还包含了大量的软件和系统信息！

为什么就没人给个标准规范！移动互联网平台各式各样！最终只会苦了我们这些程序员！