[Python]检查你的站点的人气[1008Updated]

happmaoo

浏览: 4472154 次
性别:
来自: 杭州

最近访客更多访客>>

fgken

flyjava

icesort

adamkisy

博主相关

博客

微博

相册

留言

关于我

文章分类

社区版块

存档分类

2013-06 ( 10)
2012-01 ( 29)
2011-12 ( 23)
更多存档...

Python Google 正则表达式 .net 搜索引擎

车东很久以前写过一篇《http://www.chedong.com/tech/link_pop_check.html，如何评价一个网站的人气(Link Popularity Check)》，介绍通过搜索引擎的一些隐含命令评价网站的“人气”。

其实用python做到这一点很容易。

我们换一种他没有提及的方式来实现，那时候应该还没有del.ici.ous这个站点。[2:41 补充]我们还增加了对alltheweb.com这个搜索引擎的反向链接数目判断的支持。

我们提供的 getURLRank Python版本就是这么一种概念：
一个站点的流行程度可以通过很多种方式来判断，比如通过del.ici.ous这个站点，看有多少人收藏了这个页面，据此判断。也可以通过google/alltheweb.com/msn/sogou/baidu的反向链接有多少来判断。

下面是代码，在Python 2.5c下运行成功。

[2:41 补充]上午2:30，增加了对alltheweb.com这个搜索引擎的支持，并根据pandaxiaoxi的建议增加了getattr转发器。

[20:43 补充]增加了对google.com/search.msn.com/sogou.com搜索引擎的支持，并根据limodou的建议增加了字典替换。

[23:00补充]按照limodou的建议，按照urllib.quote_plus()来编码URL。

[16:46补充]增加了对siteexplorer.search.yahoo.com搜索引擎的Inlinks检测支持).

[20061008补充]增加了对baidu收录博客情况的检测支持。

文件名为：getURLRank.py

本程序的运行结果为：
>>python geturlrank.py http://blog.sina.com.cn/m/xujinglei

enter parse_delicious function...
del.ici.ous query url:http://del.icio.us/url/check?url=http%3A%2F%2Fblog.sina.com.cn%2Fm%2Fxujinglei
get URL : http://del.icio.us/url/check?url=http%3A%2F%2Fblog.sina.com.cn%2Fm%2Fxujinglei
有多少个人收藏了你的url呢:
148
out parse_delicious function...
enter parse_google function...
google query url:http://www.google.com/search?hl=en&q=link%3Ahttp%3A%2F%2Fblog.sina.com.cn%2Fm%2Fxujinglei
google 有多少个反向链接呢:
5760
out parse_google function...
enter parse_alltheweb function...
Alltheweb query url:http://www.alltheweb.com/urlinfo?_sb_lang=any&q=http%3A%2F%2Fblog.sina.com.cn%2Fm%2Fxujinglei
get URL : http://www.alltheweb.com/urlinfo?_sb_lang=any&q=http%3A%2F%2Fblog.sina.com.cn%2Fm%2Fxujinglei
Alltheweb 有多少个反向链接呢:
1
out parse_alltheweb function...
enter parse_msn function...
msn query url:http://search.msn.com/results.aspx?FORM=QBRE&q=link%3Ahttp%3A%2F%2Fblog.sina.com.cn%2Fm%2Fxujinglei
msn 有多少个反向链接呢:
217107
out parse_msn function...
enter parse_sogou function...
sogou query url:http://www.sogou.com/web?num=10&query=link%3Ahttp%3A%2F%2Fblog.sina.com.cn%2Fm%2Fxujinglei
www.sogou.com 评分是多少呢:
66
out parse_sogou function...
enter parse_yahoo function...
yahoo siteexplorer query url:http://siteexplorer.search.yahoo.com/search?bwm=i&bwms=p&bwmf=u&fr=FP-tab-web-t500&fr2=seo-rd-se&p=http%3A%2F%2Fblog.sina.com.cn%2Fm%2Fxujinglei
siteexplorer.search.yahoo.com Inlinks是多少呢:
228334
out parse_yahoo function...

代码为：

#-*-coding:UTF-8-*-

##getURLRank文档生成日期：2006.09.02

##(1)概述：

##模块名称：getURLRank.py

##模块说明：

##解析用户提供的站点地址，看有多少人收藏他,以及有多少个反向链接。

##以此来判断一个站点的流行程度。

##所在子系统:getURLRank

##系统总描述:

##我们提供的getURLRankPython版本就是这么一种概念：

##一个站点的流行程度可以通过很多种方式来判断，比如通过del.ici.ous这个站点，看有多少人收藏了这个页面，据此判断。

##也可以通过google.com/alltheweb.com的反向链接有多少来判断。

##运行方式：

##pythongetURLRank.py--默认检查我的blog的各种人气指数(delicious/google/alltheweb/msn/sogou/siteexplorer.search.yahoo.com)

##pythongetURLRank.pydelicious--检查我的blog被del.ici.ous收藏程度

##pythongetURLRank.pyallthweb--检查我的blog被allthweb.com搜索到了多少个反向链接

##pythongetURLRank.pygoogle--检查我的blog被google.com搜索到了多少个反向链接

##pythongetURLRank.pymsn--检查我的blog被search.msn.com搜索到了多少个反向链接

##pythongetURLRank.pysogou--检查我的blog被www.sogou.com评分SogouRank是多少

##pythongetURLRank.pyyahoo--检查我的blog被siteexplorer.search.yahoo.com收集到的Inlinks是多少

##pythongetURLRank.pyhttp://blog.csdn.net--检查csdnblog的各种人气指数(delicious/google/alltheweb/msn/sogou)

##pythongetURLRank.pyhttp://blog.csdn.netalltheweb--检查csdnblog被allthweb搜索到了多少个反向链接

##pythongetURLRank.pyhttp://blog.csdn.netgoogle--检查csdnblog被google搜索到了多少个反向链接

##pythongetURLRank.pyhttp://blog.csdn.netmsn--检查csdnblog被search.msn.com搜索到了多少个反向链接

##pythongetURLRank.pyhttp://blog.csdn.netsogou--检查csdnblog的SogouRank是多少

##(2)历史记录:

##创建人:zhengyun_ustc(2006年9月3日,上午1:00)

##修改人:zhengyun_ustc(2006年9月3日,上午2:30，增加了对alltheweb.com这个搜索引擎的支持，并根据pandaxiaoxi的建议增加了getattr转发器)

##修改人:zhengyun_ustc(2006年9月3日,下午4:30，增加了对google.com和search.msn.com搜索引擎的支持)

##修改人:zhengyun_ustc(2006年9月3日,下午5:10，增加了对www.sogou.com搜索引擎的SogouRank检测支持)

##修改人:zhengyun_ustc(2006年9月5日,下午2:10，增加了对siteexplorer.search.yahoo.com搜索引擎的Inlinks检测支持)

##联系我:GoogleTalk>>zhengyun(at)gmail.com

##Blogs:http://blog.csdn.net/zhengyun_ustc/

##zhengyun_ustc这个python版本的getURLRank，代码您可以借鉴，但不得用于商业用途，除非得到zhengyun_ustc的授权。

fromsgmllibimportSGMLParser

importos,sys,re

importsocket

importhttplib

importurllib

importurllib2

fromxml.domimportminidom

name='zhengyun'

google_email='your@gmail.com'

google_password='pass'

#可以将要替换的东西写成一个list或字典来对应，然后通过循环进行替换

#aReplaceURL=[('://','%3A%2F%2F'),('/','%2F')]

#google声明：“未经Google事先明确许可，不得将任何形式的自动查询发到Google系统。请注意，“自动查询”包括通过使用软件向Google发送查询来确定搜索不同内容时网站的Google排名”

#所以如果要用Google的某些服务，比如日历，我们只能事先登录。

#但是对于查询，是不用登录的。

definitGoogleLogin(email,passwd):

params=urllib.urlencode({'Email':email,

'Passwd':passwd,

'service':'cl',

'source':'upbylunch-googie-0'})

headers={"Content-type":"application/x-www-form-urlencoded"}

print'enterinitGoogleLoginfunction...'

conn=httplib.HTTPSConnection("www.google.com")

conn.request("POST","/accounts/ClientLogin",params,headers)

response=conn.getresponse()

data=response.read()

#IftheloginfailsGooglereturns403

ifresponse.status==403:

google_auth=None

else:

google_auth=data.splitlines()[2].split('=')[1]

print'google_auth='+google_auth

conn.close

returngoogle_auth

classGoogleClRedirectHandler(urllib2.HTTPRedirectHandler):

defhttp_error_301(self,req,fp,code,msg,hdrs):

result=urllib2.HTTPRedirectHandler.http_error_301(self,req,fp,code,msg,hdrs)

result.status=code

returnresult

defhttp_error_201(self,req,fp,code,msg,hdrs):

return'Success'

defhttp_error_302(self,req,fp,code,msg,hdrs):

result=urllib2.HTTPRedirectHandler.http_error_302(self,req,fp,code,msg,hdrs)

result.status=code

returnhdrs.dict['location']

#获取web页面内容并返回

defgetURLContent(url):

print"getURL:%s"%url

f=urllib.urlopen(url)

data=f.read()

f.close()

returndata

#检查del.ici.ous站点对你的收藏情况的函数

defparse_delicious(url):

print'enterparse_deliciousfunction...'

#这是delicious网站检查连接是否被收藏的链接前缀

delicousPrefixURL='http://del.icio.us/url/check?url='

#fori,jinaReplaceURL:

#postData=url.replace(i,j)

postData=delicousPrefixURL+urllib.quote_plus(url)

print'del.ici.ousqueryurl:'+postData

#下面这个data元素是delicious网站检查结果的HTML

data=getURLContent(postData)

#printdata

#下面我们要从中通过正则表达式

#urls*hass*beens*saveds*by(s*?[^p]*s*)people

#来解析出到底有多少人收藏了：

pParsere=re.compile('url\s*has\s*been\s*saved\s*by(\s*?[^p]*\s*)people')

#print'输出正则表达式对象:'

#printpParsere

#正式开始解析,此处使用pParsere.match(data)是不行的；只能使用pParsere.search(data)

matchDelicious=pParsere.search(data)

if(matchDelicious):

#print'有多少个人收藏?是否解析成功呢？:'

#printmatchDelicious

print'有多少个人收藏了你的url呢:'

#如果这里输出matchDelicious.group(0)，那么将会是整个输出，如“urlhasbeensavedby2people”

#而如果是group(1)，则是正确的数字：2

printmatchDelicious.group(1).replace(',','')

else:

#那我们只有通过正则表达式

#Theres*iss*nos*del.icio.uss*historys*fors*thiss*url

#来解析出是不是没有人收藏了：

pParsere=re.compile('There\s*is\s*no\s*del.icio.us\s*history\s*for\s*this\s*url')

#print'输出正则表达式对象:'

#printpParsere

#正式开始解析,此处使用pParsere.match(data)是不行的；只能使用pParsere.search(data)

matchDelicious=pParsere.search(data)

if(matchDelicious):

print'是不是没有人收藏?是否解析成功呢？:'

printmatchDelicious

print'没有人收藏这个url!'

print'outparse_deliciousfunction...'

#检查Alltheweb站点对你的反向链接情况的函数

defparse_alltheweb(url):

print'enterparse_allthewebfunction...'

#这是Alltheweb网站检查是否有反向链接的前缀

#_sb_lang=any这个参数极其的重要！

#如果没有这个参数，那么alltheweb仅仅在english里搜索，那么势必会造成失真，比如我的blog只有12个结果；

#只有发起请求的时候就列出“_sb_lang=any&”参数，才可以在全部语言中搜索，这样我的blog就有212个结果了。

AllthewebPrefixURL='http://www.alltheweb.com/urlinfo?_sb_lang=any&q='

#fori,jinaReplaceURL:

#postData=url.replace(i,j)

postData=AllthewebPrefixURL+urllib.quote_plus(url)

print'Allthewebqueryurl:'+postData

#下面这个data元素是Alltheweb网站检查结果的HTML

data=getURLContent(postData)

#printdata

#下面我们要从中通过正则表达式

#<spans>(?<howmanyalltheweb>[^ <img alt="" align="top" src="http://images.csdn.net/syntaxhighlighting/OutliningIndicators/None.gif">#来解析出到底有多少个反向链接： <img alt="" align="top" src="http://images.csdn.net/syntaxhighlighting/OutliningIndicators/None.gif">pParsere=re.compile(r'<spans>(?P<howmanyalltheweb>[^') <img alt="" align="top" src="http://images.csdn.net/syntaxhighlighting/OutliningIndicators/None.gif">#print'输出正则表达式对象:' <img alt="" align="top" src="http://images.csdn.net/syntaxhighlighting/OutliningIndicators/None.gif">#printpParsere <img alt="" align="top" src="http://images.csdn.net/syntaxhighlighting/OutliningIndicators/None.gif">#正式开始解析,此处使用pParsere.match(data)是不行的；只能使用pParsere.search(data) <img alt="" align="top" src="http://images.csdn.net/syntaxhighlighting/OutliningIndicators/None.gif">matchAlltheweb=pParsere.search(data) <img alt="" align="top" src="http://images.csdn.net/syntaxhighlighting/OutliningIndicators/None.gif">if(matchAlltheweb): <img alt="" align="top" src="http://images.csdn.net/syntaxhighlighting/OutliningIndicators/None.gif">#print'有多少个反向链接?是否解析成功呢？:' <img alt="" align="top" src="http://images.csdn.net/syntaxhighlighting/OutliningIndicators/None.gif">#printmatchAlltheweb <img alt="" align="top" src="http://images.csdn.net/syntaxhighlighting/OutliningIndicators/None.gif">print'Alltheweb有多少个反向链接呢:' <img alt="" align="top" src="http://images.csdn.net/syntaxhighlighting/OutliningIndicators/None.gif">#而如果是group(1)，则是正确的数字：212 <img alt="" align="top" src="http://images.csdn.net/syntaxhighlighting/OutliningIndicators/None.gif">printmatchAlltheweb.group(1).replace(',','') <img alt="" align="top" src="http://images.csdn.net/syntaxhighlighting/OutliningIndicators/None.gif">else: <img alt="" align="top" src="http://images.csdn.net/syntaxhighlighting/OutliningIndicators/None.gif">#那我们只有通过正则表达式 <img alt="" align="top" src="http://images.csdn.net/syntaxhighlighting/OutliningIndicators/None.gif">#Nos*Webs*pagess*founds*thats*matchs*yours*query <img alt="" align="top" src="http://images.csdn.net/syntaxhighlighting/OutliningIndicators/None.gif">#来解析出是不是没有反向链接： <img alt="" align="top" src="http://images.csdn.net/syntaxhighlighting/OutliningIndicators/None.gif">pParsere=re.compile('No\s*Web\s*pages\s*found\s*that\s*match\s*your\s*query') <img alt="" align="top" src="http://images.csdn.net/syntaxhighlighting/OutliningIndicators/None.gif">#print'输出正则表达式对象:' <img alt="" align="top" src="http://images.csdn.net/syntaxhighlighting/OutliningIndicators/None.gif">#printpParsere <img alt="" align="top" src="http://images.csdn.net/syntaxhighlighting/OutliningIndicators/None.gif">#正式开始解析,此处使用pParsere.match(data)是不行的；只能使用pParsere.search(data) <img alt="" align="top" src="http://images.csdn.net/syntaxhighlighting/OutliningIndicators/None.gif">matchAlltheweb=pParsere.search(data) <img alt="" align="top" src="http://images.csdn.net/syntaxhighlighting/OutliningIndicators/None.gif">if(matchAlltheweb): <img alt="" align="top" src="http://images.csdn.net/syntaxhighlighting/OutliningIndicators/None.gif">print'是不是没有反向链接?:' <img alt="" align="top" src="http://images.csdn.net/syntaxhighlighting/OutliningIndicators/None.gif">printmatchAlltheweb <img alt="" align="top" src="http://images.csdn.net/syntaxhighlighting/OutliningIndicators/None.gif">print'这个url没有反向链接!' <img alt="" align="top" src="http://images.csdn.net/syntaxhighlighting/OutliningIndicators/None.gif"> <img alt="" align="top" src="http://images.csdn.net/syntaxhighlighting/OutliningIndicators/None.gif">print'outparse_allthewebfunction...' <img alt="" align="top" src="http://images.csdn.net/syntaxhighlighting/OutliningIndicators/None.gif"> <img alt="" align="top" src="http://images.csdn.net/syntaxhighlighting/OutliningIndicators/None.gif">#解析google网页内容，得到有多少个连接 <img alt="" align="top" src="http://images.csdn.net/syntaxhighlighting/OutliningIndicators/None.gif">defparseGoogleResult(page): <img alt="" align="top" src="http://images.csdn.net/syntaxhighlighting/OutliningIndicators/None.gif">m=re.search('(?ofabout)([0-9]|,)+',page) <img alt="" align="top" src="http://images.csdn.net/syntaxhighlighting/OutliningIndicators/None.gif">returnm.group(0).replace(',','') <img alt="" align="top" src="http://images.csdn.net/syntaxhighlighting/OutliningIndicators/None.gif"> <img alt="" align="top" src="http://images.csdn.net/syntaxhighlighting/OutliningIndicators/None.gif">#检查google站点对你的反向链接情况的函数 <img alt="" align="top" src="http://images.csdn.net/syntaxhighlighting/OutliningIndicators/None.gif">defparse_google(url): <img alt="" align="top" src="http://images.csdn.net/syntaxhighlighting/OutliningIndicators/None.gif">print'enterparse_googlefunction...' <img alt="" align="top" src="http://images.csdn.net/syntaxhighlighting/OutliningIndicators/None.gif"> <img alt="" align="top" src="http://images.csdn.net/syntaxhighlighting/OutliningIndicators/None.gif">#首先模拟google登录，获取验证信息: <img alt="" align="top" src="http://images.csdn.net/syntaxhighlighting/OutliningIndicators/None.gif">#google_auth=initGoogleLogin(google_email,google_password) <img alt="" align="top" src="http://images.csdn.net/syntaxhighlighting/OutliningIndicators/None.gif"> <img alt="" align="top" src="http://images.csdn.net/syntaxhighlighting/OutliningIndicators/None.gif">#这是google网站检查是否有反向链接的前缀 <img alt="" align="top" src="http://images.csdn.net/syntaxhighlighting/OutliningIndicators/None.gif">GooglePrefixURL='http://www.google.com/search?hl=en&q=link%3A' <img alt="" align="top" src="http://images.csdn.net/syntaxhighlighting/OutliningIndicators/None.gif">#fori,jinaReplaceURL: <img alt="" align="top" src="http://images.csdn.net/syntaxhighlighting/OutliningIndicators/None.gif">#postURL=url.replace(i,j) <img alt="" align="top" src="http://images.csdn.net/syntaxhighlighting/Outli

分享到：