python抓取

准备工作
可以使用Python2.5，推荐使用2.4，因为需要兼顾wkfs的接口。

安装easy_install，pycurl，lxml；建议使用firefox浏览器，可以方便的使用各种调试插件。

基本知识
需要了解python中unicode的原理，以便掌握GBK和UTF-8的转换方法.

假设content是GBK编码，在python中，转换成UTF-8的方法如下：

Content=Content.decode(‘gbk’).encode(‘utf-8’)


Python中的常用集合类包括链表list=[]和字典dict={}。

3  专业技能

熟练掌握xpath，强烈推荐在信息抽取时使用xpath，这是一种基于文档结构的方法。优于使用正则表达式。正则表达式是一种字符串匹配的方法，难于维护。经常用到的xpath很少，比如抽取页面里的全部链接 “//a” 就好了，可以用它把程序写的很优雅，易于维护。Lxml是python实现的高效的xml解析工具，易于使用，示例如下：

建立DOM : dom=lxml.html.document_fromstring(content)
得到符合XPATH的元素列表：alist=dom.xpath(“//a[@id=’123’]”)
对这些元素做处理：
For a in alist:

   Do something

   需要指出的是，传入lxml.html.document_fromstring的content最好是unicode的，

   因此可以先做一个变换：content=content.decode(‘encoding’)。

   和服务器交互，推荐使用pycurl,这个部分已经封装好了，只要使用就可以了。

def get_curl(user_agent="MSIE"):
    "initialize curl handle"
    dev_null = _StringIO.StringIO()
    curl_handle = pycurl.Curl()
    curl_handle.setopt(pycurl.FOLLOWLOCATION, 1)
    curl_handle.setopt(pycurl.MAXREDIRS, 5)
    curl_handle.setopt(pycurl.CONNECTTIMEOUT, connection_timeout)
    curl_handle.setopt(pycurl.TIMEOUT, timeout)
    curl_handle.setopt(pycurl.NOSIGNAL, 1)
    curl_handle.setopt(pycurl.LOW_SPEED_LIMIT, 100)
    curl_handle.setopt(pycurl.LOW_SPEED_TIME, low_speed_time)
    curl_handle.setopt(pycurl.HTTPHEADER, ["User-Agent: %s" % "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0)", accept_type])
    curl_handle.setopt(pycurl.MAXFILESIZE, max_size)
    curl_handle.setopt(pycurl.COOKIEFILE, 'cookies.txt')
    curl_handle.setopt(pycurl.COOKIEJAR, 'cookies.txt')
    curl_handle.setopt(pycurl.WRITEFUNCTION, dev_null.write)
   
    return curl_handle


def curl_fetch(curl_handle, url):
   
    fp = _StringIO.StringIO()
    curl_handle.setopt(pycurl.URL, url)
    curl_handle.setopt(pycurl.WRITEFUNCTION, fp.write)
   
    # perform the transfer
    try:
        curl_handle.perform()
    except pycurl.error, e:
        print e
        return (-1,0,0)
    content_type = curl_handle.getinfo(pycurl.CONTENT_TYPE)
    return (curl_handle.getinfo(pycurl.HTTP_CODE),fp.getvalue(), content_type)