用python进行分布式网页数据抓取（一）——设计

这几天做一个小项目，分给我的模块是对于BOKECC体系网站的抓取。

从来没有用过python，这次来尝一下鲜，感觉还行~

BOKECC就是一个视频网站的解决方案，我的任务很简单，就是给定一个网址，我来抓取对应页面上的数据内容。

整个系统采用分布式架构，我来负责做爬虫节点。

简单来说就是整个系统可分布式部署，每个节点接收来自控制者的远程调用，独立完成任务，并向上级汇报完成情况。

这里采用暴露WebService的方式来提供接口。

功能需求点	概述
输入	提供webservice接口供主控调用，异步启动爬虫任务。
输出	1. 在正常接收、启动任务后立即给主控返回接收成功。 2. 在完成任务/任务失败后调用主控提供的回调接口。 3. 抓取成功后，将抓取数据保存至数据库。
错误处理	抓取异常情况下，应该将错误原因汇报给主控，并记录日志。
并发性需求	模块支持多线程并发调用。

BOKECC体系网站有非常多个，通过进行实际情况调研，发现各个页面在数据上有所不同（但大同小异），为了省事，我决定只用一套代码来爬取所有对应站点。那就要求我们的代码具有通用性。

另外，客户端要实现0配置，爬取的结果写入数据库。（数据库配置参与也应该由控制者——WEB接口调用者来决定）。所以我们在节点上维护一个数据库连接池。

大致流程如下：

在实际编码过程中也没有严格遵守此流程，进行了相应的扩展，不过大体如上。

日志记录设计：

日志条目	级别	记录信息
WebService接口被调用	Info	调用方IP及各接口参数
主控身份校验失败	Warn	调用方IP
开始建立/更新数据库连接池	Info	数据库参数
数据库连接失败	Error，Notify	失败原因
数据库连接成功	Info
开始启动爬虫任务	Debug
开始抓取网页	Info	URL
一次网页抓取超时	Warn	当前重试次数
一次网页抓取异常	Warn	异常原因
重试范围内网页抓取失败	Error，Notify
网页抓取成功	Debug
开始内容匹配	Info
正则表达式匹配失败	Error，Notify	失败字段、失败原因
正则表达式匹配成功	Debug
开始更新数据库	Info
SQL操作	Debug	SQL语句
更新数据库完成	Debug
写数据库异常	Error，Notify	当前执行的SQL语句，异常原因
任务成功	Info

技术选型：

开发平台: windowsXP

部署平台: 跨平台

编程语言：python2.5

IDE+plug-in：MyEclipse 7.0 + pydev

具体使用的python技术：

功能	技术选型
网页抓取	urllib2
内容解析，正则表达	re
WebService	ZSI2.0
SOAP协议	SOAPpy(ZSI依赖)
XML	pyXML(ZSI依赖)
Web服务器	ZSI自带SOAP SERVER 或Apache
发布、部署	Windows平台：py2exe

下面一节将进入正式编码阶段。