看着曾经自己写的文档,一丝笑意涌过心头。一分是为当时稚嫩的设计,一分是为当时入神入微,矜矜业业的态度。
这个设计是一个系统的数据抓取部分的设计,如果现在让我设计,肯定完全是另一个样。此系统早已不再运行,所以可以放心的拿出来,仅博一笑。
XXXX站点监控——详细信息爬虫设计
版本:V0.1
作者:XX
时间:2010-9-13
需求
根据视频title及页面URL,到具体网页中抓取视频各项属性及信息。
功能需求点
|
概述
|
输入
|
提供webservice接口供主控调用,异步启动爬虫任务。
|
输出
|
1. 在正常接收、启动任务后立即给主控返回接收成功。
2. 在完成任务/任务失败后调用主控提供的回调接口。
3. 抓取成功后,将抓取数据保存至数据库。
|
错误处理
|
抓取异常情况下,应该将错误原因汇报给主控,并记录日志。
|
并发性需求
|
模块支持多线程并发调用。
|
|
|
实际情况调研
根据各XXXX网站HTML源码分析,在界面/结构上基本相同,但在不同网站、或者同一网站部同视频间存在若干细微的“版本”差异,所以需要在开发过程中,制定良好的爬取方案以适应各站点视频页面上的变化。
接口设计
使用WebService接口,SOAP协议。
l 版本
http://xxxxx/netvideo/bokecc/vinfoant/version?wsdl
INTPUT:NULL
OUTPUT:当前版本
如 0.1
l 爬取
http://xxxxx/netvideo/bokecc/vinfoant/run?wsdl
INPUT:
参数
|
描述
|
类型
|
备注
|
dbip
|
连接数据库IP
|
String
|
|
dbport
|
连接数据库端口
|
Integer
|
|
dbname
|
数据库名
|
String
|
|
dbuser
|
数据库用户名
|
String
|
|
dbpw
|
数据库密码
|
String
|
|
videoId
|
需爬取的视频id
|
Integer
|
|
sessionId
|
任务id
|
Integer
|
|
timeout
|
超时时间
|
Integer
|
|
callbackAddr
|
回调地址
|
String
|
任务完成之后调用的地址
|
OUTPUT:
Responese(WebService调用同步返回):
Id
|
描述
|
0
|
接受成功
|
-1
|
主控身份错误,禁止进入
|
-2
|
数据库连接失败
|
Callback(WebService调用异步返回):
参数
|
描述
|
类型
|
备注
|
sessionId
|
任务id
|
Integer
|
|
status
|
任务完成状态
|
Integer
|
0 成功
-1 网络情况异常
-2 正则表达式匹配错误
|
|
|
|
|
|
|
|
|
流程设计
1. 爬取任务整体流程
2. 内容匹配流程
日志设计
日志条目
|
级别
|
记录信息
|
WebService接口被调用
|
Info
|
调用方IP及各接口参数
|
主控身份校验失败
|
Warn
|
调用方IP
|
开始建立/更新数据库连接池
|
Info
|
数据库参数
|
数据库连接失败
|
Error,Notify
|
失败原因
|
数据库连接成功
|
Info
|
|
开始启动爬虫任务
|
Debug
|
|
开始抓取网页
|
Info
|
URL
|
一次网页抓取超时
|
Warn
|
当前重试次数
|
一次网页抓取异常
|
Warn
|
异常原因
|
重试范围内网页抓取失败
|
Error,Notify
|
|
网页抓取成功
|
Debug
|
|
开始内容匹配
|
Info
|
|
正则表达式匹配失败
|
Error,Notify
|
失败字段、失败原因
|
正则表达式匹配成功
|
Debug
|
|
开始更新数据库
|
Info
|
|
SQL操作
|
Debug
|
SQL语句
|
更新数据库完成
|
Debug
|
|
写数据库异常
|
Error,Notify
|
当前执行的SQL语句,异常原因
|
任务成功
|
Info
|
|
技术选型
开发平台: windowsXP
部署平台: 跨平台
编程语言:python2.5
IDE+plug-in:MyEclipse 7.0 + pydev
具体使用的python技术:
功能
|
技术选型
|
网页抓取
|
urllib2
|
内容解析,正则表达
|
re
|
WebService
|
ZSI2.0
|
SOAP协议
|
SOAPpy(ZSI依赖)
|
XML
|
pyXML(ZSI依赖)
|
Web服务器
|
ZSI自带SOAP SERVER 或Apache
|
发布、部署
|
Windows平台:py2exe
|
- 大小: 36.1 KB
- 大小: 25.9 KB
分享到:
相关推荐
7. 态度与决心:文档显示了财务人员在工作中的爱岗敬业和严肃认真的工作态度,承诺在新的一年里继续发扬勤奋务实的工作精神,解放思想,转变观念,抓住机遇,努力改变现状。 总结而言,文档强调了财务工作的原则性...
【年终的述职报告】是员工在一年结束时对自己工作表现的总结,通常包含以下几个方面的内容: 1. **入职与工作进展**:述职报告通常会提及员工的入职时间,以及自入职以来的工作进展。例如,报告中提到会计在三个月...
【年终的述职报告模板】是文档资料的主题,通常用于个人在年末向领导或者上级汇报工作情况,展示一年的工作成绩和自我成长。述职报告是个人工作的重要体现,它可以帮助评价者了解员工的工作表现,同时也是员工自我...
【年终述职报告】是员工向管理层汇报一年工作情况的重要文档,通常包含个人的工作总结、成绩、问题反思以及未来规划。以下是对【年终的述职报告范文合集7篇】的详细解读: 1. **报告结构**:一篇完整的述职报告通常...
【年终述职报告】是企业在年末时,员工对自己过去一年工作成果、个人成长及未来规划进行总结的报告形式。本文提供两篇述职报告的样本,分别是一名会计和一名教育工作者的报告。 1. 会计的述职报告: 会计在述职报告...
【年终的述职报告】是企业或个人在一年结束时总结工作成绩、经验教训以及展望未来的重要文档。在本文档中,我们看到两篇述职报告,分别来自会计和物业保洁主管,它们展示了各自岗位的主要职责和工作成果。 1. **...
【年终述职报告】是个人对一年来工作情况的总结,通常包括个人的德、能、勤、廉等方面的评价。在上述的述职报告中,我们可以提取以下几个关键知识点: 1. **理论学习与思想道德素质**:强调了个人持续学习理论知识...
【年终的述职报告】是企业或组织中员工对过去一年工作进行总结和反思的重要文档,通常包括个人工作成绩、经验教训、存在的问题以及改进措施等内容。这篇文档集合包含了六篇不同的述职报告,主要涉及会计和出纳的工作...
【年终的述职报告范文七篇】是一份包含多个部门或个人年终工作总结的文档,主要针对会计岗位的工作进行了详细的描述。报告中提到了以下几个关键知识点: 1. **会计工作流程**:报告展示了会计工作的一个典型周期,...
6. **个人工作总结与展望**:财务人员对自己过去一年的工作进行总结,强调了团队协作的重要性,同时也指出存在的问题和改进方向。他们表示将立足于事业基础,以经济为导向,通过学习和发展来推动企业财务工作进步。 ...
【年终的述职报告模板集合十篇】是一份包含多个不同岗位年终述职报告的文档,主要目的是帮助员工在年终总结时提供参考。以下是其中三个不同角色的述职报告的关键知识点: 1. **指挥中心民警**: - 强调了以"创先争...
标题中的“个人年度工作总结模板”指的是一个用于个人年度工作回顾和评估的标准格式文档,而描述中的内容证实了这是一个模板,适用于个人对一年工作成果的总结。标签“方案”表明这可能是一个具体的行动计划或策略,...
1月份的工作主要集中在对上一年度的旧账进行统计处理,以及为新一年的工作做准备,如核对内部往来、固定资产账目、科目余额等。 【标签】中的“述职报告”、“word”和“文档资料”表明报告是通过Word文档格式撰写...
【年终述职报告】是企业在年末时,员工对自己一年工作成果、成长经历以及未来规划进行总结的文档。在撰写述职报告时,通常包含以下几个关键知识点: 1. **自我介绍与入职时间**:报告开头通常会简单介绍自己的职位...
2. **年度收尾与筹备**:1月份的工作重点是对过去一年的旧账进行统计和处理,以及为新的一年做好准备,这反映了会计工作中年终结算和新财年规划的重要性。 3. **系统数据核对**:用友和SAP两个系统的科目余额核对...
### 事业单位财务年终工作总结知识点...通过上述知识点的梳理,可以看出事业单位财务年终工作总结不仅是一份简单的文档记录,更是对过去一年财务工作的全面审视与反思,旨在通过总结经验教训来提升未来的财务管理水平。
5. **年终决算工作**:年终决算是对一年财务状况的全面总结,包括结清旧账、编制会计报表,通过分析结果来指导未来预算和管理策略的改进。 6. **资源优化**:报告中提到的“科学调度,厉行节约”,意味着在满足工作...
这篇文档总结了2013年度某学校财务工作的主要方面,展示了该校在财务管理和后勤服务上的严谨态度和规范化操作。以下是对这些内容的详细解析: 1. **预算管理**:学校财务工作的首要任务是制定合理的收支预算。预算...
7. 年度总结与规划:在年初进行上年度的旧账处理和新年度的筹备,显示了对工作周期性规律的理解,以及为新一年的工作奠定基础的重要性。 8. 内部控制:核对内部往来和不同系统的数据一致性,体现了内部控制的有效...
6. **年终决算与报表编制**:年终决算是评估一年财务状况的重要环节,包括结算旧账、转账、编制财务报表。报表分析可以揭示管理中的问题,为未来工作提供改进方向。 7. **问题与不足**:文档中提到了一些存在的问题...