`
rcfalcon
  • 浏览: 228047 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

翻旧账,自己参加工作一年时写的设计文档

 
阅读更多

看着曾经自己写的文档,一丝笑意涌过心头。一分是为当时稚嫩的设计,一分是为当时入神入微,矜矜业业的态度。

 

这个设计是一个系统的数据抓取部分的设计,如果现在让我设计,肯定完全是另一个样。此系统早已不再运行,所以可以放心的拿出来,仅博一笑。

 

 

 

XXXX站点监控——详细信息爬虫设计

 

版本:V0.1

作者:XX

时间:2010-9-13

需求

根据视频title及页面URL,到具体网页中抓取视频各项属性及信息。

 

功能需求点

概述

输入

提供webservice接口供主控调用,异步启动爬虫任务。

输出

1.       在正常接收、启动任务后立即给主控返回接收成功。

2.       在完成任务/任务失败后调用主控提供的回调接口。

3.       抓取成功后,将抓取数据保存至数据库。

错误处理

抓取异常情况下,应该将错误原因汇报给主控,并记录日志。

并发性需求

模块支持多线程并发调用。

 

 

实际情况调研

根据各XXXX网站HTML源码分析,在界面/结构上基本相同,但在不同网站、或者同一网站部同视频间存在若干细微的“版本”差异,所以需要在开发过程中,制定良好的爬取方案以适应各站点视频页面上的变化。

接口设计

使用WebService接口,SOAP协议。

 

l  版本

http://xxxxx/netvideo/bokecc/vinfoant/version?wsdl

INTPUT:NULL

 

OUTPUT:当前版本

如 0.1

 

 

 

l  爬取

http://xxxxx/netvideo/bokecc/vinfoant/run?wsdl

 

INPUT:


参数

描述

类型

备注

dbip

连接数据库IP

String

 

dbport

连接数据库端口

Integer

 

dbname

数据库名

String

 

dbuser

数据库用户名

String

 

dbpw

数据库密码

String

 

videoId

需爬取的视频id

Integer

 

sessionId

任务id

Integer

 

timeout

超时时间

Integer

 

callbackAddr

回调地址

String

任务完成之后调用的地址

 

OUTPUT:

Responese(WebService调用同步返回):

Id

描述

0

接受成功

-1

主控身份错误,禁止进入

-2

数据库连接失败

 

Callback(WebService调用异步返回):


参数

描述

类型

备注

sessionId

任务id

Integer

 

status

任务完成状态

Integer

0 成功

-1 网络情况异常

-2 正则表达式匹配错误

 

 

 

 

 

 

 

 

 

 

 

流程设计

1.  爬取任务整体流程

 



 

2.  内容匹配流程

 



 

日志设计

日志条目

级别

记录信息

WebService接口被调用

Info

调用方IP及各接口参数

主控身份校验失败

Warn

调用方IP

开始建立/更新数据库连接池

Info

数据库参数

数据库连接失败

Error,Notify

失败原因

数据库连接成功

Info

 

开始启动爬虫任务

Debug

 

开始抓取网页

Info

URL

一次网页抓取超时

Warn

当前重试次数

一次网页抓取异常

Warn

异常原因

重试范围内网页抓取失败

Error,Notify

 

网页抓取成功

Debug

 

开始内容匹配

Info

 

正则表达式匹配失败

Error,Notify

失败字段、失败原因

正则表达式匹配成功

Debug

 

开始更新数据库

Info

 

SQL操作

Debug

SQL语句

更新数据库完成

Debug

 

写数据库异常

Error,Notify

当前执行的SQL语句,异常原因

任务成功

Info

 

技术选型

开发平台:  windowsXP

部署平台:  跨平台

编程语言:python2.5

IDE+plug-in:MyEclipse 7.0 + pydev

 

具体使用的python技术:

功能

技术选型

网页抓取

urllib2

内容解析,正则表达

re

WebService

ZSI2.0

SOAP协议

SOAPpy(ZSI依赖)

XML

pyXML(ZSI依赖)

Web服务器

ZSI自带SOAP SERVER 或Apache

发布、部署

Windows平台:py2exe


 

  • 大小: 36.1 KB
  • 大小: 25.9 KB
分享到:
评论

相关推荐

    公司财务九月份工作总结2021.pdf

    7. 态度与决心:文档显示了财务人员在工作中的爱岗敬业和严肃认真的工作态度,承诺在新的一年里继续发扬勤奋务实的工作精神,解放思想,转变观念,抓住机遇,努力改变现状。 总结而言,文档强调了财务工作的原则性...

    年终的述职报告三篇_1.docx

    【年终的述职报告】是员工在一年结束时对自己工作表现的总结,通常包含以下几个方面的内容: 1. **入职与工作进展**:述职报告通常会提及员工的入职时间,以及自入职以来的工作进展。例如,报告中提到会计在三个月...

    年终的述职报告模板五篇.docx

    【年终的述职报告模板】是文档资料的主题,通常用于个人在年末向领导或者上级汇报工作情况,展示一年的工作成绩和自我成长。述职报告是个人工作的重要体现,它可以帮助评价者了解员工的工作表现,同时也是员工自我...

    年终的述职报告范文合集7篇_1.docx

    【年终述职报告】是员工向管理层汇报一年工作情况的重要文档,通常包含个人的工作总结、成绩、问题反思以及未来规划。以下是对【年终的述职报告范文合集7篇】的详细解读: 1. **报告结构**:一篇完整的述职报告通常...

    有关年终的述职报告范文集锦5篇.docx

    【年终述职报告】是企业在年末时,员工对自己过去一年工作成果、个人成长及未来规划进行总结的报告形式。本文提供两篇述职报告的样本,分别是一名会计和一名教育工作者的报告。 1. 会计的述职报告: 会计在述职报告...

    年终的述职报告集锦七篇.docx

    【年终的述职报告】是企业或个人在一年结束时总结工作成绩、经验教训以及展望未来的重要文档。在本文档中,我们看到两篇述职报告,分别来自会计和物业保洁主管,它们展示了各自岗位的主要职责和工作成果。 1. **...

    实用的年终的述职报告模板汇编九篇.docx

    【年终述职报告】是个人对一年来工作情况的总结,通常包括个人的德、能、勤、廉等方面的评价。在上述的述职报告中,我们可以提取以下几个关键知识点: 1. **理论学习与思想道德素质**:强调了个人持续学习理论知识...

    年终的述职报告锦集六篇.docx

    【年终的述职报告】是企业或组织中员工对过去一年工作进行总结和反思的重要文档,通常包括个人工作成绩、经验教训、存在的问题以及改进措施等内容。这篇文档集合包含了六篇不同的述职报告,主要涉及会计和出纳的工作...

    年终的述职报告范文七篇.docx

    【年终的述职报告范文七篇】是一份包含多个部门或个人年终工作总结的文档,主要针对会计岗位的工作进行了详细的描述。报告中提到了以下几个关键知识点: 1. **会计工作流程**:报告展示了会计工作的一个典型周期,...

    2021年财务工作述职报告.doc

    6. **个人工作总结与展望**:财务人员对自己过去一年的工作进行总结,强调了团队协作的重要性,同时也指出存在的问题和改进方向。他们表示将立足于事业基础,以经济为导向,通过学习和发展来推动企业财务工作进步。 ...

    年终的述职报告模板集合十篇_3.docx

    【年终的述职报告模板集合十篇】是一份包含多个不同岗位年终述职报告的文档,主要目的是帮助员工在年终总结时提供参考。以下是其中三个不同角色的述职报告的关键知识点: 1. **指挥中心民警**: - 强调了以"创先争...

    个人年度工作总结模板.doc

    标题中的“个人年度工作总结模板”指的是一个用于个人年度工作回顾和评估的标准格式文档,而描述中的内容证实了这是一个模板,适用于个人对一年工作成果的总结。标签“方案”表明这可能是一个具体的行动计划或策略,...

    热门年终的述职报告四篇.docx

    1月份的工作主要集中在对上一年度的旧账进行统计处理,以及为新一年的工作做准备,如核对内部往来、固定资产账目、科目余额等。 【标签】中的“述职报告”、“word”和“文档资料”表明报告是通过Word文档格式撰写...

    年终的述职报告模板集合9篇_2.docx

    【年终述职报告】是企业在年末时,员工对自己一年工作成果、成长经历以及未来规划进行总结的文档。在撰写述职报告时,通常包含以下几个关键知识点: 1. **自我介绍与入职时间**:报告开头通常会简单介绍自己的职位...

    年终的述职报告范文锦集八篇.docx

    2. **年度收尾与筹备**:1月份的工作重点是对过去一年的旧账进行统计和处理,以及为新的一年做好准备,这反映了会计工作中年终结算和新财年规划的重要性。 3. **系统数据核对**:用友和SAP两个系统的科目余额核对...

    事业单位财务年终的工作总结.docx

    ### 事业单位财务年终工作总结知识点...通过上述知识点的梳理,可以看出事业单位财务年终工作总结不仅是一份简单的文档记录,更是对过去一年财务工作的全面审视与反思,旨在通过总结经验教训来提升未来的财务管理水平。

    工作个人述职报告锦集4篇_1.docx

    5. **年终决算工作**:年终决算是对一年财务状况的全面总结,包括结清旧账、编制会计报表,通过分析结果来指导未来预算和管理策略的改进。 6. **资源优化**:报告中提到的“科学调度,厉行节约”,意味着在满足工作...

    2013年度学校财务工作总结.doc

    这篇文档总结了2013年度某学校财务工作的主要方面,展示了该校在财务管理和后勤服务上的严谨态度和规范化操作。以下是对这些内容的详细解析: 1. **预算管理**:学校财务工作的首要任务是制定合理的收支预算。预算...

    年终的述职报告集合10篇.docx

    7. 年度总结与规划:在年初进行上年度的旧账处理和新年度的筹备,显示了对工作周期性规律的理解,以及为新一年的工作奠定基础的重要性。 8. 内部控制:核对内部往来和不同系统的数据一致性,体现了内部控制的有效...

    企业出纳新工作总结范文.doc

    6. **年终决算与报表编制**:年终决算是评估一年财务状况的重要环节,包括结算旧账、转账、编制财务报表。报表分析可以揭示管理中的问题,为未来工作提供改进方向。 7. **问题与不足**:文档中提到了一些存在的问题...

Global site tag (gtag.js) - Google Analytics