`
Jarymin
  • 浏览: 67770 次
  • 性别: Icon_minigender_1
  • 来自: Mars
社区版块
存档分类
最新评论

工作杂记

工作Python体育资讯Google 
阅读更多

今天接到一个任务,实现一个Spider,来方便团队的资讯和内容编辑人员,提高团队的开发效率.说实话,这个东西经常看见别人提起,但是实际动手发现一个问题是,简单的功能好做但是普遍的适应性就很差:比如可以在Sina体育版的新闻实现我的需求可是在时政版就不行-_-!

还有一些专题带了Video的,这个就得做一大堆的条件预判断,OMG,网易和Sohu偶还没有考虑呢!

不过我也发现Google的爬虫也是Python的，呵呵,貌似做的好的爬虫至少需要考虑

1.频繁的小文件读取

2.网站的普遍适应性(采集的命中率)

3.高可靠性

暂时就这么多了,经过昨天12小时的coding大概除了一个单页面的alpha版本,效率还有待提高啊:)

Technorati 标签: Python,Spider
分享到：
| 明天要开工了
评论
2 楼 Jarymin 2008-01-18  
确实很难做到通用,不过我的想法是做成独立的API然后调用
1 楼 imjl 2008-01-18  
通用难哦。
发表评论

您还没有登录,请您登录后再发表评论

相关推荐

    工作杂记-YUV的dump和read

    工作杂记-YUV的dump和read

    李特伍德 一个数学家的杂记.pdf

    拉马努金是20世纪最杰出的数学家之一，他对数论做出了巨大贡献，他的工作揭示了许多深刻的数学结构和模式，为现代数学研究提供了丰富的灵感。 此外，杂记中可能包含了对经典文献的评论，比如牛顿和大球的引力问题的...

    XLSReadWrite使用杂记

    下面是对XLSReadWrite的使用杂记，涵盖了基本操作、单元格赋值、删除工作表中的行列、工作表数量读取、工作表名称修改、新建工作表等方面的知识点。 基本操作 * 在Delphi中使用XLSReadWrite操作Excel文件，需要...

    51单片机C语言学习杂记

    本资料“51单片机C语言学习杂记”旨在帮助读者掌握51单片机的基础知识，并通过C语言进行编程实践。 51单片机的核心部件包括CPU、存储器（包括ROM、RAM）、定时器/计数器、串行通信接口、并行I/O端口等。其中，CPU...

    51 单片机C 语言学习杂记

    《51单片机C语言学习杂记》是一份针对初学者编写的教程，旨在帮助读者掌握51系列单片机的C语言编程基础。51单片机是微控制器领域中最经典、最广泛使用的型号之一，其硬件结构简单、性价比高，适合初学者入门学习。...

    51单片机P89V51学习杂记.rar

    通过阅读手册，开发者可以了解单片机的工作原理，掌握如何编程和配置其硬件资源。 **51单片机C语言学习杂记**则是一份实践性的教程，针对使用C语言编程51单片机提供了实用技巧和实例。C语言是嵌入式开发中常用的...

    InstallshieldX安装制作杂记.rar

    在安装包制作过程中，首先要了解的是Installshield的基本概念和工作流程。它包括创建项目、设置项目属性、添加文件、配置安装序列、处理注册表项、创建快捷方式、处理依赖关系以及生成最终的安装包等步骤。其中，...

    单片机C语言学习杂记

    ### 单片机C语言学习杂记 #### 一、单片机与C语言简介 在电子技术领域，单片机是一种集成了微处理器、存储器以及多种输入输出接口的微型计算机系统。51单片机是基于MCS-51架构的一种广泛使用的单片机型。由于其...

    InstallshieldX安装制作杂记

    《InstallshieldX安装制作杂记——自定义对话框的实现》 在软件开发过程中，安装程序的制作是一项不可或缺的工作。InstallshieldX作为一款强大的安装包制作工具，提供了丰富的功能，其中包括自定义对话框的创建，这...

    51单片机Ｃ语言学习杂记.doc

    这款软件支持多种MCS51架构的芯片，提供编辑、编译和仿真等功能，界面友好且易于学习，对于51单片机的开发工作非常实用。 在安装KEIL51软件后，教程指导读者如何建立第一个C语言项目。首先，通过Project菜单创建新...

    互联网杂记（四）.docx

    为了平衡沟通和项目进度，建立群组共享信息是一种有效的方法，团队成员应定期报告工作进度，以确保协作的顺畅。 3. “研究”：作者对过度使用“研究”一词表示不满，认为多数情况下只是学习而非深入研究。真正的...

    oracle 9i杂记

    在这个"Oracle 9i杂记"中，我们可能会探讨关于数据库设计、性能优化、SQL查询、存储过程、安全管理等多个方面。 1. **数据库设计**：Oracle 9i在数据库设计上提供了更高级的数据类型，如BLOB（Binary Large Object...

    ddddocr杂记，使用ddddocr、flask

    在本项目中，"ddddocr杂记，使用ddddocr、flask" 主要涉及的是一个基于Python的OCR（Optical Character Recognition，光学字符识别）应用，利用ddddocr库进行文字识别，并结合Flask框架构建了一个后端服务。...

    \51单片机C语言学习杂记.

    7. **定时器/计数器**：51单片机有多个定时器/计数器，掌握它们的工作原理，如何配置定时器模式，以及在C语言中如何启动、停止和读取计数值。 8. **串行通信**：理解UART串行通信协议，学会在C语言中设置波特率、...

    JBoss配置杂记

    ### JBoss配置杂记知识点详解 #### 一、配置JBoss以80端口服务 在JBoss配置中，若想让JBoss监听在标准的HTTP端口80上，而不是默认的8080，需要对配置文件进行相应的修改。具体步骤如下： 1. **定位配置文件**：...

    Android平台搭建杂记

    Android平台搭建对于初入Android开发领域的新手来说是一项基础但至关重要的工作。本文将详细介绍如何在Windows环境下搭建一个完整的Android开发环境，包括Eclipse、NDK、JDK和SDK，并通过创建一个SO库实例来帮助理解...

    concurrent 杂记

    在Java并发编程中，AbstractQueuedSynchronizer（AQS）是一个重要的抽象类，它是实现锁和其他同步组件的基础。AQS通过一个int类型的state变量来管理锁的状态，...理解AQS的工作原理对于深入理解Java并发编程至关重要。

    stm8s003f3使用杂记

    本杂记将根据个人经验，总结在使用STM8S003F3时遇到的问题，以及个人整理的解决方法。 开发环境选择IAR，是一种常用于嵌入式系统开发的集成开发环境。在程序下载过程中，可能会遇到无法写入程序的问题，需要从以下...

    liunx操作杂记

    ### Linux操作杂记 在日常使用Linux的过程中，我们经常会遇到各种各样的问题，也需要掌握一些基本的操作技巧来提高工作效率。本文将围绕“liunx操作杂记”这一主题，总结并详细解释一些实用的命令和技巧，包括但不...

Magicbox
Global site tag (gtag.js) - Google Analytics