`
chanshui
  • 浏览: 84620 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

Python 定时抓取文件功能代码

阅读更多
#!usr/bin/python

import urllib2,time;
class ErrorHandler(urllib2.HTTPDefaultErrorHandler):
    def http_error_default(self, req, fp, code, msg, headers):
        result = urllib2.HTTPError(req.get_full_url(), code, msg, headers, fp)
        result.status = code
        return result

URL='http://www.ibm.com/developerworks/js/ajax1.js'
req=urllib2.Request(URL)
mgr=urllib2.build_opener(ErrorHandler())

while True:
    ns=mgr.open(req)
    if(ns.headers.has_key('last-modified')):
        modified=ns.headers.get('last-modified')
    if(ns.code==304):
        print '''
          ==============================
              NOT MODIFIED
          ==============================
        '''
    elif(ns.code==200):
        print ns.read()
    else:
        print 'there is an error';
       
    if(not locals().has_key('modified')):
        modified=time.time();
    req.add_header('If-Modified-Since',modified)
    time.sleep(10)
分享到:
评论

相关推荐

    屏幕浏览器定时截图Python代码

    本话题将探讨如何利用Python实现屏幕浏览器的定时截图功能。这个功能对于监控网页变化、自动化测试或者数据分析等场景非常有用。 首先,我们关注的"Python截图"涉及到Python中的一个关键库——Pillow库(PIL的更新...

    图片定时抓取代码

    本项目名为“图片定时抓取代码”,其主要功能是自动化地从指定网页抓取图片,并且设置为定时任务,使得程序能持续运行,无需人工干预。下面将详细介绍这个项目涉及的关键知识点。 1. **网络请求**: - `curl`:这...

    Python-抓取知乎V2EX等网站热榜信息

    4. **持续抓取**:为了跟踪热榜的变化,可以设定定时任务(如使用Python的APScheduler库),周期性地运行爬虫程序。 5. **代码优化**:使用函数封装重复的操作,提高代码复用性;对于复杂的解析逻辑,可以考虑使用...

    python各种代码合集

    10. **测试和调试**:Python有unittest和pytest等测试框架,以及pdb调试器,帮助开发者确保代码的质量和功能的正确性。 11. **Jupyter Notebook**:这是一种交互式环境,常用于数据分析和教学,允许开发者将代码、...

    Python定时爬取东方财富行情数据代码

    接着,数据的定时抓取通常涉及任务调度。Python中的`schedule`库或者`APScheduler`库可以实现定时任务。设定一个定时函数,按照预设的时间间隔(如每小时、每天)执行爬虫程序,获取最新的行情数据。 对于数据存储...

    9个python自动办公项目源代码

    3. **邮件自动化**:使用`smtplib`和`email`库,可以实现Python发送邮件的功能,这在办公自动化中十分有用,比如定时报告、通知等。 4. **文件操作**:`os`和`shutil`库可以帮助我们进行文件和目录的创建、移动、...

    适合python新手学习的代码

    8. 文件读写图片:Python的内置open函数可以读写文本文件,PIL(Python Imaging Library)或其分支Pillow则用于处理图像文件,包括读取、保存、缩放、裁剪等操作。 通过学习以上这些Python知识点,新手不仅能掌握...

    Python项目开发23套源代码大全(上).zip

    6. **自动化脚本**:Python常用于编写系统管理脚本,如文件操作、定时任务、系统监控等,你可以通过这些项目学习到如何编写高效、实用的脚本。 7. **科学计算**:NumPy和SciPy库提供了强大的科学计算功能,项目可能...

    python-金牌讲师课件及其代码

    "python-金牌讲师课件及其代码"这个资源包含了一位经验丰富的金牌讲师的Python教学材料和配套的代码示例,这对于学习和深化Python知识是非常有价值的。 首先,我们要理解Python的基础知识。Python的语法结构清晰,...

    Python自动化办公(2021最新版!有源代码 ,).zip

    Python的`openpyxl`库可以用来创建、读取和修改Excel文件,实现公式计算、图表生成等功能。 5. **邮件自动化**:使用`smtplib`和`email`库,可以构建发送电子邮件的自动化脚本,节省日常邮件通知和文件传输的时间。...

    用python编写的网页监控源代码.rar

    4. **定时任务**:为了实现持续监控,代码可能使用了Python的定时任务库,如`schedule`或`APScheduler`,来定期执行网页抓取和比较操作。 5. **异常处理**:在实际运行中,可能会遇到网络问题、服务器错误等异常...

    如何基于windows实现python定时爬虫

    在Windows环境下实现Python定时爬虫,主要是通过利用Windows的任务计划程序来定时运行Python脚本,这样可以在指定的时间自动执行爬取任务。以下是一份详细步骤和相关知识点的介绍。 首先,你需要有一个Python爬虫...

    python案例集锦pdf文件.zip

    2. 文件操作:Python提供了强大的文件操作功能,包括读写文件、处理文本和二进制数据。学习者应掌握如何打开、关闭文件,以及使用read、write、append等方法。 3. 模块与库:Python有丰富的标准库和第三方库。如...

    python模拟google浏览器抓取数据

    定时抓取 如果希望每隔一段时间自动抓取一次数据,可以使用`time.sleep()`函数来实现定时任务。例如,下面的代码实现了每隔1秒自动抓取并保存数据的功能: ```python import time def done(): browser = ...

    python每天定时运行某程序代码

    总之,Python定时运行程序的核心是结合`time`模块和循环结构,根据需求调整判断条件和执行逻辑。这个简单的示例提供了一个基础框架,但实际应用中可能需要考虑更多的细节和优化,以适应不同的定时任务需求。同时,...

    python实现桌面壁纸自动更换(附源码)

    本文将详细介绍如何使用Python实现这一功能,并分析提供的源代码文件。 首先,我们要了解Python中的几个关键概念和技术。在这个项目中,主要涉及了文件操作、网络请求、数据库管理和定时任务。 1. 文件操作:在`...

    python代码练习题

    6. 自动化脚本:编写脚本自动执行日常任务,如文件管理、定时发送邮件等。 通过上述练习,你可以不断巩固Python基础知识,提升编程技巧,逐渐形成良好的代码习惯和问题解决能力。同时,不要忘记持续学习新的Python...

    python_Flak定时任务Demo

    这个"python_Flask定时任务Demo"是一个很好的学习资源,可以帮助你快速上手Flask的定时任务功能。通过阅读和运行源代码,你可以更深入地理解如何在Flask应用中集成和管理定时任务。同时,这也可以作为你进一步探索...

    python向钉钉群发送消息、接受消息

    Python向钉钉群发送消息和接收消息是通过钉钉开放平台提供的API实现的,这使得开发者可以方便地集成钉钉功能到自己的应用中。在这个场景下,`ding1.py`和`ding.py`两个文件分别对应了消息的发送和接收功能。 首先,...

    Python大作业,包含爬虫、系统等项目,包括论文和代码,总共六个项目

    在本压缩包中,我们拥有六个基于Python的项目,涵盖了爬虫技术和系统开发等领域,同时包含对应的论文和源代码,这对于学习和理解Python在实际应用中的能力是非常宝贵的资源。接下来,我们将深入探讨这些知识点。 ...

Global site tag (gtag.js) - Google Analytics