`
jinheking
  • 浏览: 78730 次
  • 性别: Icon_minigender_1
社区版块
存档分类
最新评论

Python通过HTTP协议定期抓取文件(ZT)

阅读更多
#!usr/bin/python

import urllib2,time;
class ErrorHandler(urllib2.HTTPDefaultErrorHandler):
    def http_error_default(self, req, fp, code, msg, headers):
        result = urllib2.HTTPError(req.get_full_url(), code, msg, headers, fp)
        result.status = code
        return result

URL='http://www.ibm.com/developerworks/js/ajax1.js'
req=urllib2.Request(URL)
mgr=urllib2.build_opener(ErrorHandler())

while True:
    ns=mgr.open(req)
    if(ns.headers.has_key('last-modified')):
        modified=ns.headers.get('last-modified')
    if(ns.code==304):
        print '''
          ==============================
              NOT MODIFIED
          ==============================
        '''
    elif(ns.code==200):
        print ns.read()
    else:
        print 'there is an error';
        
    if(not locals().has_key('modified')):
        modified=time.time();
    req.add_header('If-Modified-Since',modified)
    time.sleep(10)
分享到:
评论

相关推荐

    Python-游戏协议数据抓取解析工具

    本文将深入探讨一个基于Python的游戏协议数据抓取解析工具,该工具利用了wxWidgets、pywin32和WinPcap库来实现其功能。让我们逐一了解这些关键组件。 首先,`wxWidgets` 是一个跨平台的GUI工具包,用于帮助开发者...

    python 通过onvif协议获取 Rtsp 视频.zip

    本主题主要关注如何使用Python编程语言通过ONVIF协议访问网络摄像机,并获取Rtsp(Real-Time Transport Protocol)视频流。 首先,了解ONVIF协议的基本概念是必要的。ONVIF定义了设备和服务的网络接口,包括媒体...

    Python实现抓取网页生成Excel文件的方法示例

    本文实例讲述了Python实现抓取网页生成Excel文件的方法。分享给大家供大家参考,具体如下: Python抓网页,主要用到了PyQuery,这个跟jQuery用法一样,超级给力 示例代码如下: #-*- encoding:utf-8 -*- import sys...

    Python车牌识别、车牌抓取源代码

    Python车牌识别、车牌抓取源程序,运行程序前需先导入cv2和numpy包。

    python爬虫,如何抓取网页数据

    python爬虫,如何抓取网页数据; python爬虫,如何抓取网页数据; python爬虫,如何抓取网页数据; python爬虫,如何抓取网页数据; python爬虫,如何抓取网页数据; python爬虫,如何抓取网页数据; python爬虫,...

    基于Python的http流抓取系统

    HTTP(超文本传输协议)是互联网上应用最广泛的数据传输协议,而HTTP流抓取则是通过编程方式实时获取HTTP数据的过程。Python作为一门强大的脚本语言,因其简洁的语法和丰富的库支持,成为HTTP抓取的首选工具。常见的...

    Web-Scraping-with-Python_Python网页信息抓取_Python抓取网页_jupyter_Python抓

    **Python网页信息抓取技术详解** 网页信息抓取,也称为网络爬虫或网页抓取,是通过自动化程序从互联网上获取大量数据的过程。在这个领域,Python语言因其强大的库支持和简洁的语法而成为首选工具。本教程将深入探讨...

    Python实现抓取HTML网页并以PDF文件形式保存的方法

    【Python实现抓取HTML网页并以PDF文件形式保存的方法】 在Python编程中,有时我们需要将网页内容抓取下来并保存为PDF格式,以便于离线阅读或者方便打印。本篇将详细介绍如何使用Python来实现这一功能,主要涉及的库...

    使用Python实现windows下的抓包与解析

    通过本文介绍的方法,开发者或网络安全研究人员能够在Windows环境下使用Python便捷地抓取和分析网络数据包,这对于网络故障排查、安全监控和协议分析等工作具有重要的实践价值。同时,对于学习网络协议和提高网络...

    python小程序:数据抓取入库

    综上所述,这个"python小程序:数据抓取入库"项目涉及到Python的Web抓取、数据库操作、配置文件解析等多个方面,是学习Python实战技能的好例子。通过这个项目,你可以深入了解如何利用Python进行数据抓取和入库,...

    python爬虫项目——自动批量抓取m3u8网页视频

    Python可以通过subprocess模块调用ffmpeg命令行工具,进行文件格式转换和合并操作。例如,可以使用以下命令将所有ts文件合并为一个MP4文件: ```bash ffmpeg -f concat -i <(for f in *.ts; do echo "file '$PWD/$f...

    python实现串口传文件(调用PCOMM.dll Zmodem协议传输)

    python实现调用PCOMM.dll Zmodem协议传文件, 顺带PcommLite 内含C++,DELPHI,VB 例子,以及 PCOMM.dll PCOMM.LIB, 还有linux系统rz/sz命令安装包 ( 我用来从windows传文件到Linux系统的,网上有几个python实现...

    基于Python的HTML网页信息抓取设计源码

    此外,由于网络数据抓取可能会涉及到数据隐私和版权问题,开发者在设计和使用爬虫程序时,需要严格遵守相关法律法规,尊重网站的robots.txt协议,尽量减少对网站服务器的负担,合理合法地获取和使用网络数据。...

    Python网页数据抓取以及表格的制作

    本主题将深入探讨如何使用Python进行网页数据抓取,并介绍如何利用这些数据创建表格,同时涉及CSS文件的生成和字体的修改。 首先,网页数据抓取是通过Python中的库如BeautifulSoup或Scrapy来实现的。BeautifulSoup...

    基于Python的斗鱼直播数据抓取爬虫设计源码

    基于Python的斗鱼直播数据抓取爬虫设计源码项目是一个综合性的数据抓取解决方案,它不仅提供了丰富的文件资源,还体现了良好的开发规范和实践。通过该项目,开发者可以更便捷地收集和分析直播数据,为相关研究和应用...

    Python实现爬虫抓取与读写、追加到excel文件操作示例

    总结,本示例主要展示了Python如何通过爬虫抓取网页数据,以及如何将这些数据存储到Excel文件中。通过学习这一示例,你可以掌握基本的网络爬虫技术和Excel文件操作技巧,为后续的数据分析和处理奠定基础。

    基于Python的资源整合与抓取设计源码

    该压缩包文件包含了名为“基于Python的资源整合与抓取设计源码”的项目,该项目是使用Python编程语言开发的。项目内容涵盖了资源整合与抓取的各个方面,具体包括了多个类型的文件,共计27个。这些文件中包含了12个...

    python爬虫之App数据抓取

    本课程不涉及Python的基础知识,而是直接切入实战,这是为了那些已经具备一定编程基础的学习者,特别是那些希望通过Python爬虫技术来实现自动化数据抓取的实践者。课程注重在实际操作中传授技术,通过实例演示来加深...

    Python27 豆瓣影评抓取 源码 及插件下载

    在本资源中,我们主要关注的是使用Python27版本进行豆瓣影评的抓取。Python是一种广泛使用的高级编程语言,特别适合于网络爬虫开发,因为它有丰富的库支持,如BeautifulSoup、Scrapy等,可以方便地解析和提取网页...

Global site tag (gtag.js) - Google Analytics