`

python中设置urllib超时时间(抓取内容超时,程序挂起)

 
阅读更多
接手一个脚本,经常挂起不动,发现时抓取图片的时候网络超时没有处理引起的。

一、设置urllib的超时时间

# 设置超时时间为30秒
import socket
socket.setdefaulttimeout(30)


二、捕捉异常并处理之

补充:
urllib需要设置socket来设置超时时间,但是urllib2 这个东西可以直接设置超时时间的
另外,python中很多余socket相关的设置都需要像上面那样去设置


分享到:
评论

相关推荐

    Python-游戏协议数据抓取解析工具

    本文将深入探讨一个基于Python的游戏协议数据抓取解析工具,该工具利用了wxWidgets、pywin32和WinPcap库来实现其功能。让我们逐一了解这些关键组件。 首先,`wxWidgets` 是一个跨平台的GUI工具包,用于帮助开发者...

    基于Python的51-job数据抓取程序设计.pdf

    程序根据前程无忧网页的特点,通过关键字匹配来提取符合要求的职位信息,并将抓取到的内容存储到Python文件中,便于后续的数据挖掘及分析。 文章还提到了Python语言的特点,说明了为何选择Python作为开发语言。...

    python中设置超时跳过,超时退出的方式

    在Python编程中,有时我们需要确保某个函数或代码块在达到预定的时间限制后能够自动停止执行,以防止程序无响应或卡死。这通常被称为设置超时功能。在Python中,有多种方法可以实现超时跳过和超时退出,这里我们将...

    python设定并获取socket超时时间的方法

    如果需要对整个程序中的所有Socket对象统一设置超时时间,可以考虑在创建Socket对象时就进行设置。 #### 五、总结 通过上述介绍,我们可以看到在Python中设置和获取Socket超时时间的方法相对简单。正确地利用这些...

    地图瓦片抓取之python

    通过学习和实践上述知识点,你将能够编写出一个完整的Python程序来抓取地图瓦片。在`mapFetcher-master`这个项目中,应该包含了实现上述功能的代码示例,你可以深入研究并根据自己的需求进行定制。记得在使用地图...

    python抓取网页到本地实例程序

    本实例程序"python抓取网页到本地"将教你如何利用Python来抓取新闻页面上的所有新闻链接,并将这些链接对应的内容保存到本地。这涉及到的知识点主要包括Python基础、网络请求、HTML解析以及文件操作。 首先,我们...

    python小程序:数据抓取入库

    本项目"python小程序:数据抓取入库"显然涵盖了这两个主题。下面将详细阐述相关技术点。 首先,数据抓取(Web Scraping)是通过自动化的方式从网页上提取大量信息的过程。Python提供了许多强大的库来支持这项工作,...

    python爬虫之urllib,伪装,超时设置,异常处理的方法

    为了避免这种情况下程序无限制地等待响应,我们可以为请求设置一个超时时间。 ```python from urllib import request try: resp = request.urlopen("http://www.example.com", timeout=5) print(len(resp.read())...

    基于python实现的牛客网面经数据抓取源码(课程作业).zip

    基于python实现的牛客网面经数据抓取源码(课程作业).zip基于python实现的牛客网面经数据抓取源码(课程作业).zip基于python实现的牛客网面经数据抓取源码(课程作业).zip基于python实现的牛客网面经数据抓取源码...

    这段代码是一个Python爬虫程序,用于从百度图片搜索中抓取指定关键词的图片避开了反爬机制,超时或被屏蔽会自动重试

    这段代码是一个Python爬虫程序,用于从百度图片搜索中抓取指定关键词的图片。程序通过设置超时时间和请求头等参数,实现了对百度图片搜索结果的访问和解析。程序的主要功能包括: 1. 定义了一个名为`Crawler`的类...

    Python爬虫抓取小说网站的基本方法

    Python 爬虫技术在数据抓取领域中扮演着重要角色,尤其对于喜欢阅读网络小说的用户来说,爬取小说网站能帮助我们批量获取并存储感兴趣的小说内容。本教程将介绍如何使用 Python 的 BeautifulSoup 框架来抓取小说网站...

    Python27 豆瓣影评抓取 源码 及插件下载

    在本资源中,我们主要关注的是使用Python27版本进行豆瓣影评的抓取。Python是一种广泛使用的高级编程语言,特别适合于网络爬虫开发,因为它有丰富的库支持,如BeautifulSoup、Scrapy等,可以方便地解析和提取网页...

    Python爬虫技术的网页数据抓取与分析.pdf

    将已爬URL进行处理分析,并将其中的URL设置为种子URL,将其置入需抓取的URL中,依次循环往复。 网络爬虫的分类 网络爬虫可以分为两种类别:聚焦网络爬虫和通用网络爬虫。聚焦网络爬虫主要针对特定的信息进行抓取和...

    python简单爬虫抓取网页内容实例

    一个简单的python示例,实现抓取 嗅事百科 首页内容 ,大家可以自行运行测试

    Python3编写实用脚本程序-抓取IP地址.zip

    在IT行业中,Python3是一种广泛使用的编程语言,尤其在编写脚本程序方面,它以其简洁、易读的语法和强大的库支持而受到青睐。本压缩包文件“Python3编写实用脚本程序-抓取IP地址.zip”显然关注的是利用Python3来编写...

    python邮箱抓取脚本

    python邮箱抓取脚本,利用正则表达式从文本内容中抓取邮箱。

    抓取Bing 搜索引擎的搜索结果的python 脚本

    本篇文章将深入探讨如何使用Python编写一个脚本来抓取Bing搜索引擎的搜索结果,这涉及到网络爬虫的基本原理、Python的相关库以及如何处理抓取的数据。 首先,我们需要了解Python中的网络请求库,如`requests`。`...

    python爬虫项目——自动批量抓取m3u8网页视频

    Python爬虫技术在IT行业中广泛应用于数据挖掘和自动化任务,特别是在网络视频资源的获取上。本项目专注于自动批量抓取m3u8网页视频,这是一个非常实用的技能,特别是对于那些需要收集网络视频数据的人来说。m3u8是一...

    python抓取

    Python抓取,通常指的是使用Python进行网络数据抓取或网络爬虫的过程。Python因其丰富的库支持和简洁的语法,成为了网络爬虫开发的热门选择。本文将深入探讨Python抓取的相关知识点,包括基础概念、常用库、爬虫架构...

Global site tag (gtag.js) - Google Analytics