`

python中设置urllib超时时间(抓取内容超时,程序挂起)

 
阅读更多
接手一个脚本,经常挂起不动,发现时抓取图片的时候网络超时没有处理引起的。

一、设置urllib的超时时间

# 设置超时时间为30秒
import socket
socket.setdefaulttimeout(30)


二、捕捉异常并处理之

补充:
urllib需要设置socket来设置超时时间,但是urllib2 这个东西可以直接设置超时时间的
另外,python中很多余socket相关的设置都需要像上面那样去设置


分享到:
评论

相关推荐

    基于Python的51-job数据抓取程序设计.pdf

    程序根据前程无忧网页的特点,通过关键字匹配来提取符合要求的职位信息,并将抓取到的内容存储到Python文件中,便于后续的数据挖掘及分析。 文章还提到了Python语言的特点,说明了为何选择Python作为开发语言。...

    python中设置超时跳过,超时退出的方式

    在Python编程中,有时我们需要确保某个函数或代码块在达到预定的时间限制后能够自动停止执行,以防止程序无响应或卡死。这通常被称为设置超时功能。在Python中,有多种方法可以实现超时跳过和超时退出,这里我们将...

    python设定并获取socket超时时间的方法

    如果需要对整个程序中的所有Socket对象统一设置超时时间,可以考虑在创建Socket对象时就进行设置。 #### 五、总结 通过上述介绍,我们可以看到在Python中设置和获取Socket超时时间的方法相对简单。正确地利用这些...

    python爬虫之urllib,伪装,超时设置,异常处理的方法

    为了避免这种情况下程序无限制地等待响应,我们可以为请求设置一个超时时间。 ```python from urllib import request try: resp = request.urlopen("http://www.example.com", timeout=5) print(len(resp.read())...

    美科新闻抓取程序源码

    【美科新闻抓取程序源码】是一款基于Python语言编写的程序,主要用于自动化地从互联网上抓取新闻数据。这款程序对于学习网络爬虫技术、数据挖掘以及信息处理的初学者来说,是一份宝贵的教育资源。它由2017年武汉美...

    Web-Scraping-with-Python_Python网页信息抓取_Python抓取网页_jupyter_Python抓

    本教程将深入探讨如何在Jupyter环境中使用Python进行网页抓取。 首先,我们需要了解的基础库是`requests`,它用于向服务器发送HTTP请求,获取网页HTML内容。在Jupyter中,你可以使用`!pip install requests`命令来...

    Python爬虫抓取小说网站的基本方法

    Python 爬虫技术在数据抓取领域中扮演着重要角色,尤其对于喜欢阅读网络小说的用户来说,爬取小说网站能帮助我们批量获取并存储感兴趣的小说内容。本教程将介绍如何使用 Python 的 BeautifulSoup 框架来抓取小说网站...

    Python27 豆瓣影评抓取 源码 及插件下载

    在本资源中,我们主要关注的是使用Python27版本进行豆瓣影评的抓取。Python是一种广泛使用的高级编程语言,特别适合于网络爬虫开发,因为它有丰富的库支持,如BeautifulSoup、Scrapy等,可以方便地解析和提取网页...

    基于python实现的单目视觉伺服抓取系统,可以抓取静态物体+源码(毕业设计&课程设计&项目开发)

    基于python实现的单目视觉伺服抓取系统,可以抓取静态物体+源码,适合毕业设计、课程设计、项目开发。项目源码已经过严格测试,可以放心参考并在此基础上延申使用 基于python实现的单目视觉伺服抓取系统,可以抓取...

    Python车牌识别、车牌抓取源代码

    Python车牌识别、车牌抓取源程序,运行程序前需先导入cv2和numpy包。

    Python爬虫技术的网页数据抓取与分析.pdf

    将已爬URL进行处理分析,并将其中的URL设置为种子URL,将其置入需抓取的URL中,依次循环往复。 网络爬虫的分类 网络爬虫可以分为两种类别:聚焦网络爬虫和通用网络爬虫。聚焦网络爬虫主要针对特定的信息进行抓取和...

    python简单爬虫抓取网页内容实例

    一个简单的python示例,实现抓取 嗅事百科 首页内容 ,大家可以自行运行测试

    Python3编写实用脚本程序-抓取IP地址.zip

    在IT行业中,Python3是一种广泛使用的编程语言,尤其在编写脚本程序方面,它以其简洁、易读的语法和强大的库支持而受到青睐。本压缩包文件“Python3编写实用脚本程序-抓取IP地址.zip”显然关注的是利用Python3来编写...

    Python 爬虫源码,抓取豆瓣网图书信息

    在Python编程领域,爬虫是一种常见的技术,用于自动地从互联网上抓取大量数据。本项目专注于使用Python爬虫抓取豆瓣网上的图书信息,这是一个非常实用的技能,特别是对于数据分析、信息收集或者个人兴趣爱好者而言。...

    python 使用request时关于timeout参数设置无效和报错遇到的一些问题以及解决(csdn)————程序..pdf

    总结起来,当遇到Python `requests`库中`timeout`参数设置无效的问题时,可以考虑以下解决方案: 1. 检查网络环境,可能需要更换DNS或检查网络连接。 2. 理解`timeout`参数的用法,正确设置连接超时和读取超时时间。...

    python邮箱抓取脚本

    python邮箱抓取脚本,利用正则表达式从文本内容中抓取邮箱。

    抓取Bing 搜索引擎的搜索结果的python 脚本

    本篇文章将深入探讨如何使用Python编写一个脚本来抓取Bing搜索引擎的搜索结果,这涉及到网络爬虫的基本原理、Python的相关库以及如何处理抓取的数据。 首先,我们需要了解Python中的网络请求库,如`requests`。`...

    python爬虫项目——自动批量抓取m3u8网页视频

    Python爬虫技术在IT行业中广泛应用于数据挖掘和自动化任务,特别是在网络视频资源的获取上。本项目专注于自动批量抓取m3u8网页视频,这是一个非常实用的技能,特别是对于那些需要收集网络视频数据的人来说。m3u8是一...

    python抓取

    Python抓取,通常指的是使用Python进行网络数据抓取或网络爬虫的过程。Python因其丰富的库支持和简洁的语法,成为了网络爬虫开发的热门选择。本文将深入探讨Python抓取的相关知识点,包括基础概念、常用库、爬虫架构...

Global site tag (gtag.js) - Google Analytics