`

python中设置urllib超时时间(抓取内容超时,程序挂起)

 
阅读更多
接手一个脚本,经常挂起不动,发现时抓取图片的时候网络超时没有处理引起的。

一、设置urllib的超时时间

# 设置超时时间为30秒
import socket
socket.setdefaulttimeout(30)


二、捕捉异常并处理之

补充:
urllib需要设置socket来设置超时时间,但是urllib2 这个东西可以直接设置超时时间的
另外,python中很多余socket相关的设置都需要像上面那样去设置


分享到:
评论

相关推荐

    python设定并获取socket超时时间的方法

    如果需要对整个程序中的所有Socket对象统一设置超时时间,可以考虑在创建Socket对象时就进行设置。 #### 五、总结 通过上述介绍,我们可以看到在Python中设置和获取Socket超时时间的方法相对简单。正确地利用这些...

    地图瓦片抓取之python

    通过学习和实践上述知识点,你将能够编写出一个完整的Python程序来抓取地图瓦片。在`mapFetcher-master`这个项目中,应该包含了实现上述功能的代码示例,你可以深入研究并根据自己的需求进行定制。记得在使用地图...

    python抓取网页到本地实例程序

    本实例程序"python抓取网页到本地"将教你如何利用Python来抓取新闻页面上的所有新闻链接,并将这些链接对应的内容保存到本地。这涉及到的知识点主要包括Python基础、网络请求、HTML解析以及文件操作。 首先,我们...

    python爬虫之urllib,伪装,超时设置,异常处理的方法

    为了避免这种情况下程序无限制地等待响应,我们可以为请求设置一个超时时间。 ```python from urllib import request try: resp = request.urlopen("http://www.example.com", timeout=5) print(len(resp.read())...

    基于python实现的牛客网面经数据抓取源码(课程作业).zip

    基于python实现的牛客网面经数据抓取源码(课程作业).zip基于python实现的牛客网面经数据抓取源码(课程作业).zip基于python实现的牛客网面经数据抓取源码(课程作业).zip基于python实现的牛客网面经数据抓取源码...

    Web-Scraping-with-Python_Python网页信息抓取_Python抓取网页_jupyter_Python抓

    本教程将深入探讨如何在Jupyter环境中使用Python进行网页抓取。 首先,我们需要了解的基础库是`requests`,它用于向服务器发送HTTP请求,获取网页HTML内容。在Jupyter中,你可以使用`!pip install requests`命令来...

    Python爬虫抓取小说网站的基本方法

    Python 爬虫技术在数据抓取领域中扮演着重要角色,尤其对于喜欢阅读网络小说的用户来说,爬取小说网站能帮助我们批量获取并存储感兴趣的小说内容。本教程将介绍如何使用 Python 的 BeautifulSoup 框架来抓取小说网站...

    Python27 豆瓣影评抓取 源码 及插件下载

    在本资源中,我们主要关注的是使用Python27版本进行豆瓣影评的抓取。Python是一种广泛使用的高级编程语言,特别适合于网络爬虫开发,因为它有丰富的库支持,如BeautifulSoup、Scrapy等,可以方便地解析和提取网页...

    python中设置超时跳过,超时退出的方式

    在工作中遇到过 个问题 执行一条代码时间过长 而且还不报错,卡死在那。还要继续执行下面代码,如何操作。 下面是个简单的实例 pip安装 第三方eventlet这个包 – pip ...以上这篇python中设置超时跳过,超时退出的方

    Python车牌识别、车牌抓取源代码

    Python车牌识别、车牌抓取源程序,运行程序前需先导入cv2和numpy包。

    python简单爬虫抓取网页内容实例

    一个简单的python示例,实现抓取 嗅事百科 首页内容 ,大家可以自行运行测试

    Python3编写实用脚本程序-抓取IP地址.zip

    在IT行业中,Python3是一种广泛使用的编程语言,尤其在编写脚本程序方面,它以其简洁、易读的语法和强大的库支持而受到青睐。本压缩包文件“Python3编写实用脚本程序-抓取IP地址.zip”显然关注的是利用Python3来编写...

    Python 爬虫源码,抓取豆瓣网图书信息

    在Python编程领域,爬虫是一种常见的技术,用于自动地从互联网上抓取大量数据。本项目专注于使用Python爬虫抓取豆瓣网上的图书信息,这是一个非常实用的技能,特别是对于数据分析、信息收集或者个人兴趣爱好者而言。...

    python 使用request时关于timeout参数设置无效和报错遇到的一些问题以及解决(csdn)————程序..pdf

    总结起来,当遇到Python `requests`库中`timeout`参数设置无效的问题时,可以考虑以下解决方案: 1. 检查网络环境,可能需要更换DNS或检查网络连接。 2. 理解`timeout`参数的用法,正确设置连接超时和读取超时时间。...

    python邮箱抓取脚本

    python邮箱抓取脚本,利用正则表达式从文本内容中抓取邮箱。

    python爬虫项目——自动批量抓取m3u8网页视频

    Python爬虫技术在IT行业中广泛应用于数据挖掘和自动化任务,特别是在网络视频资源的获取上。本项目专注于自动批量抓取m3u8网页视频,这是一个非常实用的技能,特别是对于那些需要收集网络视频数据的人来说。m3u8是一...

    python抓取

    Python抓取,通常指的是使用Python进行网络数据抓取或网络爬虫的过程。Python因其丰富的库支持和简洁的语法,成为了网络爬虫开发的热门选择。本文将深入探讨Python抓取的相关知识点,包括基础概念、常用库、爬虫架构...

    python爬虫,如何抓取网页数据

    python爬虫,如何抓取网页数据; python爬虫,如何抓取网页数据; python爬虫,如何抓取网页数据; python爬虫,如何抓取网页数据; python爬虫,如何抓取网页数据; python爬虫,如何抓取网页数据; python爬虫,...

    python脚本设置超时机制系统时间的方法

    ### Python脚本设置超时机制系统时间的方法 #### 概述 在开发自动化脚本或进行网络编程时,经常会遇到需要获取准确的时间戳来进行日期时间校准的需求。Python提供了多种方式来实现这一功能,其中一种常见的方式是...

    python抓取淘宝天猫网页商品详情Demo

    在这个"python抓取淘宝天猫网页商品详情Demo"中,我们将探讨如何利用Python进行网页抓取,特别是针对淘宝和天猫的商品详情页面。 首先,我们需要理解网页抓取的基本原理。网页抓取,也称为网络爬虫,是通过模拟...

Global site tag (gtag.js) - Google Analytics