`

python中设置urllib超时时间(抓取内容超时,程序挂起)

 
阅读更多
接手一个脚本,经常挂起不动,发现时抓取图片的时候网络超时没有处理引起的。

一、设置urllib的超时时间

# 设置超时时间为30秒
import socket
socket.setdefaulttimeout(30)


二、捕捉异常并处理之

补充:
urllib需要设置socket来设置超时时间,但是urllib2 这个东西可以直接设置超时时间的
另外,python中很多余socket相关的设置都需要像上面那样去设置


分享到:
评论

相关推荐

    python设定并获取socket超时时间的方法

    如果需要对整个程序中的所有Socket对象统一设置超时时间,可以考虑在创建Socket对象时就进行设置。 #### 五、总结 通过上述介绍,我们可以看到在Python中设置和获取Socket超时时间的方法相对简单。正确地利用这些...

    python抓取网页到本地实例程序

    本实例程序"python抓取网页到本地"将教你如何利用Python来抓取新闻页面上的所有新闻链接,并将这些链接对应的内容保存到本地。这涉及到的知识点主要包括Python基础、网络请求、HTML解析以及文件操作。 首先,我们...

    python爬虫之urllib,伪装,超时设置,异常处理的方法

    为了避免这种情况下程序无限制地等待响应,我们可以为请求设置一个超时时间。 ```python from urllib import request try: resp = request.urlopen("http://www.example.com", timeout=5) print(len(resp.read())...

    基于python实现的牛客网面经数据抓取源码(课程作业).zip

    基于python实现的牛客网面经数据抓取源码(课程作业).zip基于python实现的牛客网面经数据抓取源码(课程作业).zip基于python实现的牛客网面经数据抓取源码(课程作业).zip基于python实现的牛客网面经数据抓取源码...

    Web-Scraping-with-Python_Python网页信息抓取_Python抓取网页_jupyter_Python抓

    本教程将深入探讨如何在Jupyter环境中使用Python进行网页抓取。 首先,我们需要了解的基础库是`requests`,它用于向服务器发送HTTP请求,获取网页HTML内容。在Jupyter中,你可以使用`!pip install requests`命令来...

    python 实现股票分时图K线图及抓取免费level2行情

    在Python编程领域,股票数据的处理和可视化是金融分析中不可或缺的一部分。本篇文章将深入探讨如何使用Python实现股票的分时图和K线图,并且介绍如何获取免费的Level 2行情。 首先,分时图(Time & Sales Chart)...

    Python27 豆瓣影评抓取 源码 及插件下载

    在本资源中,我们主要关注的是使用Python27版本进行豆瓣影评的抓取。Python是一种广泛使用的高级编程语言,特别适合于网络爬虫开发,因为它有丰富的库支持,如BeautifulSoup、Scrapy等,可以方便地解析和提取网页...

    python中设置超时跳过,超时退出的方式

    在工作中遇到过 个问题 执行一条代码时间过长 而且还不报错,卡死在那。还要继续执行下面代码,如何操作。 下面是个简单的实例 pip安装 第三方eventlet这个包 – pip ...以上这篇python中设置超时跳过,超时退出的方

    Python车牌识别、车牌抓取源代码

    Python车牌识别、车牌抓取源程序,运行程序前需先导入cv2和numpy包。

    python简单爬虫抓取网页内容实例

    一个简单的python示例,实现抓取 嗅事百科 首页内容 ,大家可以自行运行测试

    python 使用request时关于timeout参数设置无效和报错遇到的一些问题以及解决(csdn)————程序..pdf

    总结起来,当遇到Python `requests`库中`timeout`参数设置无效的问题时,可以考虑以下解决方案: 1. 检查网络环境,可能需要更换DNS或检查网络连接。 2. 理解`timeout`参数的用法,正确设置连接超时和读取超时时间。...

    python邮箱抓取脚本

    python邮箱抓取脚本,利用正则表达式从文本内容中抓取邮箱。

    python爬虫项目——自动批量抓取m3u8网页视频

    Python爬虫技术在IT行业中广泛应用于数据挖掘和自动化任务,特别是在网络视频资源的获取上。本项目专注于自动批量抓取m3u8网页视频,这是一个非常实用的技能,特别是对于那些需要收集网络视频数据的人来说。m3u8是一...

    python抓取

    Python抓取,通常指的是使用Python进行网络数据抓取或网络爬虫的过程。Python因其丰富的库支持和简洁的语法,成为了网络爬虫开发的热门选择。本文将深入探讨Python抓取的相关知识点,包括基础概念、常用库、爬虫架构...

    python爬虫,如何抓取网页数据

    python爬虫,如何抓取网页数据; python爬虫,如何抓取网页数据; python爬虫,如何抓取网页数据; python爬虫,如何抓取网页数据; python爬虫,如何抓取网页数据; python爬虫,如何抓取网页数据; python爬虫,...

    python脚本设置超时机制系统时间的方法

    ### Python脚本设置超时机制系统时间的方法 #### 概述 在开发自动化脚本或进行网络编程时,经常会遇到需要获取准确的时间戳来进行日期时间校准的需求。Python提供了多种方式来实现这一功能,其中一种常见的方式是...

    Phantomjs抓取渲染JS后的网页(Python代码)

    本文介绍了如何使用Phantomjs结合Python进行网页抓取的方法,特别是在处理JavaScript渲染后的网页内容时非常有效。通过配置Phantomjs代理以及编写简单的Python脚本,可以轻松实现这一目标。需要注意的是,在实际开发...

    Python数据抓取技术与实战.pdf

    5. 动态内容抓取: 一些网页内容是通过JavaScript动态加载的。传统的库可能无法处理这种情况,这时候就需要使用Selenium或Pyppeteer这类可以模拟浏览器行为的工具。 6. 遵守Robots协议: 在进行数据抓取之前,...

    Python中为feedparser设置超时时间避免堵塞

    python有一个用于解析feed的模块:feedparser,feedparser解析各种feed是非常方便的,唯一比较恼火的是遇到一些badurl,经常会导致堵塞,因此需要为feedparser设置一个超时时间。 可是feedparser并没有提供这个功能...

Global site tag (gtag.js) - Google Analytics