`
xiaolin0199
  • 浏览: 573389 次
  • 性别: Icon_minigender_1
  • 来自: 深圳
社区版块
存档分类
最新评论

Python中urllib.urlopen用法小记

阅读更多

直接上代码了
>>> from urllib import urlopen
>>> http = urlopen("http://www.daxi8.cn")
>>> print http.info() #取响应header头所有信息
Date: Wed, 26 Aug 2009 08:46:03 GMT
Server: Apache/2.2.9 (Unix) PHP/5.2.6
X-Powered-By: PHP/5.2.6
X-Pingback: http://www.daxi8.cn/index.php/XmlRpc.do
Content-Type: text/html
Connection: close
Content-Length: 31206

取header某一信息:
>>> print http.info().getheader('Content-Type')
text/html

取请求响应内容:
>>> print http.readline() #只读取一行数据
>>> print http.read()      #读取全部内容
>>> print http.read()      #读取全部内容
分享到:
评论
1 楼 qepwqnp 2011-06-17  
如何设置 http = urlopen("http://www.daxi8.cn") 的连接超时的时间呢

相关推荐

    Python爬虫基础教程-Urllib详解.pdf

    在Python3中,Urllib库整合了Python2.7中的urllib和urllib2,形成一个统一的接口,使得操作更为简洁。 首先,我们要了解Urllib库的主要模块: 1. **urllib.request**:这是用于发出HTTP请求的核心模块,包含了如...

    python爬虫实例——基于BeautifulSoup与urllib.request

    本实例将深入探讨如何使用Python的BeautifulSoup库与urllib.request模块来实现一个基本的网页抓取功能。 首先,`urllib.request`是Python标准库中的一个模块,用于处理URL相关的请求。在爬虫领域,它主要负责发起...

    解决python3 urllib中urlopen报错的问题

    ### 解决Python3 urllib中urlopen报错的问题 在Python3中使用`urllib`库进行网络请求时,可能会遇到`AttributeError: 'module' object has no attribute 'urlopen'`这样的错误。本文将详细介绍这一问题的原因以及...

    python模块urllib3.zip

    使用Python 3.x版本运行py文件时报错 No module named 'urllib3' 一开始参照网上的安装方法通过pip来安装,未成功pip ...使用方法是下载解压后,cmd里切换到解压后的文件夹,输入python setup.py install就可以了

    Python urllib urllib模块

    Python的urllib模块是Python标准库中的一个重要组成部分,它为开发者提供了访问互联网资源的工具。urllib模块包含了多个子模块,如urlopen、urlretrieve、urlparse等,它们各自承担着不同的网络请求任务。在Python 3...

    「Python系列」Python urllib库(操作网页URL对网页的内容进行抓取处理).md

    本文详细介绍了 `urllib` 库中的 `urllib.request` 模块的使用方法。通过这些示例,读者可以了解到如何使用 Python 抓取网页内容、处理异常情况以及模拟复杂的网络请求。掌握了这些技能后,无论是进行 Web 开发还是...

    python中urllib.request和requests的使用及区别详解

    Python中的`urllib.request`和`requests`库都是用于HTTP请求的模块,它们在Web爬虫、自动化测试以及API交互等方面都有广泛的应用。虽然两者都能完成基本的HTTP请求任务,但在使用方式和功能上存在一些差异。 首先,...

    016-urllib实战2.py

    data=urllib.request.urlopen(req).read() fh=open("D:/python/1.html","wb")#二进制写入 fh.write(data) fh.close() """ import urllib.request keywd="微微" keywd=urllib.request.quote(keywd)#对中文编码 url=...

    解决python3 urllib 链接中有中文的问题

    在使用Python3的urllib库进行网络请求时,如果URL中包含中文字符,很容易遇到编码问题。具体来说,如果直接将含有中文的URL传递给urllib的request模块,由于HTTP协议标准规定URL必须是ASCII码范围内的字符,Python...

    python写的翻译软件源代码

    这涉及到网络请求的发送和接收,通常会使用如requests或urllib等Python库来实现。 在实际操作中,开发者可能需要先注册并获取百度网盘API的密钥(如API Key和Secret Key),然后在代码中设置这些凭证,以确保安全地...

    Python2.X/Python3.X中urllib库区别讲解

    了解了这些变化后,我们可以更深入地探讨Python 3.X中urllib库的使用方法: **发送请求**: 使用urllib.request模块的urlopen()函数发送HTTP请求。例如: ```python import urllib.request r = urllib.request....

    Python urllib urllib2 urllib模块安装说明

    根据提供的标题、描述、标签及部分内容,我们可以了解到这篇文章主要涉及Python中的urllib模块以及与之相关的urllib2模块的安装过程。尽管标题中提到了urllib模块,但是内容部分却展示了requests库的安装过程。因此...

    Python爬虫包.zip

    在本教程中,我们将探讨如何利用Python的urllib, urllib2和BeautifulSoup模块来构建一个简单的网页爬虫。这些库都是Python标准库的一部分,无需额外安装即可使用。 首先,`urllib`是Python提供的一个用于处理URL的...

    Python爬虫(二)urllib库

    本篇文章将深入探讨Python中的urllib库,它是Python标准库中的一个基础爬虫模块,提供了网络请求和处理的基本功能。 urllib库包含多个子模块,包括urllib.request、urllib.error、urllib.parse和urllib.robotparser...

    Python urllib.request对象案例解析

    首先通过`urlopen()`方法获取响应对象,然后使用`read().decode('utf8')`解码字节为字符串,并将其写入到文件中。 - **案例2**展示了如何保存图片。这里也是通过`urlopen()`获取响应,但因为图片是二进制数据,所以...

    Python爬虫基础之Urllib库

    Python 的 Urllib 库是 Python 语言中最基本的网络请求库,提供了对 URL 的访问和处理能力。该库包含了多种功能,包括访问 URL、设置 headers、代理设置、超时时间设置等。 1. 访问 URL 读取返回结果 Urllib 库的 ...

Global site tag (gtag.js) - Google Analytics