转载自:https://www.cnblogs.com/zhming26/p/6230124.html
慢慢的把它们总结一下,总结就是最好的学习方法
宗述
首先来看一下他们的区别
urllib和urllib2
urllib 和urllib2都是接受URL请求的相关模块,但是urllib2可以接受一个Request类的实例来设置URL请求的headers,urllib仅可以接受URL。
这意味着,你不可以伪装你的User Agent字符串等。
urllib提供urlencode方法用来GET查询字符串的产生,而urllib2没有。这是为何urllib常和urllib2一起使用的原因。
目前的大部分http请求都是通过urllib2来访问的
httplib
httplib实现了HTTP和HTTPS的客户端协议,一般不直接使用,在python更高层的封装模块中(urllib,urllib2)使用了它的http实现。
urllib简单用法
urllib.urlopen(url[, data[, proxies]]) :
详细使用方法见
urllib2简单用法
最简单的形式
import urllib2 response=urllib2.urlopen('http://www.douban.com') html=response.read()
实际步骤:
1、urllib2.Request()的功能是构造一个请求信息,返回的req就是一个构造好的请求
2、urllib2.urlopen()的功能是发送刚刚构造好的请求req,并返回一个文件类的对象response,包括了所有的返回信息。
3、通过response.read()可以读取到response里面的html,通过response.info()可以读到一些额外的信息。
如下:
#!/usr/bin/env python import urllib2 req = urllib2.Request("http://www.douban.com") response = urllib2.urlopen(req) html = response.read() print html
有时你会碰到,程序也对,但是服务器拒绝你的访问。这是为什么呢?问题出在请求中的头信息(header)。 有的服务端有洁癖,不喜欢程序来触摸它。这个时候你需要将你的程序伪装成浏览器来发出请求。请求的方式就包含在header中。
常见的情形:
import urllib import urllib2 url = 'http://www.someserver.com/cgi-bin/register.cgi' user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'# 将user_agent写入头信息 values = {'name' : 'who','password':'123456'} headers = { 'User-Agent' : user_agent } data = urllib.urlencode(values) req = urllib2.Request(url, data, headers) response = urllib2.urlopen(req) the_page = response.read()
values是post数据
GET方法
例如百度:
百度是通过http://www.baidu.com/s?wd=XXX 来进行查询的,这样我们需要将{‘wd’:’xxx’}这个字典进行urlencode
#coding:utf-8 import urllib import urllib2 url = 'http://www.baidu.com/s' values = {'wd':'D_in'} data = urllib.urlencode(values) print data url2 = url+'?'+data response = urllib2.urlopen(url2) the_page = response.read() print the_page
POST方法
import urllib import urllib2 url = 'http://www.someserver.com/cgi-bin/register.cgi' user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)' //将user_agent写入头信息 values = {'name' : 'who','password':'123456'} //post数据 headers = { 'User-Agent' : user_agent } data = urllib.urlencode(values) //对post数据进行url编码 req = urllib2.Request(url, data, headers) response = urllib2.urlopen(req) the_page = response.read()
urllib2带cookie的使用
#coding:utf-8 import urllib2,urllib import cookielib url = r'http://www.renren.com/ajaxLogin' #创建一个cj的cookie的容器 cj = cookielib.CookieJar() opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj)) #将要POST出去的数据进行编码 data = urllib.urlencode({"email":email,"password":pass}) r = opener.open(url,data) print cj
相关推荐
Python中的`urllib`, `urllib2`, 和`httplib`是用于网络数据请求和处理的库,它们在Web开发和爬虫项目中扮演着重要角色。这些库可以帮助开发者发送HTTP请求,获取响应,处理cookies,使用代理,以及处理重定向等问题...
### 如何在Python 3中使用httplib2 #### 简介 `httplib2` 是一个用于Python的应用程序接口(API),它提供了一个统一的HTTP客户端实现,旨在简化HTTP请求处理过程。与Python的标准库`urllib`相比,`httplib2`更加抽象...
而对于大多数需要与HTTP进行交互的开发者来说,Python还提供了urllib和urllib2等更高级别的模块,以及httplib2等第三方库。这些模块和库提供了更为丰富的功能和更好的接口封装,使得开发更为高效。然而,学习httplib...
在给定的标题和描述中,“python做get和post请求”指的就是如何使用Python实现HTTP的GET和POST方法。这两种方法是HTTP协议中最基本的操作,GET用于获取资源,而POST用于提交数据。 在Python中,有几个模块可以用来...
### Python网络编程学习笔记(6):Web客户端访问 #### 知识点一:网络爬虫基础...此外,还概述了`urllib`、`urllib2`、`httplib`和`mechanize`等常用库的功能和用途,为读者进一步探索Python网络编程提供了坚实的基础。
### Python中的urllib模块使用详解 #### 概述 `urllib`是Python标准库中的一个强大工具,它主要用于处理URL。通过`urllib`,开发者可以轻松地发送HTTP请求,处理网页数据,并且实现基本的网络爬虫功能。本文将详细...
urllib、urllib2、urllib3、httplib、httplib2 都是和 HTTP 相关的 Python 模块,看名字就觉得很反人类,更糟糕的是这些模块在 Python2 与 Python3 中有很大的差异,如果业务代码要同时兼容 2 和 3,写起来会让人...
在Python中,它们通常与`httplib`、`urllib`等模块一起使用,以支持HTTPS连接,确保网络通信的安全性。 2. locale.py:这个文件是Python的`locale`模块,它提供了与系统本地化设置进行交互的功能,如日期和时间格式...
手册会详细介绍这些模块的使用方法。 4. **异常处理**:Python的异常处理机制通过`try/except/finally`结构实现,手册会详细解释如何捕获、处理和自定义异常。 5. **文件和I/O操作**:Python提供了丰富的文件操作...
本文实例讲述了Python3编程实现获取阿里云ECS实例及监控的方法。分享给大家供大家参考,具体如下: #!/usr/bin/env python3.5 # -*- coding:utf8 -*- try: import httplib except ImportError: import ...
2. **API兼容**:`six`为Python 2和Python 3之间的不同API提供了统一的接口,比如`six.moves`模块,它包含了一些在不同Python版本中移动或改名的内置函数和模块,如`urllib`、`cStringIO`等。 3. **异常兼容**:...
本文实例讲述了python使用自定义user-agent抓取网页的方法。分享给大家供大家参考。具体如下: 下面python代码通过urllib2抓取指定的url的内容,并且使用自定义的user-agent,可防止网站屏蔽采集器 import urllib2 ...
首先,Python中自带urllib及urllib2这两个模块,基本上能满足一般的页面抓取。另外,requests也是非常有用的包,与此类似的,还有httplib2等等。 Requests: import requests response = requests.get(url) ...
Python 2.7.16是Python编程语言的一个重要版本,尤其对于那些仍然依赖于2.x系列特性和库的开发者来说。这个版本在2019年4月发布,是Python 2.x线的最后一个安全更新,标志着Python 2生命周期的结束。然而,由于众多...