`
shaoziqiang
  • 浏览: 4759 次
文章分类
社区版块
存档分类
最新评论

Python爬虫入门:Urllib库的基本使用

阅读更多

 

1.分分钟扒一个网页下来

怎样扒网页呢?其实就是根据URL来获取它的网页信息,虽然我们在浏览器中看到的是一幅幅优美的画面,但是其实是由浏览器解释才呈现出来的,实质它 是一段HTML代码,加 JS、CSS,如果把网页比作一个人,那么HTML便是他的骨架,JS便是他的肌肉,CSS便是它的衣服。所以最重要的部分是存在于HTML中的,下面我 们就写个例子来扒一个网页下来。

Python

 

1

2

3

4

#设置代理IP

#代理IP可以上http://zhimaruanjian.com/获取

import urllib2

 

response = urllib2.urlopen("http://www.baidu.com")

print response.read()

是的你没看错,真正的程序就两行,把它保存成 demo.py,进入该文件的目录,执行如下命令查看运行结果,感受一下。

Python

 

1

python demo.py

 

 

看,这个网页的源码已经被我们扒下来了,是不是很酸爽?

2.分析扒网页的方法

那么我们来分析这两行代码,第一行

Python

 

1

response = urllib2.urlopen("http://zhimaruanjian.com/")

首先我们调用的是urllib2库里面的urlopen方法,传入一个URL,这个网址是百度首页,协议是HTTP协议,当然你也可以把HTTP换做FTP,FILE,HTTPS 等等,只是代表了一种访问控制协议,urlopen一般接受三个参数,它的参数如下:

Python

 

1

urlopen(url, data, timeout)

第一个参数url即为URL,第二个参数data是访问URL时要传送的数据,第三个timeout是设置超时时间。

第二三个参数是可以不传送的,data默认为空None,timeout默认为 socket._GLOBAL_DEFAULT_TIMEOUT

第一个参数URL是必须要传送的,在这个例子里面我们传送了百度的URL,执行urlopen方法之后,返回一个response对象,返回信息便保存在这里面。

Python

 

1

print response.read()

response对象有一个read方法,可以返回获取到的网页内容。

如果不加read直接打印会是什么?答案如下:

Python

 

1

<addinfourl at 139728495260376 whose fp = <socket._fileobject object at 0x7f1513fb3ad0>>

直接打印出了该对象的描述,所以记得一定要加read方法,否则它不出来内容可就不怪我咯!

3.构造Requset

其实上面的urlopen参数可以传入一个request请求,它其实就是一个Request类的实例,构造时需要传入Url,Data等等的内容。比如上面的两行代码,我们可以这么改写

Python

 

1

2

3

4

5

import urllib2

 

request = urllib2.Request("http://zhimaruanjian.com/")

response = urllib2.urlopen(request)

print response.read()

运行结果是完全一样的,只不过中间多了一个request对象,推荐大家这么写,因为在构建请求时还需要加入好多内容,通过构建一个request,服务器响应请求得到应答,这样显得逻辑上清晰明确。

4.POST和GET数据传送

上面的程序演示了最基本的网页抓取,不过,现在大多数网站都是动态网页,需要你动态地传递参数给它,它做出对应的响应。所以,在访问时,我们需要传递数据给它。最常见的情况是什么?对了,就是登录注册的时候呀。

把数据用户名和密码传送到一个URL,然后你得到服务器处理之后的响应,这个该怎么办?下面让我来为小伙伴们揭晓吧!

数据传送分为POST和GET两种方式,两种方式有什么区别呢?

最重要的区别是GET方式是直接以链接形式访问,链接中包含了所有的参数,当然如果包含了密码的话是一种不安全的选择,不过你可以直观地看到自己提交了什么内容。POST则不会在网址上显示所有的参数,不过如果你想直接查看提交了什么就不太方便了,大家可以酌情选择。

POST方式:

上面我们说了data参数是干嘛的?对了,它就是用在这里的,我们传送的数据就是这个参数data,下面演示一下POST方式。

Python

 

1

2

3

4

5

6

7

8

9

import urllib

import urllib2

 

values = {"username":"1016903103@qq.com","password":"XXXX"}

data = urllib.urlencode(values) 

url = "https://passport.csdn.net/account/login?from=http://my.csdn.net/my/mycsdn"

request = urllib2.Request(url,data)

response = urllib2.urlopen(request)

print response.read()

我们引入了urllib库,现在我们模拟登陆CSDN,当然上述代码可能登陆不进去,因为还要做一些设置头部header的工作,或者还有一些参数 没有设置全,还没有提及到在此就不写上去了,在此只是说明登录的原理。我们需要定义一个字典,名字为values,参数我设置了username和 password,下面利用urllib的urlencode方法将字典编码,命名为data,构建request时传入两个参数,url和data,运 行程序,即可实现登陆,返回的便是登陆后呈现的页面内容。当然你可以自己搭建一个服务器来测试一下。

注意上面字典的定义方式还有一种,下面的写法是等价的

Python

 

1

2

3

4

5

6

7

8

9

10

11

import urllib

import urllib2

 

values = {}

values['username'] = "1016903103@qq.com"

values['password'] = "XXXX"

data = urllib.urlencode(values) 

url = "http://passport.csdn.net/account/login?from=http://my.csdn.net/my/mycsdn"

request = urllib2.Request(url,data)

response = urllib2.urlopen(request)

print response.read()

以上方法便实现了POST方式的传送

GET方式:

至于GET方式我们可以直接把参数写到网址上面,直接构建一个带参数的URL出来即可。

Python

 

1

2

3

4

5

6

7

8

9

10

11

12

import urllib

import urllib2

 

values={}

values['username'] = "1016903103@qq.com"

values['password']="XXXX"

data = urllib.urlencode(values) 

url = "http://passport.csdn.net/account/login"

geturl = url + "?"+data

request = urllib2.Request(geturl)

response = urllib2.urlopen(request)

print response.read()

你可以print geturl,打印输出一下url,发现其实就是原来的url加?然后加编码后的参数

Python

 

1

http://passport.csdn.net/account/login?username=1016903103%40qq.com&password=XXXX

和我们平常GET访问方式一模一样,这样就实现了数据的GET方式传送。

本节讲解了一些基本使用,可以抓取到一些基本的网页信息,小伙伴们加油!

 

  • 大小: 138.6 KB
分享到:
评论

相关推荐

    Python 网络爬虫开发 Python爬虫入门基础教程:Python的urllib2 模块解析 共6页.pptx

    * 网络爬虫开发:使用 urllib2 模块可以快速开发网络爬虫程序,从互联网上抓取有价值的数据。 * 文件下载:使用 urllib2 模块可以下载文件,从互联网上下载文件。 * 自动化测试:使用 urllib2 模块可以自动化测试...

    01_爬虫入门和urllib.zip

    **Python爬虫入门** Python因其简洁的语法和丰富的库支持,成为开发网络爬虫的首选语言。爬虫可以分为几个基本步骤:请求网页、解析网页、提取数据和存储数据。在Python中,urllib库就是用来处理网络请求的基础工具...

    python爬虫入门request 常用库介绍整理.docx

    ### Python爬虫入门:Request常用库介绍与整理 #### 一、引言 随着互联网的飞速发展,网络上的信息量呈爆炸性增长,而如何有效地获取这些信息成为了许多企业和个人关注的重点。网络爬虫技术作为一种高效的数据采集...

    python爬虫可以做什么?python爬虫入门教程有哪些?.docx

    - **《Python爬虫入门》系列教程**:适合完全没有编程基础的新手。主要内容包括: - **综述**:介绍爬虫的基本概念及其应用场景。 - **爬虫基础了解**:讲解网络请求的基本知识,如HTTP协议、URL结构等。 - **...

    Python爬虫技术全解:基础库、高级框架与实战案例

    内容概要:本文详细介绍了Python爬虫技术的相关资源,包括基础库(如requests、urllib、BeautifulSoup)、高级框架(如Scrapy、Selenium、Pyppeteer)和实战案例(如爬取豆瓣Top250、猫眼Top100电影信息)。...

    在 VisualStudio 2017环境下使用Python之爬虫入门实例1-下载天气网图片

    * Python爬虫库 Scrapy 的使用 * Python 正则表达式的应用 * Visual Studio 2017 中 Python 项目的配置 九、结语 本文只是爬虫实例的入门篇章,希望能够帮助读者了解到爬虫的基本概念和技术。同时,也希望能够激发...

    Python爬虫入门教程.docx

    ### Python爬虫入门教程知识点详解 #### 一、网络爬虫基本概念 网络爬虫,又称网络蜘蛛或网络机器人,是一种自动抓取互联网信息的程序。其主要工作流程包括: 1. **根据URL获取HTML数据**:即通过指定的URL地址...

    静觅Python爬虫学习系列教程1

    1. Python爬虫入门一之综述 2. Python爬虫入门二之爬虫基础了解 3. Python爬虫入门三之Urllib库的基本使用 4. Python爬虫入

    Python爬虫入门

    Python爬虫入门是一项涉及网络编程、数据提取以及自动化技术的知识领域,旨在通过编写程序自动从互联网上收集信息。以下是针对给定文件中提供的知识点的详细说明: 1. **Python语言基础**:Python作为编程语言,以...

    python爬虫入门到精通必备的书籍.docx

    Python 爬虫是互联网数据抓取的重要工具,学习Python爬虫可以帮助你高效地获取网络上的信息。Python作为一门强大的编程语言,拥有丰富的库支持,如urllib、urllib2、requests、beautifulsoup、scrapy、pyspider等,...

    lesson7-爬虫入门.rar_python 爬虫_thisn6q_爬虫入门

    这个"lesson7-爬虫入门"教程可能涵盖了以上部分或全部知识点,旨在帮助初学者建立起对Python爬虫的基本认识,并逐步熟悉爬虫的实现过程。通过学习,你可以构建简单的爬虫项目,从网页中抓取数据并进行初步的分析。...

    python爬虫入门到实战的学习顺序.pdf

    总之,Python爬虫的学习是一个循序渐进的过程,从基础语法开始,逐步深入到库的使用和框架的掌握。理论学习与实践操作相结合,不断挑战自己,才能在Python爬虫的世界里游刃有余。同时,保持对新技术的热情和好奇心,...

    Python3爬虫入门练习

    在"Python3爬虫入门练习"中,我们通常会遵循以下步骤: 1. 导入必要的库:首先,我们需要导入urllib.request和BeautifulSoup库,`import urllib.request`和`from bs4 import BeautifulSoup`。 2. 请求网页:使用...

    Python爬虫实例教程-代码.rar

    4. **使用代理**:"日月光华python爬虫实战_课程6_使用代理下载微信文章.py"和"6.3 微信文章爬虫.py"讲述了如何通过代理IP避免被目标网站封禁。这通常涉及到`proxy`参数的设置,以及如何管理代理池,比如使用`...

    分享一个Python爬虫入门实例(有源码,学习使用)

    ### Python爬虫技术详解与实践案例 #### 一、Python爬虫基础知识 ...以上是对Python爬虫技术及其应用的一个概述,通过实际案例展示了如何使用Python进行数据爬取及初步分析。希望这些信息对你有所帮助!

    Python入门网络爬虫之精华版

    本篇文章《Python入门网络爬虫之精华版》主要介绍了Python网络爬虫的基础知识,从抓取、分析到存储的三个主要方面,以及如何应对一些常见的反爬虫机制。此外,还提及了Scrapy这一流行的爬虫框架,并提供了一个参考...

    python爬虫入门到实战的学习顺序.docx

    ### Python爬虫入门到实战的学习顺序 #### 一、Python基础学习 对于初学者来说,掌握Python基础至关重要。以下是一些具体的建议: 1. **选择合适的教程:** 找一本适合初学者的书籍,比如《与孩子一起学编程》或...

    0基础小白入门Python,了解Python爬虫3个问题.docx

    本文将详细介绍这三个方面的问题,帮助小白快速入门Python爬虫。 首先,我们需要理解什么是爬虫。爬虫,顾名思义,就是在网络上自动抓取信息的程序,形象地比喻为在网络中“爬行”的小虫。它通过编程技术模拟浏览器...

Global site tag (gtag.js) - Google Analytics