`
liuxinglanyue
  • 浏览: 561514 次
  • 性别: Icon_minigender_1
  • 来自: 杭州
社区版块
存档分类
最新评论

利用Python抓取和解析网页(一)

阅读更多

对搜索引擎、文件索引、文档转换、数据检索、站点备份或迁移等应用程序来说,经常用到对网页(即HTML文件)的解析处理。事实上,通过Python语言提供的各种模块,我们无需借助Web服务器或者Web浏览器就能够解析和处理HTML文档。本文将详细介绍如何利用Python抓取和解析网页。首先,我们介绍一个可以帮助简化打开位于本地和Web上的HTML文档的Python模块,然后,我们论述如何使用Python模块来迅速解析在HTML文件中的数据,从而处理特定的内容,如链接、图像和Cookie等。最后,我们会给出一个规整HTML文件的格式标签的例子,通过这个例子您会发现使用python处理HTML文件的内容是非常简单的一件事情。

  一、解析URL

  通过Python所带的urlparse模块,我们能够轻松地把URL分解成元件,之后,还能将这些元件重新组装成一个URL。当我们处理HTML 文档的时候,这项功能是非常方便的。

 

import urlparse

  parsedTuple = urlparse.urlparse(

  "http://www.google.com/search?

  hl=en&q=urlparse&btnG=Google+Search")

  unparsedURL = urlparse.urlunparse((URLscheme, \

  URLlocation, URLpath, '', '', ''))

  newURL = urlparse.urljoin(unparsedURL,

  "/module-urllib2/request-objects.html")

 函数urlparse(urlstring [, default_scheme [, allow_fragments]])的作用是将URL分解成不同的组成部分,它从urlstring中取得URL,并返回元组 (scheme, netloc, path, parameters, query, fragment)。注意,返回的这个元组非常有用,例如可以用来确定网络协议(HTTP、FTP等等 )、服务器地址、文件路径,等等。

 

  函数urlunparse(tuple)的作用是将URL的组件装配成一个URL,它接收元组(scheme, netloc, path, parameters, query, fragment)后,会重新组成一个具有正确格式的URL,以便供Python的其他HTML解析模块使用。

  函数urljoin(base, url [, allow_fragments]) 的作用是拼接URL,它以第一个参数作为其基地址,然后与第二个参数中的相对地址相结合组成一个绝对URL地址。函数urljoin在通过为URL基地址附加新的文件名的方式来处理同一位置处的若干文件的时候格外有用。需要注意的是,如果基地址并非以字符/结尾的话,那么URL基地址最右边部分就会被这个相对路径所替换。比如,URL的基地址为Http://www.testpage.com/pub,URL的相对地址为test.html,那么两者将合并成http://www.testpage.com/test.html,而非http://www.testpage.com/pub/test.html。如果希望在该路径中保留末端目录,应确保URL基地址以字符/结尾。

  下面是上面几个函数的详细一点的用法举例:

 

import urlparse

  URLscheme = "http"

  URLlocation = "www.python.org"

  URLpath = "lib/module-urlparse.html"

  modList = ("urllib", "urllib2", \

  "httplib", "cgilib")

  #将地址解析成组件

  print "用Google搜索python时地址栏中URL的解析结果"

  parsedTuple = urlparse.urlparse(

  "http://www.google.com/search?

  hl=en&q=python&btnG=Google+Search")

  print parsedTuple

  #将组件反解析成URL

  print "\反解析python文档页面的URL"

  unparsedURL = urlparse.urlunparse( \

  (URLscheme, URLlocation, URLpath, '', '', ''))

  print "\t" + unparsedURL

  #将路径和新文件组成一个新的URL

  print "\n利用拼接方式添加更多python文档页面的URL"

  for mod in modList:

  newURL = urlparse.urljoin(unparsedURL, \

  "module-%s.html" % (mod))

  print "\t" + newURL

  #通过为路径添加一个子路径来组成一个新的URL

  print "\n通过拼接子路径来生成Python文档页面的URL"

  newURL = urlparse.urljoin(unparsedURL,

  "module-urllib2/request-objects.html")

  print "\t" + newURL

  上述代码的执行结果如下所示:

  用Google搜索python时地址栏中URL的解析结果

 

 ('http', 'www.google.com', '/search', '',

  'hl=en&q=python&btnG=Google+Search', '')

  反解析python文档页面的URL

  http://www.python.org/lib/module-urlparse.html

  利用拼接方式添加更多python文档页面的URL

  http://www.python.org/lib/module-urllib.html

  http://www.python.org/lib/module-urllib2.html

  http://www.python.org/lib/module-httplib.html

  http://www.python.org/lib/module-cgilib.html

  通过拼接子路径来生成Python文档页面的URL

  http://www.python.org/lib/module-urllib2/request-objects.html

 

   二、打开HTML文档

  上面介绍了如何解析页面的URL,现在开始讲解如何通过URL打开一个网页。实际上,Python所带的urllib和urllib2这两个模块为我们提供了从URL打开并获取数据的功能,当然,这包括HTML文档。

 

 import urllib

  u = urllib.urlopen(webURL)

  u = urllib.urlopen(localURL)

  buffer = u.read()

  print u.info()

  print "从%s读取了%d 字节数据.\n" % (u.geturl(),len(buffer) )

  若要通过urllib模块中的urlopen(url [,data])函数打开一个HTML文档,必须提供该文档的URL地址,包括文件名。函数urlopen不仅可以打开位于远程web服务器上的文件,而且可以打开一个本地文件,并返回一个类似文件的对象,我们可以通过该对象从HTML文档中读出数据。

 

  一旦打开了HTML文档,我们就可以像使用常规文件一样使用read([nbytes])、readline()和readlines()函数来对文件进行读操作。若要读取整个HTML文档的内容的话,您可以使用read()函数,该函数将文件内容作为字符串返回。

  打开一个地址之后,您可以使用geturl()函数取得被获取网页的真正的URL。这是很有用的,因为urlopen(或使用的opener对象)也许会伴随一个重定向。获取的网页URL也许和要求的网页URL不一样。

  另一个常用的函数是位于从urlopen返回的类文件对象中的info()函数,这个函数可以返回URL位置有关的元数据,比如内容长度、内容类型,等等。下面通过一个较为详细的例子来对这些函数进行说明。

 

import urllib

  webURL = "http://www.python.org"

  localURL = "index.html"

  #通过URL打开远程页面

  u = urllib.urlopen(webURL)

  buffer = u.read()

  print u.info()

  print "从%s读取了%d 字节数据.\n" % (u.geturl(),len(buffer) )

  #通过URL打开本地页面

  u = urllib.urlopen(localURL)

  buffer = u.read()

  print u.info()

  print "从%s读取了%d 字节数据.\n" % (u.geturl(),len(buffer) )

  上面代码的运行结果如下所示:

 

 Date: Fri, 26 Jun 2009 10:22:11 GMT

  Server: Apache/2.2.9 (Debian) DAV/2 SVN/1.5.1 mod_ssl/2.2.9 OpenSSL/0.9.8g mod_wsgi/2.3 Python/2.5.2

  Last-Modified: Thu, 25 Jun 2009 09:44:54 GMT

  ETag: "105800d-46e7-46d29136f7180"

  Accept-Ranges: bytes

  Content-Length: 18151

  Connection: close

  Content-Type: text/html

  从http://www.python.org读取了18151 字节数据.

  Content-Type: text/html

  Content-Length: 865

  Last-modified: Fri, 26 Jun 2009 10:16:10 GMT

  从index.html读取了865 字节数据.
 三、小结

  对搜索引擎、文件索引、文档转换、数据检索、站点备份或迁移等应用程序来说,经常用到对网页(即HTML文件)的解析处理。事实上,通过Python语言提供的各种模块,我们无需借助Web服务器或者Web浏览器就能够解析和处理HTML文档。本文中,我们介绍了一个可以帮助简化打开位于本地和Web上的HTML文档的Python模块。在下篇中,我们将论述如何使用Python模块来迅速解析在HTML文件中的数据,从而处理特定的内容,如链接、图像和Cookie等。

来自:http://www.webjx.com/program/zonghe-14189_2.html

分享到:
评论

相关推荐

    python抓取淘宝天猫网页商品详情Demo

    在这个"python抓取淘宝天猫网页商品详情Demo"中,我们将探讨如何利用Python进行网页抓取,特别是针对淘宝和天猫的商品详情页面。 首先,我们需要理解网页抓取的基本原理。网页抓取,也称为网络爬虫,是通过模拟...

    Python实现抓取HTML网页并以PDF文件形式保存的方法

    在Python编程中,有时我们需要将网页内容抓取下来并保存为PDF格式,以便于离线阅读或者方便打印。本篇将详细介绍如何使用Python来实现这一功能,主要涉及的库包括`requests`、`beautifulsoup4`、`pdfkit`以及`PyPDF2...

    python抓取淘宝天猫网页商品详情Demo.zip

    本项目"python抓取淘宝天猫网页商品详情Demo.zip"是一个利用Python进行网络数据抓取的示例,主要涉及到以下几个核心知识点: 1. **网络请求库**:在Python中,我们通常使用如`requests`库来发送HTTP请求,获取网页...

    Python-游戏协议数据抓取解析工具

    本文将深入探讨一个基于Python的游戏协议数据抓取解析工具,该工具利用了wxWidgets、pywin32和WinPcap库来实现其功能。让我们逐一了解这些关键组件。 首先,`wxWidgets` 是一个跨平台的GUI工具包,用于帮助开发者...

    Web-Scraping-with-Python_Python网页信息抓取_Python抓取网页_jupyter_Python抓

    **Python网页信息抓取技术详解** 网页信息抓取,也称为网络爬虫或网页抓取,是通过自动化程序从互联网上获取大量数据的过程。在这个领域,Python语言因其强大的库支持和简洁的语法而成为首选工具。本教程将深入探讨...

    python抓取网页到本地实例程序

    本实例程序"python抓取网页到本地"将教你如何利用Python来抓取新闻页面上的所有新闻链接,并将这些链接对应的内容保存到本地。这涉及到的知识点主要包括Python基础、网络请求、HTML解析以及文件操作。 首先,我们...

    Python网页数据抓取以及表格的制作

    本主题将深入探讨如何使用Python进行网页数据抓取,并介绍如何利用这些数据创建表格,同时涉及CSS文件的生成和字体的修改。 首先,网页数据抓取是通过Python中的库如BeautifulSoup或Scrapy来实现的。BeautifulSoup...

    Python抓取页面、Pthon爬虫参考资料

    Python在Web抓取和爬虫领域有着广泛的应用,它的易学性和强大的库支持使得开发者能够高效地抓取和处理网页内容。以下是一些基于Python的网页抓取和...通过不断学习和实践,开发者可以利用Python实现高效的Web数据采集。

    python抓取

    Python抓取,通常指的是使用Python进行网络数据抓取或网络爬虫的过程。Python因其丰富的库支持和简洁的语法,成为了网络爬虫开发的热门选择。...通过学习和实践,你可以利用Python高效地从互联网获取你需要的信息。

    Python抓取京东数据

    ### Python抓取京东数据知识点详解 #### 一、项目背景与目标 本项目旨在通过Python爬虫技术抓取京东网站的商品评论数据,并将其存储至MySQL数据库中,方便后续的数据分析和挖掘工作。该项目重点关注京东图书商品的...

    python 抓取百度云分享数据,百度云最新接口抓取分享链接

    在Python编程领域,网络爬虫是一项重要的技能,用于自动化地获取网页信息。在这个主题中,我们将探讨如何使用Python来抓取百度云分享的数据,特别是利用百度云最新的API接口。这通常涉及到请求、解析HTML或JSON响应...

    用python爬取网页并导出为word文档.docx

    本篇内容将介绍如何利用Python爬虫抓取网页内容,并将其存储到MongoDB数据库中,形成可管理的文档型数据。 首先,Python中的`requests`库是用于发送HTTP请求的工具,它能够帮助我们获取网页的HTML源码。例如,在...

    python抓取高德POI数据,突破数据量限制

    本文将深入探讨如何利用Python抓取高德地图的POI数据,并解决数据量限制的问题。通过提供的文件`GetAmapPOIbyPolygon.py`,我们可以看到一个Python脚本,它用于获取高德地图在特定区域内的POI数据。 首先,`...

    人工智能_项目实践_数据抓取_使用python抓取上交所上市公司信息和下载深交所上市公司信息

    在本项目实践中,我们主要探讨了如何利用Python进行数据抓取,特别关注了从上海证券交易所(简称上交所)和深圳证券交易所(简称深交所)获取上市公司信息。这些信息对于金融分析、投资决策以及市场研究至关重要。...

    python编写的淘宝数据抓取工具

    Python 编写的淘宝数据抓取工具是利用编程语言Python结合Scrapy框架来实现的一款高效、自动化的网络数据采集工具。Scrapy是一个强大的Python爬虫框架,适用于构建复杂的爬虫项目,能够快速地从网页中抓取所需信息。...

    Python 网页抓取入门:技术原理与实战指南

    使用 Python 进行网页抓取时,可以利用 Requests、Beautiful Soup、lxml、Scrapy 和 Selenium 等工具。在编写爬虫时,需要考虑遵守 Robots.txt、处理异常、用户代理旋转、法律和道德问题。此外,还可以通过分布式...

    python抓取免费代理IP

    本项目提供了一套完整的解决方案,利用Python来抓取免费代理IP,并将其存储到MySQL数据库中,同时实现定期检查和排除失效的IP,构建自定义的代理IP池。 1. **Python抓取免费代理IP** `get_ips.py` 文件很可能是...

    Python数据抓取技术与实战.pdf

    2. Python抓取库选择: - requests库:用于发送HTTP请求,如GET、POST,是抓取网页的基本工具。 - Beautiful Soup库:用于解析HTML和XML文档,能处理复杂的页面,方便地提取数据。 - Scrapy框架:是一个快速高...

Global site tag (gtag.js) - Google Analytics