使用 Beautiful Soup 解析数据
有的小伙伴们对写正则表达式的写法用得不熟练，没关系，我们还有一个更强大的工具，叫Beautiful Soup，有了它我们可以很方便地提取出HTML或XML标签中的内容，实在是方便，这一节就让我们一起来感受一下Beautiful Soup的魅力
1. Beautiful Soup的简介
简单来说，Beautiful Soup是python的一个库，最主要的功能是从网页抓取数据。官方解释如下：
Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程序。 Beautiful Soup自动将输入文档转换为Unicode编码，输出文档转换为utf-8编码。你不需要考虑编码方式，除非文档没有指定一个编码方式，这时，Beautiful Soup就不能自动识别编码方式了。然后，你仅仅需要说明一下原始编码方式就可以了。 Beautiful Soup已成为和lxml、html6lib一样出色的python解释器，为用户灵活地提供不同的解析策略或强劲的速度。
2. 安装
下载地址:https://pypi.python.org/pypi/beautifulsoup4/4.3.2
官方文档：http://beautifulsoup.readthedocs.org/zh_CN/latest
使用
from bs4 import BeautifulSoup
创建 beautifulsoup 对象
soup = BeautifulSoup(html)
直接打印标签
1
2
3
4
5
6
7
8
print soup.title
#<title>The Dormouse's story</title>
print soup.head
#<head><title>The Dormouse's story</title></head>
print soup.a
#<a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a>
print soup.p
#<p class="title" name="dromouse"><b>The Dormouse's story</b></p>
print soup.name
print soup.head.name
print soup.p.attrs
想获取标签内部的文字怎么办呢？很简单，用 .string 即可，例
print soup.p.string
在CSS中，标签名不加任何修饰，类名前加点，id名前加 #，在这里我们也可以利用类似的方法来筛选元素，用到的方法是 soup.select()
print soup.select('title')
print soup.select('.sister')
print soup.select('#link1')
print soup.select('p #link1')
print soup.select('a[class="sister"]')
分享到：
相关推荐
本教程主要讲解 Python 爬虫入门知识，通过 Beautiful Soup 解析网页，抓取中国旅游网首页信息，了解网页结构，使用 requests 库抓取网站数据，并进行数据清洗和组织。 一、了解网页结构 网页结构主要由三部分组成...
**Python使用Beautiful Soup爬虫教程** Beautiful Soup是一个强大的Python库，专门用于从HTML和XML文档中提取数据。它提供了一种简单易用的接口，帮助开发者解析和导航复杂的网页结构。在本教程中，我们将深入探讨...
对于Python2.x，推荐使用Beautiful Soup 4.x版本。 - 在Debian或Ubuntu系统中，可以通过包管理器安装，但可能不是最新版本。要安装最新版，需要下载安装包并使用`python setup.py install`命令进行安装。 - 安装...
使用Beautiful Soup解析HTML，可以避免繁琐的正则表达式，并且能够在文档结构变化时自动适应。 适用人群： 适用于Python爬虫开发人员和需要从HTML和XML文档中提取数据的用户。 使用场景及目标： Beautiful Soup主要...
**标签“爬虫”和“python”** 提示了Beautiful Soup在数据抓取领域的应用，它常与请求库如`requests`配合，首先发送HTTP请求获取网页HTML，然后使用Beautiful Soup解析返回的HTML内容。 综上所述，Beautiful Soup...
2. 使用Requests发送GET请求： ```python url = 'https://movie.douban.com/top250' # 豆瓣电影Top250的URL response = requests.get(url) ``` 这里的`response`对象包含了服务器返回的所有信息，包括状态码、头部...
总的来说，Beautiful Soup作为Python爬虫开发的重要工具，以其简洁的API和强大的解析能力，极大地简化了数据提取的过程。通过熟练掌握Beautiful Soup的使用，你将能更好地应对各种复杂的网页结构，高效地实现你的...
在实际网络爬虫项目中，我们通常会结合其他库如`requests`来获取网页内容，再用Beautiful Soup解析。例如，`requests.get()`可以用来发送HTTP请求，获取HTML页面： ```python import requests response = requests...
Beautiful Soup是一款高效的Python网页解析分析工具，可以用于解析HTL和XML文件并从中提取数据。 Beautiful Soup输入文件的默认编码是Unicode，输出文件的编码是UTF-8。 Beautiful Soup具有将输入文件自动补全的...
3. **解析HTML文档**：详细讲解了如何使用Beautiful Soup解析HTML文档，包括如何获取页面中的特定元素、文本内容等。 4. **处理XML文档**：与解析HTML文档类似，但针对XML文档的特点进行讲解，如命名空间的处理等...
**Beautiful Soup：Python网页...总的来说，Beautiful Soup是Python中非常强大的网页解析工具，尤其适用于网页抓取和数据提取。结合其丰富的文档和社区支持，无论是初学者还是经验丰富的开发者，都能高效地完成任务。
### BeautifulSoup 4.4.0 文档概览与核心知识点 #### 1. 简介 - **定义**: BeautifulSoup 是一个 Python 库，用于从 HTML 或 XML 文件...掌握这些知识点有助于高效地使用 BeautifulSoup 进行 Web 抓取和数据分析任务。
Beautiful Soup 是一个Python库，用于解析HTML和XML文档。通过提供简单的方法来导航、搜索和修改解析树，它能够帮助用户从网页中提取所需信息。Beautiful Soup不仅能够处理不规则或损坏的标记，还能够通过不同的解析...
这段代码会发送 HTTP 请求，获取网页内容，并使用 Beautiful Soup 解析 HTML 代码。然后，它会提取网页标题并打印出来。 希望这个示例代码能帮到您。 requests,BeautifulSoup 这段代码会发送 HTTP 请求，获取网页...
总的来说，BeautifulSoup库为Python开发者提供了一种强大而灵活的方式来处理HTML和XML文档，无论你是进行网页抓取还是数据解析，都能从中受益。通过熟练掌握这些基本操作，你可以轻松地从网页中提取和分析所需的数据...
Beautiful Soup是Python中常用的HTML和XML解析库，它提供了简单的导航、搜索和修改解析树的接口，是进行网页抓取和数据提取的得力工具。本篇将详细介绍Beautiful Soup库的入门知识。 ### 1. 安装Beautiful Soup库 ...
简单来说，Beautiful Soup是python的一个库，最主要的功能是从网页抓取数据。官方解释如下： Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为...