`

十一Python网页抓取实战(网页抓取三)

阅读更多

 

    声明:本文只用于技术交流和学习使用,如果侵害到您的合法权利,请发邮件到daokun66@163.com告知删除。

    抓取的内容为osc的最新推荐博客列表,分析出博客的链接、标题、内容简介、作者和发布时间。


 

 上图为ocs最新推荐的文章列表的html结构,由图可知所有的文章列表都在ul标签里面且ul的class="BlogList",每一篇文章的基本信息都在ul下的li标签里,每一个li下的h3下的a的href即为博客内容链接,a的内容即为博客标题,li下的p标签的内容即为博客简介,li下的div标签且class="date"的内容即为作者和发布时间。

    

#-------------------------------------------------------------------------------
# coding:        utf-8
# Version:      python3.2
# Purpose:抓取测试 pageCrawl,抓取osc的最新推荐博客列表
#分析出博客链接、标题、内容简介、作者和发布时间
#
#声明:本例只供技术交流和练习使用,如侵害了您的权利,请发邮件给daokun66@163.com通知删除
# Author:      zdk
# Created:     07/03/2013
#-------------------------------------------------------------------------------
import httplib2
from html.parser import HTMLParser


def getPageContent(url):
    '''
    使用httplib2用编程的方式根据url获取网页内容
    将bytes形式的内容转换成utf-8的字符串
    '''
    #使用ie9的user-agent,如果不设置user-agent将会得到403禁止访问
    headers={'user-agent':'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)'}
    if url:
         response,content = httplib2.Http().request(url,headers=headers)
         if response.status == 200 :
            return str(content,'utf-8')


class MyHtmlParser(HTMLParser):
    '''
    根据html内容解析出相应的标签,获取标签的属性或相应的数据并输出
    '''
    def __init__(self):
        HTMLParser.__init__(self)
        self.href = []      #存放博客链接
        self.title = []     #存放博客标题
        self.summary = []   #存放博客内容简介
        self.author = []    #存放作者和发布时间

        self.ul = None          #是否进入到了ul标签
        self.ul_li = None       #是否进入到了ul里的li标签
        self.ul_li_h3 = None    #是否进入到了ul里的li里的h3标签
        self.ul_li_h3_a = None  #是否进入到了ul里的li里的h3里的a标签
        self.ul_li_p = None     #是否进入到了ul里的li里的p标签
        self.ul_li_div = None   #是否进入到了ul里的li里的div标签

    def handle_starttag(self, tag, attrs):
        if tag == 'ul' :
            for name,value in attrs:
                if name == 'class' and value =='BlogList':
                    self.ul = 1   #进入到了ul标签
                    break
        elif self.ul and tag == 'li':
            self.ul_li = 1        #进入到了ul里的li标签
        elif self.ul and self.ul_li and tag == 'h3':
            self.ul_li_h3 = 1     #进入到了ul里的li里的h3标签
        elif self.ul and self.ul_li and self.ul_li_h3 and  tag== 'a':
            self.ul_li_h3_a = 1   #进入到了ul里的li里的h3里的a标签
            for name,value in attrs:
                if name == 'href':
                    self.href.append(value)    #取博客链接
                    print("博客链接:"+value)   #输出博客链接
        elif self.ul and self.ul_li and tag == 'p':
            self.ul_li_p = 1    #进入到了ul里的li里的p标签
        elif self.ul and self.ul_li and tag == 'div':
            for name,value in attrs:
                if name == 'class' and value =='date':
                    self.ul_li_div = 1 #进入到了ul里的li里的class='date'的div标签
                    break

    def handle_data(self, text):
        if self.ul and self.ul_li and self.ul_li_h3 and self.ul_li_h3_a :
             self.title.append(text) #链接里面的数据即为标题
             print("博客标题:"+text)
        elif self.ul and self.ul_li and self.ul_li_p :
             self.summary.append(text) #ul里的li里的p标签的内容为博客内容简介
             print("博客简介:"+text)

        elif self.ul and self.ul_li and self.ul_li_div :
             self.author.append(text)   #ul里的li里的div标签的内容为作者和更新时间
             print("博客作者和更新时间:"+text)

    def handle_endtag(self, tag):
        if tag == 'a' and self.ul and self.ul_li and self.ul_li_h3 and self.ul_li_h3_a :
            #退出了ul里的li里的h3里的a标签
            #重置h3和a的标识数据
            self.ul_li_h3 = None
            self.ul_li_h3_a = None
        elif tag == 'p' and self.ul and self.ul_li and self.ul_li_p:
            #退出了ul里的li里的p标签
            self.ul_li_p = None
        elif tag == 'div' and self.ul and self.ul_li and self.ul_li_div:
            #退出了ul里的li里的div标签
            self.ul_li_div = None
        elif tag == 'li' and self.ul and self.ul_li :
            #退出了ul里的li标签
            self.ul_li = None
        elif tag == 'ul' and self.ul :
            #退出了ul标签
            self.ul = None



if __name__ == '__main__':
    pageC = getPageContent('http://www.oschina.net/blog/more?p=1')
    my = MyHtmlParser()
    my.feed(pageC)
运行结果
博客链接:http://my.oschina.net/lzp/blog/112341
博客标题:将私有Android工程迁移至GitHub
博客简介:      以前不太在意GitHub是因为印象中他一直是托管开源代码的,适合大家分享开源代码。最近感谢党和政府对它的XX,也使我...
博客作者和更新时间:lzpliu 发布于 4小时前
博客链接:http://my.oschina.net/ryanhoo/blog/112322
……
博客链接:http://my.oschina.net/NGINX08/blog/111380
博客标题:OceanBase分布式系统负载均衡案例学习
博客简介:        一个集群如果出现了负载不均衡问题,那么负载最大的机器往往将成为影响系统整体表现的瓶颈和短板。为了避免这...
博客作者和更新时间:NGINX08 发布于 4天前

程序非常简陋,只能抓取第一页的列表,没有代理(ip容易被墙),没有多线程(不能同时抓取多页),只是小弟学习python的一个练习,还望大牛多多指教。  

 

 

  • 大小: 37.5 KB
分享到:
评论

相关推荐

    Python 网页抓取入门:技术原理与实战指南

    本文详细介绍了使用 Python 进行网页内容抓取的技术原理和实战指南,包括主要步骤、技术栈与工具、实战代码示例、遵守 Robots.txt、异常处理、用户代理旋转、法律和道德问题、分布式爬虫以及爬虫与机器学习等方面的...

    Python数据抓取技术与实战.pdf

    2. Python抓取库选择: - requests库:用于发送HTTP请求,如GET、POST,是抓取网页的基本工具。 - Beautiful Soup库:用于解析HTML和XML文档,能处理复杂的页面,方便地提取数据。 - Scrapy框架:是一个快速高...

    Python数据抓取技术与实战.zip

    Python数据抓取技术是互联网时代获取大量有价值信息的重要手段,尤其在数据分析、研究以及网站维护等领域,Python以其简洁明了的语法和丰富的第三方库成为首选工具。本资料包"Python数据抓取技术与实战"旨在深入浅出...

    Python网络爬虫项目开发实战_数据抓取_编程案例解析实例详解课程教程.pdf

    总之,Python网络爬虫项目开发实战课程将涵盖从基础的网页抓取概念到高级的数据解析技术,帮助学习者掌握网络爬虫开发的关键技能,并能够应用于实际的数据获取任务。无论是对数据分析、市场研究还是内容监控有兴趣的...

    Python数据分析实战源代码

    Python提供了BeautifulSoup、Scrapy等工具,你可以学习如何构建爬虫,抓取网页数据,以及如何处理反爬策略和数据存储。 5. **MySQL连接**:数据通常存储在数据库中,因此掌握如何与数据库交互至关重要。这一章将...

    python爬虫项目实战

    8. **实战案例**:例如,你可以实战抓取电商平台的商品信息,新闻网站的新闻文章,或是社交媒体的用户数据,分析其中的模式和趋势。 9. **法律与道德**:了解并遵守相关法律法规,尊重网站的robots.txt文件,确保...

    Python爬虫抓取图片以及使用Spider模仿用户行为抓取403错误网页

    本教程将深入探讨Python爬虫的基本概念,重点在于如何抓取网页、处理图片,并解决在模拟用户行为时遇到的403 Forbidden错误。我们将通过具体的代码示例来详细解释这些知识点。 1. **Python爬虫基础**: - **网络...

    Python-Python3爬虫实战JS加解密逆向教程

    总结来说,"Python-Python3爬虫实战JS加解密逆向教程"涵盖的内容包括但不限于:使用Selenium进行动态内容抓取,JavaScript逆向工程,理解并应用加密算法,处理混淆代码,以及应对验证码和IP限制等。掌握这些技能将使...

    Python实战案例合集

    例如,你可以使用BeautifulSoup和requests库进行网页抓取,获取并处理大量网络数据;使用pandas进行数据清洗和分析,提取有价值的信息;或者使用Django或Flask框架开发Web应用,实现业务逻辑。 本合集中的PDF文档很...

    Python网络爬虫实战

    根据提供的信息,《Python网络爬虫实战》是一本适合初学者使用的Python爬虫技术书籍,它不仅能够帮助读者巩固基础知识,还能够作为一本实用工具书在实际工作中发挥作用。下面将详细介绍该书中可能涵盖的关键知识点。...

    提高Python网络编程实战视频教程网络抓取爬虫04python内置容器-.avi

    提高Python网络编程实战视频教程网络抓取爬虫04python内置容器

    提高Python网络编程实战视频教程网络抓取爬虫06python正则表达式-.avi

    提高Python网络编程实战视频教程网络抓取爬虫06python正则表达式

    提高Python网络编程实战视频教程网络抓取爬虫03python使用基础-.avi

    提高Python网络编程实战视频教程网络抓取爬虫03python使用基础

    python3网络爬虫实战

    《Python3网络爬虫实战》是一本专注于使用Python3进行网络数据抓取的实践指南,旨在帮助读者掌握网络爬虫的基础知识以及高级技巧。通过本书的学习,你可以深入了解Python3在网络爬虫领域的应用,并具备实际开发网络...

    Python网络爬虫实战胡松涛编著

    《Python网络爬虫实战》是胡松涛编著的一本深度解析Python爬虫技术的教程。这本书旨在帮助读者从零基础开始,逐步掌握Python爬虫的精髓,通过实例教学,让学习过程更加生动且富有实践性。以下是该书可能涵盖的一些...

    艾伯特Python网络爬虫实战.pdf

    《艾伯特Python网络爬虫实战.pdf》这本书的内容主要围绕Python网络爬虫的实战应用。在介绍知识点之前,我们先来解释一下什么是网络爬虫以及Python在其中的作用。 网络爬虫(Web Crawler),又称网络蜘蛛(Web ...

    Python爬虫实战:购物网站评论抓取

    随着互联网技术的迅猛发展,数据抓取已成为网络数据分析的重要...通过以上步骤,一个基于Python的购物网站评论抓取实战项目就完成了。通过实际编码操作,不仅能够提升Python编程能力,还能加深对网络爬虫的理解和应用。

    python项目实战实例

    项目:AppStore数据分析 项目:人人网爬虫 项目背景与需求 项目技术文档 模拟登陆login.py 数据表单设计 第一步:抓取所有好友列表 第二步:解析所有好友信息 第三步:将好友主页页面保存 项目总结

    提高Python网络编程实战视频教程网络抓取爬虫02-1Python开发环境windows.avi

    提高Python网络编程实战视频教程网络抓取爬虫02_1Python开发环境windows

    提高Python网络编程实战视频教程网络抓取爬虫02-2Python开发环境linux.avi

    提高Python网络编程实战视频教程网络抓取爬虫02_2Python开发环境linux

Global site tag (gtag.js) - Google Analytics