`

python之scrapy(二)

 
阅读更多
extract_first("") = extract()[0]

 

  def parse(self, response):
        re_selector = response.xpath('//*[@class="entry-header"]/h1/text()').extract_first("")

        zan = response.xpath('//*[@id="112376votetotal"]/text()')
        shoucang = response.xpath('//span[contains(@class,"bookmark-btn")]/text()').extract()[0]
        shoucang = re.match(".*(\d+).*",shoucang).group(1)
        pinglun = response.xpath('//a[@href="#article-comment"]/span/text()').extract()[0]
        pinglun = re.match(".*(\d+).*", pinglun).group(1)

        zhengwen = response.xpath('//div[@class="entry"]').extract()[0]
        print(re_selector.extract()[0].strip())
        print(zan)
        print(shoucang)
        print(pinglun)
        print(zhengwen)
        pass

 

分享到:
评论

相关推荐

    Python基于Scrapy+Redis分布式爬虫设计+源码案例+Python + Scrapy + redis.zip

    毕业设计+Python基于Scrapy+Redis分布式爬虫设计+源码案例+Python + Scrapy + redis 毕业设计+Python基于Scrapy+Redis分布式爬虫设计+源码案例+Python + Scrapy + redis 毕业设计+Python基于Scrapy+Redis分布式爬虫...

    基于Python 爬虫Scrapy课件源码.zip

    python课程设计基于Python 爬虫Scrapy课件源码基于Python 爬虫Scrapy课件源码基于Python 爬虫Scrapy课件源码基于Python 爬虫Scrapy课件源码基于Python 爬虫Scrapy课件源码基于Python 爬虫Scrapy课件源码基于Python ...

    毕业设计+Python基于Scrapy+Redis分布式爬虫设计+源码案例+Python + Scrapy + redis

    Python_Scrapy_Distributed_Crawler Python基于Scrapy-Redis分布式爬虫设计毕业源码案例设计 开发环境:Python + Scrapy框架 + redis数据库 程序开发工具: PyCharm 程序采用 python 开发的 Scrapy 框架来开发,...

    python3.7 scrapy简单爬虫入门

    **Python 3.7 Scrapy 简单爬虫入门** Scrapy 是一个用 Python 编写的高效且强大的网络爬虫框架,适用于自动化抓取、处理、分析网页数据。在 Python 3.7 的环境下,我们可以轻松搭建起一个基本的 Scrapy 爬虫项目,...

    Python 3.8.2 scrapy 框架 安装依赖包

    Scrapy是一个强大的Python爬虫框架,它为网络爬虫的构建提供了高效且灵活的工具集。在使用Scrapy时,我们需要确保所有必要的依赖项都已安装。针对Python 3.8.2版本,安装Scrapy及其相关依赖可能会遇到一些常见问题,...

    Python_Scrapy.zip

    Python的Scrapy框架是开发高效网络爬虫的强大工具,它为数据抓取、解析和存储提供了全面而灵活的解决方案。本资源"Python_Scrapy.zip"包含了一个使用Scrapy进行爬虫开发的完整实例,涵盖了从基础到进阶的各种功能,...

    Python-基于Python的scrapy爬虫框架实现爬取招聘网站的信息到数据库

    Python的Scrapy框架是用于构建高效、可复用的网络爬虫项目的强大工具。它是一个专为爬取网站并提取结构化数据而设计的库,特别适合处理大规模的数据抓取任务。在本教程中,我们将深入探讨如何使用Scrapy来爬取招聘...

    基于python和scrapy的电影数据爬虫

    **Python和Scrapy在电影数据爬取中的应用** 在当今数据驱动的时代,获取网络上的大量信息,特别是结构化的数据,成为许多项目和研究的基础。Python作为一种强大的编程语言,因其简洁的语法和丰富的库支持,成为了...

    python的scrapy框架爬取天气预报

    利用python的scrapy框架爬取天气预报的信息,是python爬虫入门的好程序,如果还有小伙伴不会运行scrapy框架程序的,可以在下方评论区里说明。

    Python之scrapy爬虫文件

    **Python之Scrapy爬虫文件**是针对Python编程语言中著名的Web爬虫框架Scrapy的深入学习资料。Scrapy是一个高效、强大的爬虫框架,它为开发者提供了完整的爬取、解析网页以及存储数据的解决方案。本文件包包含了多个...

    Python-基于pythonscrapy框架抓取豆瓣影视资料

    **Python-基于Scrapy框架抓取豆瓣影视资料** 在Python的Web爬虫领域,Scrapy是一个强大而高效的框架,用于构建网络爬虫项目。本教程将深入探讨如何使用Scrapy来抓取豆瓣网站上的影视资料,包括电影、电视剧等信息。...

    Python+Scrapy获取微博用户基本资料.zip

    本项目“Python+Scrapy获取微博用户基本资料”就是利用Python的Scrapy框架来抓取新浪微博用户的基本信息,包括关注者和粉丝的数据。Scrapy是一个高度模块化、高效且易于使用的爬虫框架,适用于大型网站的数据抓取。 ...

    精通Python爬虫框架Scrapy.pdf

    精通Python爬虫框架Scrapy.pdf

    Python基于Scrapy兼职招聘网站爬虫数据分析设计.zip

    在本项目中,"Python基于Scrapy兼职招聘网站爬虫数据分析设计.zip" 是一个包含使用Python的Scrapy框架实现的兼职招聘网站数据爬取及分析的案例。Scrapy是一个强大的、用于网络爬虫开发的开源框架,适用于快速构建...

    完整版Python网络爬虫之Scrapy爬虫框架使用案例教程含源代码共18页.pdf

    本教程将实际操作使用Python Scrapy框架爬取传智播客教师页面教师的个人信息。 爬取页面网址:http://www.itcast.cn/channel/teacher.shtml#ac Scrapy,Python开发的一个快速,高层次的屏幕抓取和web抓取框架,用于...

    Python基于Scrapy豆瓣电影爬虫及Django电影展示网站设计

    ## 开发环境:Python3.7 + Scrapy框架 + Django网站 + mysql数据库 这个项目有2个爬虫程序和一个网站程序:其中一个爬虫负责分页抓取json格式的数据,分析拿到豆瓣电影的详情页面url地址存入到redis数据库的...

    python3 scrapy安装教程(详细)

    Python3 Scrapy 安装教程详解 Python 是一个功能强大的编程语言,Scrapy 是其下的一个功能强大的第三方模块,用于爬虫开发。安装 Scrapy 模块非常重要,但对于刚刚开始学习 Python 的朋友来说,安装 Scrapy 可能会...

Global site tag (gtag.js) - Google Analytics