`

scrapy 抓的段子里的 \n 去不掉

阅读更多
''.join(sel.css("div.item-content::text").extract()).strip()

数据库里的 段子 还是有 \n
如下:
"body" : "我一朋友他恋上一位女神,头一次表白被谢绝了,他掉头就走。\n几天后女神主动找他问:你咋只表白一次?为什么不多表白几次?\n于是朋友说了一番话:“刮奖刮到一个谢字就足够了。爱情也一样,没有必要把‘谢谢惠顾’四个字刮的干干净净才肯放手。”",
''.join(sel.css("div.item-content::text").extract()).strip('\t\n\r') 也没用
咋办?

''.join(sel.css("div.item-content::text").extract()).replace("\n","")
把 "\n"  换成 空字符串 就行了。
0
5
分享到:
评论
2 楼 jacklin2015 2015-12-01  
1 楼 jacklin2015 2015-12-01  
''.join(sel.css("div.item-content::text").extract()).replace("\n","")
把 "\n"  换成 空字符串 就行了。

相关推荐

    python爬虫,Scrapy抓手机App数据并存入MongoDB(今日头条)

    python爬虫,Scrapy抓手机App数据并存入MongoDB(今日头条)python爬虫,Scrapy抓手机App数据并存入MongoDB(今日头条)python爬虫,Scrapy抓手机App数据并存入MongoDB(今日头条)python爬虫,Scrapy抓手机App数据...

    Python爬虫糗事百科段子(scrapy+beautifulsoup)

    本教程将详细介绍如何利用Scrapy和BeautifulSoup结合,从糗事百科网站上抓取多页的段子内容。 **Scrapy框架介绍** Scrapy是一个强大的Python爬虫框架,它提供了完整的爬虫项目结构和丰富的功能模块,包括请求调度、...

    scrapy 0.22.3

    ### Scrapy 0.22.3:一个强大的网络爬虫框架 #### 一、Scrapy简介 **Scrapy** 是一个用于爬取网站并提取结构化数据的应用框架,广泛应用于数据挖掘、信息处理或历史档案等领域。尽管最初设计是为了进行网页抓取...

    django+scrapy结合

    本篇文章将详细探讨如何将两个强大的Python库——Django和Scrapy结合,以实现通过Django的Web界面控制Scrapy爬虫的运行,并将爬取的数据存入数据库。 首先,让我们了解这两个框架的基本概念。Django是一个高级的Web...

    scrapy依赖文件包

    scrapy的所有依赖文件打包(不包含scrapy文件),scrapy文件可以自行安装pip后,用pip安装 命令为:pip install scrapy==1.0.5 scrapy1.0.5中文文档地址 ...

    Scrapy安装文件及其依赖项

    Scrapy是一个强大的Python爬虫框架,它为开发者提供了一个高效且结构化的数据抓取环境。在Windows 7 64位系统上安装Scrapy时,需要确保安装一系列依赖项,这些依赖项对于Scrapy的正常运行至关重要。在这个压缩包文件...

    scrapy爬取大文件方法

    Scrapy是一个强大的Python爬虫框架,它为开发者提供了构建网络爬虫所需的各种工具和模块,使得数据抓取和处理变得更加高效。在处理大文件时,Scrapy提供了多种策略和技巧来确保过程的顺利进行。本篇文章将深入探讨...

    scrapy_Python的爬虫框架Scrapy_scrapy_

    Scrapy是Python编程语言中的一款强大且高效的网页抓取框架,专为数据抓取和爬虫项目设计。它提供了一整套工具集,使得开发者能够快速构建起复杂的网络爬虫,处理网页数据并进行分析。在本文中,我们将深入探讨Scrapy...

    用Pyinstaller打包Scrapy项目例子

    然而,Scrapy项目通常是基于命令行启动的,这意味着在不安装Python和Scrapy的情况下无法直接运行。为了在不依赖Python环境的计算机上运行Scrapy项目,我们可以利用Pyinstaller将其打包成exe文件。 首先,确保你已经...

    Python爬取糗事百科段子(scrapy+beautifulsoup)

    本教程将深入探讨如何使用Scrapy与BeautifulSoup来爬取糗事百科上的段子。 首先,我们需要了解Scrapy的基本结构。Scrapy项目通常包含几个关键组件:spiders、items、pipelines、settings和 middlewares。Spiders是...

    scrapy

    Scrapy是一个强大的Python爬虫框架,专为网络数据抓取和网页解析设计。它提供了高效的数据提取、自动处理、调度和导出功能,是开发者进行Web数据挖掘和自动化任务的强大工具。 Scrapy的核心组件包括: 1. **Engine...

    scrapy-pyppeteer:Scrapy的Pyppeteer集成

    未维护如果您需要Scrapy的浏览器集成,请考虑使用Scrapy的Pyppeteer集成 该项目提供了一个Scrapy下载处理程序,该处理程序使用执行请求。 它可用于处理需要JavaScript的页面。 该软件包不会干扰常规的Scrapy工作流程...

    百度百科爬虫Scrapy

    **Scrapy框架详解** Scrapy是一个强大的Python爬虫框架,专为爬取网站并提取结构化数据而设计。它的设计理念是使爬虫项目易于编写、维护,并提供了多种功能,如中间件、爬取调度器、下载器、Item Pipeline等,以...

    scrapy&request_异步数据爬取_scrapy_

    Scrapy和Request是Python中两种常用的网络爬虫框架,它们都支持异步数据爬取,但各有特点。本文将深入探讨这两个工具在异步爬取中的应用及其优势。 首先,让我们了解一下什么是异步数据爬取。传统的同步爬虫在请求...

    python scrapy电子书开发文档

    ### Python Scrapy 电子书开发文档关键知识点解析 #### 标题:Python Scrapy 电子书开发文档 此文档主要围绕Python Scrapy框架展开,详细介绍了如何使用Scrapy进行网络爬虫开发,包括安装配置、基本概念、内置服务...

    scrapy 入门

    Scrapy是一个强大的Python爬虫框架,它为开发者提供了构建网络爬虫所需的各种工具和组件,使得数据抓取过程更加高效和便捷。以下是对Scrapy入门的一些关键知识点的详细讲解: ### 1. Scrapy架构 Scrapy基于组件化...

    Learning Scrapy-2016

    在法律和道德方面,使用Scrapy进行网络爬虫时需要遵守相关法律法规,尊重网站的robots.txt文件,不应当用于非法或不道德的用途。 总体而言,Scrapy是一个功能全面、性能高效、社区活跃的爬虫框架,无论是对于个人...

    scrapy1.1 帮助文档

    ### Scrapy 1.1 帮助文档关键知识点概览 #### 一、Scrapy简介及快速入门 - **Scrapy概述**:Scrapy是一款用于网页抓取的应用框架,可以高效地从网站中提取结构化数据。这些数据可用于各种用途,如数据挖掘、市场...

    scrapy-redis-master_scrapy-redis_juzi1122_scrapy_

    Scrapy-Redis是一个基于Scrapy的分布式爬虫框架,它扩展了Scrapy的功能,使其能够处理大规模的网络抓取任务。Scrapy是一个流行的Python爬虫框架,而Scrapy-Redis则是将其与Redis数据库结合,利用Redis作为数据队列,...

    Scrapy依赖包.zip

    Scrapy的高效运行离不开一系列依赖包的支持,这些依赖包在"Scrapy的依赖包.zip"中有所体现。以下是对这些依赖包及其作用的详细说明: 1. **Twisted**:Scrapy基于Twisted异步网络库构建,它是一个用Python编写的...

Global site tag (gtag.js) - Google Analytics