`
mushme
  • 浏览: 790078 次
  • 性别: Icon_minigender_1
  • 来自: 西安
社区版块
存档分类
最新评论

使用python从360doc上抓取内容

 
阅读更多
#人生苦短,我用python
在360doc上查到一篇不错的文章,准备复制收藏的时候,提示让我登录。
我没有帐号,只好祭出python,顺利拿到数据,自动根据网页标题,保存成html页面
提示:360doc服务端,检查了header,代码里已经添加了。
import urllib.request
from urllib import request
import os

hosturl = 'http://www.360doc.com/content/14/0813/17/15477063_401589947.shtml'

#构造header,一般header至少要包含一下两项。这两项是从抓到的包里分析得出的。
headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:43.0) Gecko/20100101 Firefox/43.0',
           'Referer' : hosturl}
#打开登录主页面(他的目的是从页面下载cookie,这样我们在再送post数据时就有cookie了,否则发送不成功)
request = urllib.request.Request(hosturl, None, headers)
response = urllib.request.urlopen(request)
htmldata = response.read()
data=htmldata.decode('utf-8')

pre = '<span id="articlecontent" onmousedown="newhighlight = true;" onmouseup="NewHighlight(event)">'
index1 = data.find(pre) + len(pre)
index2 = data.find('<div id="viewerPlaceHolder" style="width: 717px; height: 700px; display: none;">', index1)
content = data[index1 : index2]


pretitle = '<div class="biaoti2 lf360">'
indextitle1 = data.find(pretitle) + len(pretitle)
indextitle2 = data.find('</div>', indextitle1)
title = data[indextitle1 : indextitle2].replace("\r\n","").strip()

print(title)
f = open(title+"_"+hosturl.split("/")[-1],"w")
f.write(content)


0
0
分享到:
评论

相关推荐

    python抓取360百科词条

    学习python一周,学着写了一个爬虫,用来抓取360百科的词条,在这个过程中,由于一个小小的改动,程序出现一些问题,又花了几天时间研究,问了各路高手,都没解决,最终还是自己解决了,其实就是对list列表理解不够...

    Web-Scraping-with-Python_Python网页信息抓取_Python抓取网页_jupyter_Python抓

    网页信息抓取,也称为网络爬虫或网页抓取,是通过自动化程序从互联网上获取大量数据的过程。在这个领域,Python语言因其强大的库支持和简洁的语法而成为首选工具。本教程将深入探讨如何在Jupyter环境中使用Python...

    Python车牌识别、车牌抓取源代码

    Python车牌识别、车牌抓取源程序,运行程序前需先导入cv2和numpy包。

    python爬虫,如何抓取网页数据

    python爬虫,如何抓取网页数据; python爬虫,如何抓取网页数据; python爬虫,如何抓取网页数据; python爬虫,如何抓取网页数据; python爬虫,如何抓取网页数据; python爬虫,如何抓取网页数据; python爬虫,...

    一个简化的示例,使用Python的requests库来抓取网页内容,并使用BeautifulSoup库来解析HTML

    一个简化的示例,使用Python的requests库来抓取网页内容,并使用BeautifulSoup库来解析HTML 遵守robots.txt:在编写爬虫时,请确保你遵守目标网站的robots.txt文件规定。 不要过度请求:避免在短时间内发送大量请求...

    python邮箱抓取脚本

    python邮箱抓取脚本,利用正则表达式从文本内容中抓取邮箱。

    python简单爬虫抓取网页内容实例

    一个简单的python示例,实现抓取 嗅事百科 首页内容 ,大家可以自行运行测试

    Python-抓取网络上共享的迅雷账户并且校验是否可用

    在Python编程领域,Web爬虫是一项重要的技术,用于自动化地从互联网上收集信息。本项目主要探讨如何利用Python抓取网络上共享的迅雷(Thunder)会员账户,并进行有效性校验。迅雷作为一款流行的下载工具,其会员账户...

    使用Python实现windows下的抓包与解析

    在本文中,我们将深入探讨如何使用Python在Windows操作系统下实现数据包的抓取与解析。首先,我们需要了解的背景信息是,系统环境为Windows 7,选用Python 2.7而不是Python 3,主要是因为Scapy库在Python 2中的安装...

    Python网页抓取讲解.pptx

    Python 网页抓取是指使用 Python 语言从互联网上抓取数据的过程。该技术广泛应用于数据挖掘、机器学习、自然语言处理等领域。下面是 Python 网页抓取的详细讲解: 一、为什么需要网页抓取 网页抓取可以帮助我们从...

    Python网页数据抓取以及表格的制作

    本主题将深入探讨如何使用Python进行网页数据抓取,并介绍如何利用这些数据创建表格,同时涉及CSS文件的生成和字体的修改。 首先,网页数据抓取是通过Python中的库如BeautifulSoup或Scrapy来实现的。BeautifulSoup...

    pythondocx无法处理 “doc格式” 文件,于是我这样做.......docx

    使用 Python 将 DOC 文件转换为 DOCX 文件 Python 是一种功能强大的语言,可以用来处理各种类型的文件,包括 Word 文件。然而,Python 的 docx 库只能处理 DOCX 文件,不能直接处理 DOC 文件。这就需要我们使用...

    使用 Python 进行 Web 抓取实践:使用有效的 Python 技术从 Web 中提取高质量数据

    从介绍 Web 抓取基础知识和 Python 编程开始,您将涵盖一系列抓取技术,包括 requests、lxml、pyquery、Scrapy 和 Beautiful Soup。您还将掌握高级主题,例如安全 Web 处理、Web API、用于 Web 抓取的 Selenium、PDF...

    Python27 豆瓣影评抓取 源码 及插件下载

    在本资源中,我们主要关注的是使用Python27版本进行豆瓣影评的抓取。Python是一种广泛使用的高级编程语言,特别适合于网络爬虫开发,因为它有丰富的库支持,如BeautifulSoup、Scrapy等,可以方便地解析和提取网页...

    第一个python项目,使用requests抓取数据

    在这个项目中,我们将探索如何使用Python的requests库来从网络上抓取数据。requests是Python中最常用的一个库,它提供了简单易用的API来发送HTTP请求,这对于进行网页抓取、API交互等任务非常方便。 【描述】:...

    Phantomjs抓取渲染JS后的网页(Python代码)

    本文介绍了如何使用Phantomjs结合Python进行网页抓取的方法,特别是在处理JavaScript渲染后的网页内容时非常有效。通过配置Phantomjs代理以及编写简单的Python脚本,可以轻松实现这一目标。需要注意的是,在实际开发...

    python_auto_doc.zip

    在上述代码中,`create_doc`函数接受一个标题和内容列表,然后创建一个包含这些内容的新文档。`example.docx`文件可能是生成新文档时用作模板或参考的现有文档,或者它可能是自动生成文档的结果之一。 此外,为了...

    Python抓取京东数据

    ### Python抓取京东数据知识点详解 #### 一、项目背景与目标 本项目旨在通过Python爬虫技术抓取京东网站的商品评论数据,并将其存储至MySQL数据库中,方便后续的数据分析和挖掘工作。该项目重点关注京东图书商品的...

    python抓取

    Python抓取,通常指的是使用Python进行网络数据抓取或网络爬虫的过程。Python因其丰富的库支持和简洁的语法,成为了网络爬虫开发的热门选择。本文将深入探讨Python抓取的相关知识点,包括基础概念、常用库、爬虫架构...

    人工智能_项目实践_数据抓取_使用python抓取上交所上市公司信息和下载深交所上市公司信息

    在本项目实践中,我们主要探讨了如何利用Python进行数据抓取,特别关注了从上海证券交易所(简称上交所)和深圳证券交易所(简称深交所)获取上市公司信息。这些信息对于金融分析、投资决策以及市场研究至关重要。...

Global site tag (gtag.js) - Google Analytics