本篇以360问答论坛为例:
一.网站结构
1.网站截图说明
某些网站需要登陆后才可进行内容的采集,登陆时需先对登陆信息输入位置进行定位,便于后续采集
【网站登陆页】
【采集列表页】
2.采集结果截图
【检索列表链接】
【检索结果数据】
二.配置模板
1.新建任务
【新建任务】
2.新建采集任务
【新建采集任务】
本次采集列表下的正文数据,所以本次需要抽取内容选择【链接列表】,为了将每一页的内容都成功采集选择【普通翻页】
3.配置登陆
【网站登录界面】
①内置浏览器找到登录按钮,弹出登录框
【网站登录顺序】
②先点击【用户名】
【输入框定位】
③如上图,对【用户名输入框】进行定位,crtl+左键点击【用户名输入框】的位置,直至被绿色框住代表定位成功,并按此方式完成的位置定位
【定位成功界面】
④【用户名】和【密码】定位完成后,点击,cookie配置框中出现数据,按Ctrl+鼠标左键单击“登录按钮”,内置浏览器页面登录成功,配置完成
4.配置模板
【采集预览】
①点击采集预览,在采集预览中有于目标链接相似的其他链接,可通过地址过滤得到列表链接。找到所需要的列表链接,观察得出所需要的目标链接都包含“thread-”
【地址过滤】
②勾选地址过滤,过滤规则选择包含,填入“thread-”
【标题过滤】
③勾选标题过滤,过滤规则选择包含,填入''下一页''
【采集预览】
④点击采集预览,下一页和包含''thread-''的内容都被成功过滤,如下图:
5. 模板关联
【模板关联】
根据网页跳转规律,将【链接列表】关联【链接列表:02】, 【普通翻页】关联【默认模板:01】,此处软件已自动进行了关联,如果配置时发现关联有问题,可自行进行更改
6.数据抽取
【数据抽取】
将模板一过滤得到的任意一条链接,作为链接列表模板的示例地址。如:https://bbs.360.cn/thread-15646770-1-1.html
7.新建数据抽取
【新建数据抽取】
新建数据抽取。直接点击链接列表,点击上面“新建数据抽取” 按钮,得到数据抽取,如下图:
8. 创建/选择表单
①创建表单
【创建表单】
②配置表单
【配置表单】
根据所需内容,配置表单字段(即表头),此处配置了包括网页主键、发布时间、正文内,网页标题以及网页地址五个字段,以配置发布时间(pubtime)为例
③数据抽取链接关联表单
【关联表单】
选择刚才新创建的表单''360问答''
9.字段定位
【字段定位】
主键字段自动生成无需定位,以pubtime字段为例进行定位,如下图所示,将各字段依次定位
10.采集预览
【采集预览】
字段定位完成后,进行模板预览,查看是否所需内容都被采集进来
四.数据采集
1.连接数据库
【连接数据库】
2.关联数据表
【关联数据表】
3.选中数据表
【选中数据表】
4.开始采集
【开始采集】
相关推荐
前嗅forespider数据采集软件正是为解决这一需求而生,它是一款专为非专业编程人员设计的可视化数据采集工具,使得即使是没有编程基础的用户也能轻松进行网页数据的抓取。 **一、forespider软件概述** forespider...
ForeSpider爬虫工具软件使用教程 使用ForeSpider爬虫软件批量采集企业信息公示系统.zip
网上的便捷爬虫软件,可直接在许多网站上进行数据爬取
Java语言基础** Java是一种面向对象的、跨平台的编程语言,以其强大的类库和良好的可移植性被广泛应用于各种领域,包括网络爬虫的开发。在这个项目中,`mySpider.java`是主程序文件,`.bak`扩展名表示它是该文件的...
在IT行业中,网络爬虫(Spider)是一种自动化程序,用于从互联网上抓取大量数据,以便分析、存储或再利用。在这个特殊的项目中,“weibo_spider_spider”指的是一个针对微博平台定制的爬虫程序,它能有效地爬取微博...