一. 网站内容
1. 网站截图说明
本教程通过“山西招投标网”官网来采集 链接列表(红框位置) 中正文的附件,故链接入口为:http://www.sxbid.com.cn/
【官网-二手房】
2. 链接列表采集结果预览
二. 操作方法
1. 新建任务
按图片数字所示,1-2-3完成新建任务的步骤
【新建任务】
Step1:按照图示1位置,点击“采集配置”。
Step2:按图示2位置,点击“任务列表”中的“+”。
Step3:在新建采集任务中输入采集网址即http://www.sxbid.com.cn/,任务名称可自定义,本次可输入为“中国石头招标投标网”。
点击“下一步”,需要采集正文数据,所以此处需要勾选“网页内所有链接”和“抽取数据”。
2. 链接抽取配置
Step1:按照图示1位置,Ctrl+左键选中“链接列表”。
Step2:按照图示2位置,点击“确认选区”,保证我们的数据是被选中的状态
Step3:按照图示3位置点击“采集预览”,查看数据详情,如下图所示:
3. 数据抽取
抽取数据(红框位置)中的链接 务必对应“链接列表”内的正文数据,即附件页面址。http://www.sxbid.com.cn/f/view-860ea5181ec54cd68435893df9254c02-1916cd9114ca48d4819b89c1da635597.html
4. 配置表单
如图示点击【数据建表】:
Step1:点击“采集配置”
Step2:点击“数据建表”
Step3:点击“+”,新建表单并自定义名称,这里取为“zhaobiao”
根据所需内容,配置表单字段,此处配置了包括主键、网页地址URL、标题、附件。表单建立如下:
【创建主键】
主键务必第一个创建,其含义为该表单所属ID
字段名称:hkey
采集内容 选择“主键”
数据类型 选择“长数字”
字段属性 选择 “索引字段”、“健值唯一”、“主键字段”、“全文索引”
最后点击“确定”即可。
【创建字段1-网页地址】
字段名称:url
采集内容 选择“选区内可见文本”
数据类型 选择“字符串”
数据长度 选择 范围240即可,最后点击确定。(备注可随意)
【创建字段2-标题】
字段名称:tittle
采集内容 选择“选区内可见文本”
数据类型 选择“字符串”
高级类型 选择 “长文本(<64K)”。(备注可随意)
【创建字段3-附件】
字段名称:fujian
采集内容 选择“网页代码/图片等资料”-“数据流文件”
表单配置字段自定义即可,如有多需求 可按上述同样操作即可。最终呈现如下图:
5. 关联数据表
表单配置完毕后,需要进行数据关联,操作如下:
选择所需的表单,点击【创建】按钮
创建表名称可随意填写,需注意 仅可使用“全英文”
6. 确认选区
操作如下图所示:
Step1:按照图1位置,在左侧点击“tittle”
Step2:按照图2位置ctrl+左键选中文章标题
Step3:最后点击“确认选区”即可
Step1:按照图1位置,在左侧点击“tittle”
Step2:按照图2位置ctrl+左键选中文章标题
Step3:最后点击“确认选区”即可
Step1:按照图1位置,在左侧点击“fujian”
Step2:在页面最低端会出现“附件下载”的位置即图2所示,ctrl+左键选中附件内容。
点击保存,完成数据选区
7. 数据建表 模板预览
在“新建模板:02”处右键选择“模板预览”,即可查看是否采集出所需数据,如下图:
Fujian字段数据出现“STREAM DATA”属于正常现象,请继续跟着教程完成最终采集。
三. 采集数据
1. 运行设置
运行设置处可以设置采集速度、采集策略、任务装载等。
2. 选择采集任务
操作如下图数字所示:
Step1:选择【数据采集】
Step2:在【任务列表】中勾选需要采集的任务,可勾选多个任务,同时采集。
Step3:点击“连接数据库”选择“打开”,此步骤不可避免,因为采集需要和数据库进行关联。
3. 开始采集
点击【开始采集】,系统开始进行采集。剩余任务数为0时,系统自动停止采集。用户也可以自己暂停任务或停止任务(停止任务会释放任务,再次启动时重新装载任务)。
4.数据浏览
采集一段时间以后,点击【数据浏览】,在数据列表中选中对应的数据表,即可浏览采集到的数据,点击【刷新】按钮可以同步显示数据。
【数据浏览】
5.导出数据
点击【导出】按钮,选择导出文件格式后保存。
导出数据时需选择正确的“存储路径”
导出方式 选择 “导出字段”
欲导出字段 选择 下滑列表中的 “fujian”,最终点击确认即可完成。
导出时,文件名后缀务必改为“docm”格式,保存类型选择“All Files”
打开下载后的文件,一份完整的附件就这样轻松采集到了,你学会了吗?
更多大数据咨询可关注公众号【前嗅大数据】(ID:forenose)
定期分享各行各业大数据情报 、竞品分析、AI舆情监控报告、SEO知识分享等干货。
我们不止做数据采集,燃爆AI 大数据
你想要的 我们都有!
相关推荐
前嗅forespider数据采集软件正是为解决这一需求而生,它是一款专为非专业编程人员设计的可视化数据采集工具,使得即使是没有编程基础的用户也能轻松进行网页数据的抓取。 **一、forespider软件概述** forespider...
ForeSpider爬虫工具软件使用教程 使用ForeSpider爬虫软件批量采集企业信息公示系统.zip
网上的便捷爬虫软件,可直接在许多网站上进行数据爬取
项目中可能包含了数据存储的相关逻辑,如将抓取的网页内容写入文件或与数据库进行交互。 **7. 异常处理** 网络爬虫在运行过程中可能会遇到各种问题,如网络连接错误、页面结构变化等,因此,异常处理机制是必不可少...
在IT行业中,网络爬虫(Spider)是一种自动化程序,用于从互联网上抓取大量数据,以便分析、存储或再利用。在这个特殊的项目中,“weibo_spider_spider”指的是一个针对微博平台定制的爬虫程序,它能有效地爬取微博...