`

前嗅ForeSpider教程:运行设置(三)

阅读更多

今天,小编为大家详细介绍一下:前嗅ForeSpider运行设置中的任务定时,预警设置,过滤设置,这三大模块。具体内容如下:

 

一,任务定时

 

【任务定时】

用户可以通过任务定时,进行自动启动/停止采集。也可以选择间隔某个时间段后启动/停止采集。

 

二,预警设置

 

【预警设置】

1. 网络异常

可以设置网络异常连续多少次,则进行预警提醒。

 

2. 反爬识别

可以设置疑似被反爬了多少次,则进行预警提醒。

 

3. 预警操作

设置当出现预警时,软件会进行什么操作。

①无:软件仍然照常操作。

②暂停:软件暂停,等待处理。

③自动休眠:预留。

④自动更换代理:预留。

 

4. 预警提醒

①不提醒:不进行提醒。

②图标闪烁:软件任务栏的图标闪烁。

③弹窗等待:软件弹出弹窗,等待人工处理。

 

三,过滤设置

 

通过设置采集的任务量大小、采集文件大小和文件类型,使软件采集到某种任务状况时可以自动停止。

【过滤设置-采集文件大小下限】

 

1. 采集文件大小下限

可以设置一个阈值,在采集量达到阈值时采集自动停止。

 

2. 采集文件大小阈值

可以设置一个采集文件大小的阈值,当文件大小超过阈值时不予采集该文件,通过设置阈值可以有效过滤超大文件,网页中不需要的超大文件将不予采集。

 

3. 采集文件类型列表

​在这里选择需要的文件类型,选中的文件类型将会被采集下来。不予选择的类型将在采集时被过滤。

分享到:
评论

相关推荐

    forespider数据采集软件

    **前嗅forespider数据采集软件详解** 在信息化时代,数据的价值不言而喻,而高效的数据采集成为企业和个人获取信息的关键。前嗅forespider数据采集软件正是为解决这一需求而生,它是一款专为非专业编程人员设计的...

    weibo_spider_spider_爬取微博_爬取微博评论_微博_weibospider_

    同时,为了防止被微博服务器封锁,还需要设置合理的爬取间隔,使用代理IP,以及可能需要登录账号以获取更私密的数据。 在文件名"weibo_spider"中,我们可以推测这是微博爬虫项目的源代码或者相关资源文件。这个文件...

    forespider

    网上的便捷爬虫软件,可直接在许多网站上进行数据爬取

    使用ForeSpider爬虫软件批量采集企业信息公示系统.zip

    ForeSpider爬虫工具软件使用教程 使用ForeSpider爬虫软件批量采集企业信息公示系统.zip

    网络爬虫之Spider

    网络爬虫在运行过程中可能会遇到各种问题,如网络连接错误、页面结构变化等,因此,异常处理机制是必不可少的。项目中的`mySpider$SymAction`、`mySpider$SymWindow`等类可能涉及异常捕获和处理,以及用户界面的反馈...

Global site tag (gtag.js) - Google Analytics