今天,小编为大家详细介绍一下:前嗅ForeSpider运行设置中的网络超时,HTTP设置,加载设置,任务模式,这四大模块。具体内容如下:
一,网络超时
【网络超时】
1. 接收超时
当对方服务器繁忙时,可将接收超时的时间调大,否则软件在超时后将不再接收该链接地址的数据。
2. 发送超时
当采集的数据量过大时,可以将发送超时的时间调大。
3. 重试次数
网络连接失败后重新连接的次数。网络状态不稳定时,可以将重试次数调大。
二,http设置
【http设置】
1. 模拟浏览器版本
模拟不同版本的浏览器。当采集预览或内置浏览器无法打开某网站时,如果是由于内置浏览器的版本造成的,可以在此更改模拟浏览器的版本。(重启软件生效)
2. 重定向重试次数
网站重定向的重试次数。
三,加载设置
【加载设置】
1.加载设置
① 禁用JavaScript
【加载设置--完全禁用JavaScript】
对于有些网页,JavaScript只用于美观效果,可以关闭JavaScript,会加快采集速度。在这里设置的为全局的禁用JavaScript。
一般在配置时选择完全禁用。
当选择禁用禁用JavaScript时,对于js脚本采集时就不解析了,直接跳过。
② 完全不禁用JavaScript
【加载设置--完全不禁用JavaScript】
完全不禁用即启用JavaScript,可以启用JavaScript的相关方法。
在这里设置的为全局的完全不禁用JavaScript。
③ 不禁用当前页面
【加载设置--不禁用当前页面】
不禁用当前页面中的当前页指Script标签里面的js,其中不包括src=xxx.js。
在这里设置的为全局的不禁用当前页面。
2.禁用SSL协议(https)
不使用https协议,会提升采集速度。
四,任务模式
【任务模式】
1. 启动方式选择自动
打开软件后会自动采集。
2.停止方式自动
当选择动态加载的情况下,软件采集完毕时不会自动停止,如果选择了自动,则会自动停止。(不常用功能)
相关推荐
**前嗅forespider数据采集软件详解** 在信息化时代,数据的价值不言而喻,而高效的数据采集成为企业和个人获取信息的关键。前嗅forespider数据采集软件正是为解决这一需求而生,它是一款专为非专业编程人员设计的...
同时,为了防止被微博服务器封锁,还需要设置合理的爬取间隔,使用代理IP,以及可能需要登录账号以获取更私密的数据。 在文件名"weibo_spider"中,我们可以推测这是微博爬虫项目的源代码或者相关资源文件。这个文件...
网上的便捷爬虫软件,可直接在许多网站上进行数据爬取
ForeSpider爬虫工具软件使用教程 使用ForeSpider爬虫软件批量采集企业信息公示系统.zip
网络爬虫在运行过程中可能会遇到各种问题,如网络连接错误、页面结构变化等,因此,异常处理机制是必不可少的。项目中的`mySpider$SymAction`、`mySpider$SymWindow`等类可能涉及异常捕获和处理,以及用户界面的反馈...