`

前嗅ForeSpider教程:IP代理设置

阅读更多

今天,小编主要为大家介绍一下:前嗅ForeSpider中的IP代理设置,主要内容包括:启用IP代理,静态代理设置,动态代理设置,这三大部分。具体内容如下:

 

一,启用IP代理

 

启用IP代理采集时,需要进行代理配置。

 

1.启用IP代理

需选中“启用IP代理”,才能启用IP代理功能。

【启用代理IP】

 

2.启用代理加速

启用代理加速后,可以在采集过程中自动筛选无效和低效率的代理IP(屏蔽错误率超过50%,请求次数>3次的IP),优先使用高效的代理,提升采集的效率和数据质量。

 

3.本机IP混用策略

当代理IP失效时,选择是否启用本地网络。

 

4.添加代理

启用代理后,在IP资源列表中点击“+”添加一个资源,在弹框中填写资源名称,选择静态动态代理,填写请求频率和备注。

【添加IP】

创建好ip资源之后,点击页面右侧的加号,填写IP地址,端口选择代理类型,填写用户名和密码。这样代理IP就配置好了。

 

二,静态代理配置

 

以阿布云为例,购买之后会展示在阿布云官网的http隧道中。

 

1.创建IP资源

启用代理IP之后,点击IP资源列表左侧加号,填写代理资源名称,请求频率对照购买的每秒请求数填写点击确定,并勾选点击保存。

注意:在阿布云买的是动态代理,但是在软件中需设置为静态代理。

【配置静态IP】

 

2.添加代理

点击右侧加号添加代理,对应关系见下表:

添加好代理账号,点击保存就完成了代理IP的配置。

【配置静态IP】

 

三,动态代理配置

 

以无忧代理为例,对照下图配置:

 

1.创建IP资源

①请求频率:每秒每个IP所允许的请求次数,某些代理商对此有所限制时,需要填写。

②服务端口:对并行运行软件时有效,多进程共享代理IP时需要填写。

【配置动态IP】

 

2.右侧需要选择的内容

①协议类型:选择代理的协议类型,软件支持http/https/socket代理。

②返回格式:选择动态IP的返回格式。包括未知、Text、Json、XML。

③刷新周期:指代理IP的有效时长。

④请求地址:粘贴代理商的请求地址。

⑤POST DATA:根据代理不同,post请求的情况下填写该内容。

分享到:
评论

相关推荐

    forespider数据采集软件

    **前嗅forespider数据采集软件详解** 在信息化时代,数据的价值不言而喻,而高效的数据采集成为企业和个人获取信息的关键。前嗅forespider数据采集软件正是为解决这一需求而生,它是一款专为非专业编程人员设计的...

    weibo_spider_spider_爬取微博_爬取微博评论_微博_weibospider_

    同时,为了防止被微博服务器封锁,还需要设置合理的爬取间隔,使用代理IP,以及可能需要登录账号以获取更私密的数据。 在文件名"weibo_spider"中,我们可以推测这是微博爬虫项目的源代码或者相关资源文件。这个文件...

    forespider

    网上的便捷爬虫软件,可直接在许多网站上进行数据爬取

    使用ForeSpider爬虫软件批量采集企业信息公示系统.zip

    ForeSpider爬虫工具软件使用教程 使用ForeSpider爬虫软件批量采集企业信息公示系统.zip

    网络爬虫之Spider

    **网络爬虫之Spider** 网络爬虫是一种自动化程序,它能按照一定的规则遍历互联网上的网页,抓取所需的信息,并存储在本地或者数据库中。在Java编程语言中,开发网络爬虫可以借助各种库和工具,如Jsoup、Apache ...

Global site tag (gtag.js) - Google Analytics