`

前嗅ForeSpider脚本教程:频道脚本使用场景及配置关键词搜索

阅读更多

今天,小编给大家带来的教程为:前嗅ForeSpider脚本教程中频道脚本的应用场景以及脚本配置关键词搜索的实战教程。具体内容如下:

 

一.频道脚本使用场景

 

当需要手动创建采集源列表,或者完全使用脚本采集数据时,在“频道脚本”处,你可能用到的类为extractor 、result

你可以定义类的对象来使用其成员方法,也可以使用EXTRACTRESULT两个全局对象。

关于这两个类的详细说明以及该场景的更多示例,可以点击“教程->脚本教程->脚本示例->频道脚本”来查看相关内容。

 

二.脚本配置关键词搜索

 

1.关键词不含验证码

场景:当一类链接中只需要替换一部分字符串,即可得到目标链接。则可以将这部分字符串作为关键词,添加频道脚本,达到链接抽取的目的。

示例:暂无。

 

2.关键词含验证码

场景:当通过可视化方式不能获取验证码刷新事件时,需要手动寻找验证码刷新请求并填写至相应输入框,与此同时,添加验证码参数至参数列表。

示例:采集京东店铺工商信息。

使用开发者工具(以搜狗浏览器为例,在浏览器中按F12打开)抓包,在目标网页右键点击“审查元素”,选择“NetWork”,先清空所有缓存信息,点击验证码图片,查找验证码刷新请求:

“https://mall.jd.com/sys/vc/createVerifyCode.html?random=0.10473700880101844”。

可以发现每次刷新验证码,请求链接中random参数的值都不同,则需要查找random生成的js事件。在网页源码中找到以下代码。

填写js刷新事件于文本框内,值得注意的是,只需修改this.src的值即可。

脚本实例:

var key = EXTRACT.GetSearch(this);var form = key.Search();url u;var postData;while(form){var ocrCode = form.verifyCode;u.urlname = "https://mall.jd.com/"+"showLicence-"+form.text+".html";u.title = ocrCode;u.entryid = this.id;u.tmplid = 1;postData = "verifyCode="+ocrCode;var d = EXTRACT.OpenDoc(this,u.urlname,postData,0);if(d){this.Run(d,1);EXTRACT.CloseDoc(d);     }form = key.Search();           }key.End();

 

分享到:
评论

相关推荐

    TCL脚本实例: 检查IP的脚本

    TCL脚本实例:检查IP的脚本是一种使用TCL语言编写的脚本,用于检查指定的IP地址是否可以ping通。本脚本可以根据配置文件中的IP地址列表,自动执行ping操作,并输出ping结果。 知识点: 1. TCL语言:TCL(Tool ...

    自动切换IE代理设置: 简单使用IE自动配置脚本

    ### 自动切换IE代理设置:简单使用IE自动配置脚本 #### 1. IE自动配置脚本概述 ##### 1.1 定义 IE自动配置脚本是一种用于自动化管理Internet Explorer浏览器代理设置的技术手段。它能够根据用户访问的目标网址...

    Bash脚本教程:Java JAR应用快速启动与监控.zip

    本Bash脚本用于自动化管理Java JAR应用的启动、停止及监控。首先检查JAR进程是否在运行,如在运行则安全终止。随后,使用预设的Java参数启动JAR文件,并将输出和错误日志重定向至日志文件。启动后,脚本持续监控JAR...

    Unity3D 2018 最新最全800个脚本教程

    一部分的目录东西太多了 行为控制脚本 鼠标的路线 Unity3D教程:游戏玩家服务器的制作 Unity3D教程:实例化 JS脚本控制逐渐淡出的欢迎界面 Unity3D教程:界面插件NGUI的使用 (2) 脚本控制物体的变换 脚本的运行顺序...

    MsCode脚本编译器教程[归纳].pdf

    3. 脚本录制:使用鼠标移到控件前,按Home键获取控件的信息,然后选择执行命令。 4. 编辑脚本:对录制的脚本进行编辑和修改。 5. 执行脚本:将编译后的脚本执行,以实现自动化软件安装。 MsCode脚本编译器的应用...

    经典windows脚本教程

    教程会讲解如何配置和使用WSH,以及编写和执行WSH脚本的基本步骤。 5. **脚本实战**:教程中将通过实例来演示如何运用所学知识解决实际问题,例如自动化文件备份、邮件发送、系统监控等。这些实例将帮助读者理解...

    FileMaker高级教程 脚本

    ### FileMaker高级教程:脚本 #### 重要性与作用 在FileMaker Pro软件中,脚本是一项极其重要且强大的工具。它使开发者能够创建自动化的任务流程,从而极大地提高工作效率并减少人为错误。通过本章节的学习,我们...

    直接用脚本配置IP地址

    在IT环境中,尤其是在服务器部署和自动化运维中,通过脚本配置IP地址是一种高效且实用的方法。这种方法能够快速地批量配置多台设备的网络接口,适应不断变化的网络环境,节省了手动配置的时间和降低了出错的可能性。...

    shell脚本:一键配置本地yum源仓库

    shell脚本内容: #!/bin/bash #date:2020-2-20 #描述:一键配置本地yum源仓库 echo [正在检测是否挂载磁盘----------] mount /dev/cdrom /mnt &> /dev/null cd /mnt/Packages/ if [ $? -eq 0 ] then echo 已将...

    openstack自动化搭建脚本

    openstack自动化搭建脚本,openstack私有云平台部署。 这次是基于devstack进⾏⾃动化部署,后续会通过解析这个部署脚本的源代码的形式,学习openstack的部署,同时⼀步步阅读 openstack其他服务的源码,⽐如keystone...

    AE热门脚本Rift及教程

    标题中的“AE热门脚本Rift及教程”指的是在Adobe After Effects(简称AE)这款专业级的视觉特效、动画及动态图形编辑软件中,Rift是一款受到广泛关注和使用的脚本工具。这款脚本通常用于提升工作效率,简化复杂任务...

    华为交换机配置脚本

    ### 华为交换机配置脚本解析 #### 标题:华为交换机配置脚本 #### 描述:华为交换机配置脚本 #### 标签:华为、配置、脚本 #### 部分内容概览及详细知识点 在本节中,我们将详细解析所提供的华为交换机配置脚本...

    SCDM脚本开发入门教程

    这个过程包括录制脚本、修改脚本以支持输入半径范围、颜色高亮显示和恢复原色,最后将脚本保存并发布,以便在需要时重复使用。 总结来说,SCDM脚本开发是利用Python语言对3D模型进行自动化处理的有效工具,它能帮助...

    按键精灵VBS经典脚本教程

    按键精灵VBS经典脚本教程 本资源摘要信息将详细介绍VBS经典脚本教程的知识点,涵盖VBS脚本的基本概念、VBS脚本的执行机制、VBS脚本在系统安全中的应用等方面的知识点。 一、VBS脚本的基本概念 VBS脚本是基于视窗...

    windows脚本教程 chm

    《Windows脚本教程》是一本全面介绍Windows操作系统中脚本技术的权威指南,主要针对的是批处理脚本(Batch Scripting)和Windows PowerShell脚本。CHM格式是Microsoft的 Compiled HTML Help,通常用于电子手册或文档...

    Ubuntu 一键脚本:开启 Root 用户登录配置 SSH 远程连接,轻松管理远程服务器

    使用场景及目标: 此一键脚本适用于希望快速开启 Root 用户登录配置 SSH 远程连接的用户群体,可用于远程登录进入服务器进行操作、配置和维护,提高远程管理效率,方便快捷。目标是让用户通过简单的操作即可实现远程...

    ROS 软路由的脚本教程

    ### ROS软路由脚本教程详解 #### 一、引言 软路由技术是现代网络管理中的重要组成部分,尤其是在企业级网络环境中。MikroTik RouterOS (简称ROS) 是一款广泛使用的软路由系统,其强大的功能和灵活性使得它成为众多...

    es 5.4.3版本及一键配置及启动脚本

    在使用这个脚本前,你需要确保你的系统环境满足Elasticsearch 5.4.3的运行需求,例如,Java 8或更高版本必须已经安装并且配置好环境变量。然后,解压`elasticsearch-5.4.3`压缩包,将`es5部署脚本.sh`赋予执行权限...

    spring boot/spring cloud项目启动脚本,默认名称:start.sh

    脚本已配置好jvm优化标准项目配置(服务器大于1核2G可以直接使用,若为1核2G,请自行修改-Xmx256m -Xms256m参数,建议删除“-Xmx256m -Xms256m”) #上传至目录后,进入脚本所在目录执行命令 chmod +x start.sh #...

Global site tag (gtag.js) - Google Analytics