`

前嗅ForeSpider脚本教程:频道脚本使用场景及配置关键词搜索

阅读更多

今天,小编给大家带来的教程为:前嗅ForeSpider脚本教程中频道脚本的应用场景以及脚本配置关键词搜索的实战教程。具体内容如下:

 

一.频道脚本使用场景

 

当需要手动创建采集源列表,或者完全使用脚本采集数据时,在“频道脚本”处,你可能用到的类为extractor 、result

你可以定义类的对象来使用其成员方法,也可以使用EXTRACTRESULT两个全局对象。

关于这两个类的详细说明以及该场景的更多示例,可以点击“教程->脚本教程->脚本示例->频道脚本”来查看相关内容。

 

二.脚本配置关键词搜索

 

1.关键词不含验证码

场景:当一类链接中只需要替换一部分字符串,即可得到目标链接。则可以将这部分字符串作为关键词,添加频道脚本,达到链接抽取的目的。

示例:暂无。

 

2.关键词含验证码

场景:当通过可视化方式不能获取验证码刷新事件时,需要手动寻找验证码刷新请求并填写至相应输入框,与此同时,添加验证码参数至参数列表。

示例:采集京东店铺工商信息。

使用开发者工具(以搜狗浏览器为例,在浏览器中按F12打开)抓包,在目标网页右键点击“审查元素”,选择“NetWork”,先清空所有缓存信息,点击验证码图片,查找验证码刷新请求:

“https://mall.jd.com/sys/vc/createVerifyCode.html?random=0.10473700880101844”。

可以发现每次刷新验证码,请求链接中random参数的值都不同,则需要查找random生成的js事件。在网页源码中找到以下代码。

填写js刷新事件于文本框内,值得注意的是,只需修改this.src的值即可。

脚本实例:

var key = EXTRACT.GetSearch(this);var form = key.Search();url u;var postData;while(form){var ocrCode = form.verifyCode;u.urlname = "https://mall.jd.com/"+"showLicence-"+form.text+".html";u.title = ocrCode;u.entryid = this.id;u.tmplid = 1;postData = "verifyCode="+ocrCode;var d = EXTRACT.OpenDoc(this,u.urlname,postData,0);if(d){this.Run(d,1);EXTRACT.CloseDoc(d);     }form = key.Search();           }key.End();

 

分享到:
评论

相关推荐

    Linux Shell脚本教程:30分钟玩转Shell脚本编程 _

    Linux Shell脚本教程:30分钟玩转Shell脚本编程 _

    TCL脚本实例: 检查IP的脚本

    TCL脚本实例:检查IP的脚本是一种使用TCL语言编写的脚本,用于检查指定的IP地址是否可以ping通。本脚本可以根据配置文件中的IP地址列表,自动执行ping操作,并输出ping结果。 知识点: 1. TCL语言:TCL(Tool ...

    自动切换IE代理设置: 简单使用IE自动配置脚本

    ### 自动切换IE代理设置:简单使用IE自动配置脚本 #### 1. IE自动配置脚本概述 ##### 1.1 定义 IE自动配置脚本是一种用于自动化管理Internet Explorer浏览器代理设置的技术手段。它能够根据用户访问的目标网址...

    抖音根据关键词搜索脚本

    "抖音根据关键词搜索脚本"就是一个针对这一需求的工具,它可以帮助用户自动化地搜集与特定关键词相关的抖音视频或用户信息。 这个工具可能包括以下几个核心知识点: 1. **关键词搜索算法**:脚本的核心是其搜索...

    Bash脚本教程:Java JAR应用快速启动与监控.zip

    本Bash脚本用于自动化管理Java JAR应用的启动、停止及监控。首先检查JAR进程是否在运行,如在运行则安全终止。随后,使用预设的Java参数启动JAR文件,并将输出和错误日志重定向至日志文件。启动后,脚本持续监控JAR...

    Unity3D 2018 最新最全800个脚本教程

    一部分的目录东西太多了 行为控制脚本 鼠标的路线 Unity3D教程:游戏玩家服务器的制作 Unity3D教程:实例化 JS脚本控制逐渐淡出的欢迎界面 Unity3D教程:界面插件NGUI的使用 (2) 脚本控制物体的变换 脚本的运行顺序...

    MsCode脚本编译器教程[归纳].pdf

    3. 脚本录制:使用鼠标移到控件前,按Home键获取控件的信息,然后选择执行命令。 4. 编辑脚本:对录制的脚本进行编辑和修改。 5. 执行脚本:将编译后的脚本执行,以实现自动化软件安装。 MsCode脚本编译器的应用...

    Ixchariot 默认脚本使用说明

    ### Ixchariot 默认脚本使用说明 #### 概述 IxChariot是一款网络性能测试工具,通过模拟真实的应用程序行为来评估网络性能。它使用应用脚本来模拟实际应用程序在网络上的行为,这些脚本能够生成与真实应用程序相似...

    Bash脚本教程:优雅地管理Java应用.zip

    本Bash脚本用于自动化管理Java JAR应用的启动、停止及监控。首先检查JAR进程是否在运行,如在运行则安全终止。随后,使用预设的Java参数启动JAR文件,并将输出和错误日志重定向至日志文件。启动后,脚本持续监控JAR...

    经典windows脚本教程

    教程会讲解如何配置和使用WSH,以及编写和执行WSH脚本的基本步骤。 5. **脚本实战**:教程中将通过实例来演示如何运用所学知识解决实际问题,例如自动化文件备份、邮件发送、系统监控等。这些实例将帮助读者理解...

    Bash脚本教程:如何优雅地停止JAR服务.zip

    本Bash脚本用于自动化管理Java JAR应用的启动、停止及监控。首先检查JAR进程是否在运行,如在运行则安全终止。随后,使用预设的Java参数启动JAR文件,并将输出和错误日志重定向至日志文件。启动后,脚本持续监控JAR...

    FileMaker高级教程 脚本

    ### FileMaker高级教程:脚本 #### 重要性与作用 在FileMaker Pro软件中,脚本是一项极其重要且强大的工具。它使开发者能够创建自动化的任务流程,从而极大地提高工作效率并减少人为错误。通过本章节的学习,我们...

    C语言中文网shell脚本教程

    **C语言中文网shell脚本教程** 这是一份关于Shell脚本编程的离线学习资料,包含了一系列HTML文件,旨在帮助用户深入理解并掌握Linux Shell脚本编程技术。以下是其中涉及的一些关键知识点: 1. **Shell命令的本质**...

    shell脚本:一键配置本地yum源仓库

    shell脚本内容: #!/bin/bash #date:2020-2-20 #描述:一键配置本地yum源仓库 echo [正在检测是否挂载磁盘----------] mount /dev/cdrom /mnt &> /dev/null cd /mnt/Packages/ if [ $? -eq 0 ] then echo 已将...

    openstack自动化搭建脚本

    openstack自动化搭建脚本,openstack私有云平台部署。 这次是基于devstack进⾏⾃动化部署,后续会通过解析这个部署脚本的源代码的形式,学习openstack的部署,同时⼀步步阅读 openstack其他服务的源码,⽐如keystone...

    3dsmax脚本大全3dmax脚本大全

    "3dsmax脚本大全"这个压缩包很可能包含了多种3dsmax使用的脚本,这些脚本可能涵盖建模、材质、灯光、动画、粒子系统等多个方面。 一、脚本基础 1. 脚本语言:3dsmax支持两种主要的脚本语言——MaxScript和Python。...

    AE热门脚本Rift及教程

    标题中的“AE热门脚本Rift及教程”指的是在Adobe After Effects(简称AE)这款专业级的视觉特效、动画及动态图形编辑软件中,Rift是一款受到广泛关注和使用的脚本工具。这款脚本通常用于提升工作效率,简化复杂任务...

    SCDM脚本开发入门教程

    这个过程包括录制脚本、修改脚本以支持输入半径范围、颜色高亮显示和恢复原色,最后将脚本保存并发布,以便在需要时重复使用。 总结来说,SCDM脚本开发是利用Python语言对3D模型进行自动化处理的有效工具,它能帮助...

    windows脚本教程 chm

    《Windows脚本教程》是一本全面介绍Windows操作系统中脚本技术的权威指南,主要针对的是批处理脚本(Batch Scripting)和Windows PowerShell脚本。CHM格式是Microsoft的 Compiled HTML Help,通常用于电子手册或文档...

Global site tag (gtag.js) - Google Analytics