qianxiu
- 浏览: 45995 次
-
最新评论
文章列表
相信很多人看到一则“布洛芬用药不慎可能致死”的消息后，内心开始慌乱了。
（新闻来源：微博热搜排行榜）
毕竟健康是每一个人最关注的话题，而布洛芬也是很多人止痛（发烧头痛、喉咙痛、牙痛、月经痛等）的最常用药物之一。甚至，很多人能好好活着，都是因为布洛芬的功劳。
今日的这条微博热搜新闻，无疑是破灭了很多人认真活着的希望，带来了无止境的恐惧。正如广大网友所言，布洛芬是我每月的救命稻草；布洛芬是的精神支撑，没有它我活不下去了、布洛芬是我家常备药物之一，就靠它续命了......
经常有人问嗅嗅，我是XX行业的，大数据能帮我做什么？可以给我带来客源吗？可以提高我的销量吗？可以增加我的利润吗？今天嗅嗅就以生鲜供货为例，为大家讲一讲外卖平台那些事~
生鲜供货的客源除线下餐馆之外，随着外 ...
字段在源码的html标签里
- 博客分类：
- 教程
目标数据可在源码中查找到。在目标网页右键，选择“查看源代码”，键盘点击“ctrl+F”，查找目标数据所在位置。
示例：获取上图商品名称。
源码目标位置：
脚本实例：
var div = DOM.FindClass("tb-detail-hd");//根据class ...
刚才嗅嗅在搜索平台A上搜索了一个词，找到了想要的东西后，关闭了该搜索平台后，继续刷网页，当访问到网站
今天，小编给大家带来的教程为：前嗅ForeSpider脚本教程-数据抽取脚本实战教程的，应用场景，数据在源码的html标签里写脚本。具体内容如下：
一.应用场景
当所需要的数据字段大部分需要配置脚本时，可将所有字段的抽取统一放在数据抽取脚本中。
可能用到的类：DOM、EXTRACT。
配置方法：选中数据抽取，点击“脚本窗口”，点击创建按钮。即可在新建的代码框内输入代码。
二.数据在源码的html标签里写脚本
目标数据可在源码中查找到。在目标网页右键，选择“查看源代码”，键盘点击“ctrl+F”，查找目标数据所在位置。
1.数据需要循环
场景：目标数据集中分布，如评 ...
今天，小编给大家带来的教程为：前嗅ForeSpider脚本教程-链接过滤脚本，应用场景，地址/标题过滤。具体内容如下：
一.应用场景
当可视化抽取到的链接包含不想要的链接地址时，需要进行过滤。可能用到的类是：string，使用到的全局对象是VALUE。
二.地址过滤
场景：链接地址有规律。
示例：可视化配置百度搜索之后的链接抽取，过滤掉不是列表链接和翻页链接的所有链接。
脚本实例：
If(VALUE.Find(“wd=”)!=-1||VALUE.Find(“url=”)!=-1)
return true; //return true代表保留链接
e ...
场景：当采集的链接不存在于任何位置，或者想要采集自定义的链接。
示例：天猫商品评论的链接。
商品评论的链接不在源码中，只能自己拼接评论链接。点击评论翻页，观察翻页规律。
取其中某一链接地址在网页中查看请求返回信息。删除个别不一致的请求参数，观察结果是否变化。可得到最简链接地址。
https://rate.tmall.com/list_detail_rate.htm?itemId=566879444630&spuId=950725258&sellerId=134363478&order=3¤tPage=2&append=0&content=1 ...
今天，小编给大家带来的教程为：前嗅ForeSpider脚本教程-链接抽取中，链接在POST请求里写脚本的实战教程。具体内容如下：
当链接地址在源码中不存在，存在于post请求中时，需要使用浏览器的开发者工具来查找链接数据。
1.链接需要循环
场景：一组链接存在于JSON的某个数组中。
示例：采集豆瓣电影，列表页的电影链接。
查看源文件可知，源文件中只有一部分数据，而下拉列表出现的其他电影信息不存在源码中，此时我们需要在请求的响应正文中查找数据。在该页面右键点击“审查元素”，下拉，点击“加载更多”，出现一个请求包，查看Response，发现链接地址存在于，返回正 ...
今天，小编给大家带来的教程为：前嗅ForeSpider脚本教程-链接抽取中，链接在源码的js变量里写脚本的实战教程。具体内容如下：
链接地址可在源码中查找到。在目标网页右键，选择“查看源代码”，键盘点击“ctrl+F”，查 ...
今天，小编给大家带来的教程为：前嗅ForeSpider脚本教程中，链接抽取的应用场景，以及链接在源码的html标签里写脚本的实战教程。具体内容如下：
一.应用场景
当需要手动添加链接时，可添加链接脚本。
在“链接脚本处”，可能用到的类为extractor 、result、url、grabDoc、dom。
二.链接在源码的html标签里
链接地址可在源码中查找到。在目标网页右键，选择“查看源代码”，键盘点击“ctrl+F”，查找目标链接所在位置。目标链接存在于标签中。
1.链接需要循环
场景：比如翻页等规律相同的一系列目标链接，存在于一个大的ul标签或者div标签里。
示例：获取 ...
今天，小编给大家带来的教程为：前嗅ForeSpider脚本教程中频道脚本，脚本采集数据的实战教程。具体内容如下：
一.场景
此处为高手操作，配置的频道脚本接管所有采集流程，无需再做任何配置。
二.示例
获取下图商品的评论。
今天，小编给大家带来的教程为：前嗅ForeSpider脚本教程中频道脚本的应用场景以及脚本配置关键词搜索的实战教程。具体内容如下：
一.频道脚本使用场景
当需要手动创建采集源列表，或者完全使用脚本采集数据时，在“频道脚本”处，你可能用到的类为extractor 、result。
你可以定义类的对象来使用其成员方法，也可以使用EXTRACT、RESULT两个全局对象。
今天，小编给大家带来的教程为：前嗅ForeSpider脚本教程中频道脚本的应用场景以及脚本配置关键词搜索的实战教程。具体内容如下：
一.频道脚本使用场景
当需要手动创建采集源列表，或者完全使用脚本采集数据时，在“频道脚本”处，你可能用到的类为extractor 、result。
你可以定义类的对象来使用其成员方法，也可以使用EXTRACT、RESULT两个全局对象。
字段处理脚本用于清洗字段的取值。点击某个字段后，在字段处理的下拉菜单中选择脚本处理后，需要配置的脚本。这一步是通过脚本进一步清洗获取的数据。
一.可用全局对象（只读）
EXTRACT: 当前采集引擎[ 对象类型: extractor ]
DATADB: 当前连接的数据库[ 对象类型: dataBase ]
RESULT: 当前结果集对象[ 对象类型: result ]
URL: 当前采集的链接对象[ 对象类型: url ]
URLTEXT : 描述当前链接采集的所有状态及属性的对象[ 对象类型: urltext ]
DOC: 当前采集的文档对象[ 对象类型: gra ...
字段取值脚本是字段的取值类型选择脚本取值时，需要配置的脚本。这一步是通过脚本来获取字段的填充值。
注意：一旦有了字段取值脚本，则字段处理脚本将失效。
一.可用全局对象（只读）
EXTRACT: 当前采集引擎[ 对象类型: extractor ]
DATADB: 当前连接的数据库[ 对象类型: dataBase ]
RESULT: 当前结果集对象[ 对象类型: result ]
URL: 当前采集的链接对象[ 对象类型: url ]
URLTEXT : 描述当前链接采集的所有状态及属性的对象[ 对象类型: urlte ...