(一)原理
小偷程序实际上是通过了XML中的XMLHTTP组件调用其它网站上的网页。比如新闻小偷程序,很多都是调用了sina的新闻网页,并且对其中的 html进行了一些替换,同时对广告也进行了过滤。用小偷程序的优点有:无须维护网站,因为小偷程序中的数据来自其他网站,它将随着该网站的更新而更新;可以节省服务器资源,一般小偷程序就几个文件,所有网页内容都是来自其他网站。缺点有:不稳定,如果目标网站出错,程序也会出错,而且,如果目标网站进行升级维护,那么小偷程序也要进行相应修改;速度,因为是远程调用,速度和在本地服务器上读取数据比起来,肯定要慢一些。
(二)事例
下面就XMLHTTP在ASP中的应用做个简单说明
〈%
'常用函数
'1、输入url目标网页地址,返回值getHTTPPage是目标网页的html代码
function getHTTPPage(url)
dim Http
set Http=server.createobject("MSXML2.XMLHTTP")
Http.open "GET",url,false
Http.send()
if Http.readystate<>4 then
exit function
end if
getHTTPPage=bytesToBSTR(Http.responseBody,"GB2312")
set http=nothing
if err.number<>0 then err.Clear
end function
'2、转换乱玛,直接用xmlhttp调用有中文字符的网页得到的将是乱玛,可以通过adodb.stream组件进行转换
Function BytesToBstr(body,Cset)
dim objstream
set objstream = Server.CreateObject("adodb.stream")
objstream.Type = 1
objstream.Mode =3
objstream.Open
objstream.Write body
objstream.Position = 0
objstream.Type = 2
objstream.Charset = Cset
BytesToBstr = objstream.ReadText
objstream.Close
set objstream = nothing
End Function
'下面试着调用http://www.3doing.com/earticle/的html内容
Dim Url,Html
Url="http://www.3doing.com/earticle/" Html = getHTTPPage(Url)
Response.write Html
%〉
分享到:
相关推荐
vivi万能小偷程序是以php语言进行开发的网站采集系统,只需要输入目标站地址就能全自动采集,高智能的采集程序,支持98%的站点,规则制作十分简单,菜鸟也能制作采集规则,采集不求人。 功能简介: ·后台配置采集...
4. `img.php`、`js.php`、`css.php`:这些可能是动态处理图片、JavaScript和CSS的脚本,通过PHP动态生成或处理这些资源,可能用于防止或绕过目标站的防盗链机制,或者进行数据的隐秘传输。 5. `search.php`和`index...
【vivi万能小偷程序采集规则编写视频教程之初级使用】 这是一份关于vivi万能小偷程序的初级使用教程,通过视频形式详细介绍了如何编写采集规则,旨在帮助初学者快速掌握这一强大的网络数据抓取工具。vivi万能小偷...
vivi万能小偷程序只需要输入目标站地址就能全自动采集,高智能的采集程序,支持98%的单级域名站点,规则制作十分简单,菜鸟也能制作采集规则,采集不求人。 vivi万能小偷程序功能简介 后台配置采集节点,输入目标...
【小偷程序与镜像网站】 在互联网技术领域,"小偷程序"(Web Scraper)和"镜像网站"(Website Mirror)是两个重要概念,它们涉及到数据抓取和网站复制的技术。 首先,我们要理解什么是“小偷程序”。在IT行业中,...
你可以通过这种小偷程序,完成过去一些似乎完全不可能实现的任务,比如说把某个站的页面偷梁换柱后变成自己的页面,或者把某个站的一些数据(文章,图片)保存到本地数据库中加以利用。
《音乐搜索小偷程序:深度解析与探讨》 在信息技术高速发展的今天,各种网络资源的获取方式变得多样化,其中就包括音乐搜索小偷程序。这种程序以其独特的功能,能够抓取百度等大型搜索引擎上的音乐数据,为用户提供...
【标题】"问问小偷程序代码"涉及到的是一个名为"问问小偷"的特定程序的源代码,这可能是一个用于信息抓取或者搜索引擎优化(SEO)的工具。在Web开发中,这样的程序通常用于从互联网上抓取数据,分析竞争对手的网站...
在JSP小偷程序的上下文中,这个目录可能包含了小偷程序的源代码、配置文件、静态资源(如HTML、CSS、JavaScript)以及可能的数据库连接配置等。 总结来说,JSP采集和JSP小偷程序是利用JSP技术进行网络数据抓取和...
然而,需要注意的是,未经许可地抓取和使用他人网站的内容可能违反版权法和网站服务条款,因此在使用小偷程序时,用户必须确保遵循合法和道德的使用原则。 在提供的压缩包文件中,我们可以看到以下几个关键文件和...
【南安房产网整站小偷程序 1.0.0.1】是一个基于ASP编程语言开发的网站程序,主要用于快速构建和管理房地产信息类网站。这个程序的主要功能是自动抓取并整合网络上的房产信息,以提高工作效率,减少手动输入数据的...
XMLHttpRequest对象是实现小偷程序的关键技术之一,它允许JavaScript代码发送异步HTTP请求,从而从服务器获取数据而无需重新加载整个网页。这对于创建动态网页、更新页面内容以及抓取网络数据非常有用。 #### 初始...
"豆丁网小偷程序 v1.0"是一款专门针对豆丁网的文档抓取工具,主要用于将豆丁网上公开的TXT格式文档下载并整理。这个程序的核心是PHP源码,意味着它使用PHP编程语言来实现网络数据的抓取和处理。PHP是一种广泛使用的...
然而,“小偷程序”一词在中文互联网环境中常带有负面含义,暗示了未经授权的数据抓取行为,这在法律和道德上都是值得争议的。下面将详细解析这段代码的功能及其潜在的伦理和技术问题。 ### 代码解析 #### index....
绕看漫画小偷程序,免费完全开源,新手可以学习用,2011.11.30更新全站程序为完全开源版,代码完全公开,适合初级学习;可以用于交流修改和二次开发;无任何加密文件,可以任意修改了;本站会陆续更新所有程序为开源...
新闻小偷程序,也被称为RSS聚合器或网络爬虫,是一种用于自动收集并整合网络上信息的工具。这种程序的主要功能是从多个来源抓取数据,包括图片、网页和其他文件,然后将这些信息处理并展示在用户自定义的界面或者...
【百度知道小偷程序 v1.0 测试版】是一个基于ASP编程语言开发的应用程序,其主要功能是抓取和展示百度知道平台上的问答数据。该程序可能被用于数据分析、知识整理或者网站内容填充,但请注意,未经许可的爬虫行为...
必应Bing搜索小偷程序是一个基于ASP.NET技术构建的应用,用于抓取并处理Bing搜索引擎的搜索结果。这个程序的开发目标可能是为了数据分析、SEO优化或者提供自定义的搜索服务。下面将详细介绍该程序的核心知识点及使用...
5. **动态加载处理**:考虑到现代网页经常使用JavaScript动态加载内容,淘宝画报小偷程序可能需要处理这种动态加载,比如通过执行JavaScript代码或者使用像Selenium这样的浏览器自动化工具。 6. **反爬策略应对**:...