转自:http://www.iteye.com/topic/410475
【1】:先来认识下什么是Hertirex吧!
是IA的开放源代码,可扩展的,基于整个Web的,归档网络爬虫工程
Heritrix工程始于2003年初,IA的目的是开发一个特殊的爬虫,对网上的
资源进行归档,建立网络数字图书馆,在过去的6年里,IA已经建立了400TB的数据。
IA期望他们的crawler包含以下几种:
宽带爬虫:能够以更高的带宽去站点爬。
主题爬虫:集中于被选择的问题。
持续爬虫:不仅仅爬更当前的网页还负责爬日后更新的网页。
实验爬虫:对爬虫技术进行实验,以决定该爬什么,以及对不同协议的爬虫 爬行结果进行分析的。
Heritrix的主页是http://crawler.archive.org
Heritrix是一个爬虫框架,可加如入一些可互换的组件。
它的执行是递归进行的,主要有以下几步:
1。在预定的URI中选择一个。
2。获取URI
3。分析,归档结果
4。选择已经发现的感兴趣的URI。加入预定队列。
5。标记已经处理过的URI
Heritrix主要有三大部件:范围部件,边界部件,处理器链
范围部件:主要按照规则决定将哪个URI入队。
边界部件:跟踪哪个预定的URI将被收集,和已经被收集的URI,选择下一个 URI,剔除已经处理过的URI。
处理器链:包含若干处理器获取URI,分析结果,将它们传回给边界部件
Heritrix的其余部件有:
WEB管理控制台:大多数都是单机的WEB应用,内嵌JAVA HTTP 服务器。
操作者可以通过选择Crawler命令来操作控制台。
Crawler命令处理部件:包含足够的信息创建要爬的URI。
Servercache(处理器缓存)存放服务器的持久信息,能够被爬行部件随时查到,包括IP地址,历史记录,机器人策略。
处理器链:
预取链:主要是做一些准备工作,例如,对处理进行延迟和重新处理,否决随后的操作。
提取链:主要是获得资源,进行DNS转换,填写请求和响应表单
抽取链:当提取完成时,抽取感兴趣的HTML,JavaScript,通常那里有新的也适合的URI,此时URI仅仅被发现,不会被评估
写链:存储爬行结果,返回内容和抽取特性,过滤完存储。
提交链:做最后的维护,例如,测试那些不在范围内的,提交给边界部件
Heritrix 1.0.0包含以下关键特性:
1.用单个爬虫在多个独立的站点一直不断的进行递归的爬。
2。从一个提供的种子进行爬,收集站点内的精确URI,和精确主机。
3。主要是用广度优先算法进行处理。
4。主要部件都是高效的可扩展的
5。良好的配置,包括:
a。可设置输出日志,归档文件和临时文件的位置
b。可设置下载的最大字节,最大数量的下载文档,和最大的下载时间。
c。可设置工作线程数量。
d。可设置所利用的带宽的上界。
e。可在设置之后一定时间重新选择。
f。包含一些可设置的过滤机制,表达方式,URI路径深度选择等等。
Heritrix的局限:
1。单实例的爬虫,之间不能进行合作。
2。在有限的机器资源的情况下,却要复杂的操作。
3。只有官方支持,仅仅在Linux上进行了测试。
4。每个爬虫是单独进行工作的,没有对更新进行修订。
5。在硬件和系统失败时,恢复能力很差。
6。很少的时间用来优化性能。
【2】:配置在我们的工程当中:
(1):新建一个工程:Hertirex.(no web project).
(2):在这里下载最新的Hertirex吧:http://sourceforge.net/project/showfiles.php?group_id=73833&package_id=73980
【3】:heritrix-1.14.3.zip 和 heritrix-1.14.3-src.zip。
(1)。先下载heritrix-1.14.3-src.zip和heritrix-1.14.3.zip。
(2)解压heritrix-1.14.3.jar到\heritrix-1.14.3\heritrix-1.14.3。解压得到的文件夹结构如图:
【3】:把以上目录的所有文件拷贝到heritrix-1.14.3-src\heritrix-1.14.3src\java文件夹下。目的是将java文件夹配置成一个完整的工程目录。
【4】:把\heritrix-1.14.3-src\heritrix-1.14.3\lib文件夹 拷贝到\heritrix-1.14.3-src\heritrix-1.14.3\src\java文件夹下。把lib下的jar包放入工程内部是为了便于管理。
【5】:把heritrix-1.14.3-src\heritrix-1.14.3\src\webapps文件夹拷贝到\heritrix-1.14.3-src\heritrix-1.14.3\src\java文件夹下。此时工程目录基本上完整了。得到的效果如图:
【6】:在Eclipse中新建一个Java Project,选择从现有源代码建立,源代码的路径指向\heritrix-1.14.3-src\heritrix-1.14.3\src\java。命名为Heritrix,点击ok。
【7】:这时在package explorer中应该会出现大量的编译错误标记。原因是没有把对应的jar包导入项目。在Java Build Path的Library选项卡中,把项目lib文件夹下的jar包全部加入Build Path。
【8】:在window->Preference->Java->Compiler中,将Compiler compliance level 设为5.0,也就是JDK1.5兼容的语法。目的是使Heritrix编译通过。否则Eclipse可能不认assert这个关键字。
【9】:用鼠标选中/Heritrix/org/archive/crawler/Heritrix.java,右键选择Run As Java Application,Console应该是没有输出的。原因是没有提供运行的参数(用户名/口令)。 一种方法是,修改项目根文件夹下的heritrix.properties文件,设置“heritrix.cmdline.admin = admin:admin”。正常运行时的输出如下:
Heritrix version: 1.14.3
【10】:另外一种设定用户名和密码的方式是,在Run Dialog中的Arguments参数选项卡中,输入-admin=admin:admin,单击Apply,再单击Run即可运行。
【11】:运行Heritrix,在浏览器中输入http://localhost:8080/,用户名/密码为“admin/admin"
分享到:
相关推荐
赠送jar包:jsoup-1.14.3.jar; 赠送原API文档:jsoup-1.14.3-javadoc.jar; 赠送源代码:jsoup-1.14.3-sources.jar; 赠送Maven依赖信息文件:jsoup-1.14.3.pom; 包含翻译后的API文档:jsoup-1.14.3-javadoc-API...
赠送jar包:jsoup-1.14.3.jar; 赠送原API文档:jsoup-1.14.3-javadoc.jar; 赠送源代码:jsoup-1.14.3-sources.jar; 赠送Maven依赖信息文件:jsoup-1.14.3.pom; 包含翻译后的API文档:jsoup-1.14.3-javadoc-API...
1.14.3是SVN的一个稳定版本,提供64位架构支持,并且包含中文语言包,使得中国用户在使用过程中可以更加方便地理解界面和操作提示。 在SVN 1.14.3中,我们关注以下几个重要的知识点: 1. **版本控制**:SVN的核心...
赠送jar包:flink-java-1.14.3.jar; 赠送原API文档:flink-java-1.14.3-javadoc.jar; 赠送源代码:flink-java-1.14.3-sources.jar; 赠送Maven依赖信息文件:flink-java-1.14.3.pom; 包含翻译后的API文档:flink-...
赠送jar包:flink-runtime-1.14.3.jar; 赠送原API文档:flink-runtime-1.14.3-javadoc.jar; 赠送源代码:flink-runtime-1.14.3-sources.jar; 赠送Maven依赖信息文件:flink-runtime-1.14.3.pom; 包含翻译后的API...
赠送jar包:flink-java-1.14.3.jar; 赠送原API文档:flink-java-1.14.3-javadoc.jar; 赠送源代码:flink-java-1.14.3-sources.jar; 赠送Maven依赖信息文件:flink-java-1.14.3.pom; 包含翻译后的API文档:flink-...
**Jacob-1.14.3:Java与COM交互的桥梁** Jacob,全称为Java COM Bridge,是一个开源的Java库,允许Java程序与Microsoft Windows上的COM(Component Object Model)组件进行交互。Jacob-1.14.3是该库的一个版本,...
赠送jar包:flink-scala_2.12-1.14.3.jar 赠送原API文档:flink-scala_2.12-1.14.3-javadoc.jar 赠送源代码:flink-scala_2.12-1.14.3-sources.jar 包含翻译后的API文档:flink-scala_2.12-1.14.3-javadoc-API...
赠送jar包:flink-core-1.14.3.jar; 赠送原API文档:flink-core-1.14.3-javadoc.jar; 赠送源代码:flink-core-1.14.3-sources.jar; 赠送Maven依赖信息文件:flink-core-1.14.3.pom; 包含翻译后的API文档:flink-...
赠送jar包:flink-optimizer-1.14.3.jar; 赠送原API文档:flink-optimizer-1.14.3-javadoc.jar; 赠送源代码:flink-optimizer-1.14.3-sources.jar; 赠送Maven依赖信息文件:flink-optimizer-1.14.3.pom; 包含...
赠送jar包:flink-annotations-1.14.3.jar; 赠送原API文档:flink-annotations-1.14.3-javadoc.jar; 赠送源代码:flink-annotations-1.14.3-sources.jar; 赠送Maven依赖信息文件:flink-annotations-1.14.3.pom;...
1. 将`jacob-1.14.3-x86.dll`文件拷贝到系统的`System32`目录下,确保系统能够找到这个动态链接库。 2. 配置Java的类路径(ClassPath),将`jacob.jar`添加到其中。可以设置环境变量或者在启动Java应用时通过`-cp`或...
赠送jar包:flink-json-1.14.3.jar 赠送原API文档:flink-json-1.14.3-javadoc.jar 赠送源代码:flink-json-1.14.3-sources.jar 包含翻译后的API文档:flink-json-1.14.3-javadoc-API文档-中文(简体)版.zip 对应...
赠送jar包:flink-connector-files-1.14.3.jar 赠送原API文档:flink-connector-files-1.14.3-javadoc.jar 赠送源代码:flink-connector-files-1.14.3-sources.jar 包含翻译后的API文档:flink-connector-files-...
赠送jar包:flink-connector-base-1.14.3.jar 赠送原API文档:flink-connector-base-1.14.3-javadoc.jar 赠送源代码:flink-connector-base-1.14.3-sources.jar 包含翻译后的API文档:flink-connector-base-...
Heritrix1.14.3配置流程 收索引擎配置 简单的抓包工具
赠送jar包:flink-runtime-1.14.3.jar; 赠送原API文档:flink-runtime-1.14.3-javadoc.jar; 赠送源代码:flink-runtime-1.14.3-sources.jar; 赠送Maven依赖信息文件:flink-runtime-1.14.3.pom; 包含翻译后的API...
赠送jar包:flink-annotations-1.14.3.jar; 赠送原API文档:flink-annotations-1.14.3-javadoc.jar; 赠送源代码:flink-annotations-1.14.3-sources.jar; 赠送Maven依赖信息文件:flink-annotations-1.14.3.pom;...
赠送jar包:flink-core-1.14.3.jar; 赠送原API文档:flink-core-1.14.3-javadoc.jar; 赠送源代码:flink-core-1.14.3-sources.jar; 赠送Maven依赖信息文件:flink-core-1.14.3.pom; 包含翻译后的API文档:flink-...
赠送jar包:flink-json-1.14.3.jar; 赠送原API文档:flink-json-1.14.3-javadoc.jar; 赠送源代码:flink-json-1.14.3-sources.jar; 赠送Maven依赖信息文件:flink-json-1.14.3.pom; 包含翻译后的API文档:flink-...