`
bdk82924
  • 浏览: 562860 次
  • 性别: Icon_minigender_1
  • 来自: 南京
社区版块
存档分类
最新评论

主题:Hertirex1.14.3在ecplise下配置(附图)

    博客分类:
  • Web
阅读更多

转自:http://www.iteye.com/topic/410475

【1】:先来认识下什么是Hertirex吧!

是IA的开放源代码,可扩展的,基于整个Web的,归档网络爬虫工
   Heritrix工程始于2003年初,IA的目的是开发一个特殊的爬虫,对网上的
   资源进行归档,建立网络数字图书馆,在过去的6年里,IA已经建立了400TB的数据。
   IA期望他们的crawler包含以下几种:
   宽带爬虫:能够以更高的带宽去站点爬。
   主题爬虫:集中于被选择的问题。
   持续爬虫:不仅仅爬更当前的网页还负责爬日后更新的网页。
   实验爬虫:对爬虫技术进行实验,以决定该爬什么,以及对不同协议的爬虫      爬行结果进行分析的。
   Heritrix的主页是http://crawler.archive.org
  Heritrix是一个爬虫框架,可加如入一些可互换的组件。
  它的执行是递归进行的,主要有以下几步:
     1。在预定的URI中选择一个。
     2。获取URI
     3。分析,归档结果
     4。选择已经发现的感兴趣的URI。加入预定队列。
     5。标记已经处理过的URI
 

 Heritrix主要有三大部件:范围部件,边界部件,处理器链
    范围部件:主要按照规则决定将哪个URI入队。
    边界部件:跟踪哪个预定的URI将被收集,和已经被收集的URI,选择下一个   URI,剔除已经处理过的URI。
    处理器链:包含若干处理器获取URI,分析结果,将它们传回给边界部件
 

Heritrix的其余部件有:
   WEB管理控制台:大多数都是单机的WEB应用,内嵌JAVA HTTP 服务器。
   操作者可以通过选择Crawler命令来操作控制台。
   Crawler命令处理部件:包含足够的信息创建要爬的URI。
   Servercache(处理器缓存)存放服务器的持久信息,能够被爬行部件随时查到,包括IP地址,历史记录,机器人策略。
  

处理器链:
            预取链:主要是做一些准备工作,例如,对处理进行延迟和重新处理,否决随后的操作。
            提取链:主要是获得资源,进行DNS转换,填写请求和响应表单
            抽取链:当提取完成时,抽取感兴趣的HTML,JavaScript,通常那里有新的也适合的URI,此时URI仅仅被发现,不会被评估
            写链:存储爬行结果,返回内容和抽取特性,过滤完存储。
            提交链:做最后的维护,例如,测试那些不在范围内的,提交给边界部件
 

 Heritrix 1.0.0包含以下关键特性:
              1.用单个爬虫在多个独立的站点一直不断的进行递归的爬。
              2。从一个提供的种子进行爬,收集站点内的精确URI,和精确主机。
              3。主要是用广度优先算法进行处理。
              4。主要部件都是高效的可扩展的
              5。良好的配置,包括:
                  a。可设置输出日志,归档文件和临时文件的位置
                  b。可设置下载的最大字节,最大数量的下载文档,和最大的下载时间。
                  c。可设置工作线程数量。
                  d。可设置所利用的带宽的上界。
                  e。可在设置之后一定时间重新选择。
                  f。包含一些可设置的过滤机制,表达方式,URI路径深度选择等等。
     

Heritrix的局限
               1。单实例的爬虫,之间不能进行合作。
               2。在有限的机器资源的情况下,却要复杂的操作。
               3。只有官方支持,仅仅在Linux上进行了测试。
               4。每个爬虫是单独进行工作的,没有对更新进行修订。                     
               5。在硬件和系统失败时,恢复能力很差。
               6。很少的时间用来优化性能。

 

【2】:配置在我们的工程当中:

(1):新建一个工程:Hertirex.(no web project).

(2):在这里下载最新的Hertirex吧:http://sourceforge.net/project/showfiles.php?group_id=73833&package_id=73980

【3】:heritrix-1.14.3.zip  和  heritrix-1.14.3-src.zip。

(1)。先下载heritrix-1.14.3-src.zipheritrix-1.14.3.zip

(2)解压heritrix-1.14.3.jar到\heritrix-1.14.3\heritrix-1.14.3。解压得到的文件夹结构如图:

【3】:把以上目录的所有文件拷贝到heritrix-1.14.3-src\heritrix-1.14.3src\java文件夹下。目的是将java文件夹配置成一个完整的工程目录。

【4】:把\heritrix-1.14.3-src\heritrix-1.14.3\lib文件夹 拷贝到\heritrix-1.14.3-src\heritrix-1.14.3\src\java文件夹下。把lib下的jar包放入工程内部是为了便于管理。

【5】:把heritrix-1.14.3-src\heritrix-1.14.3\src\webapps文件夹拷贝到\heritrix-1.14.3-src\heritrix-1.14.3\src\java文件夹下。此时工程目录基本上完整了。得到的效果如图:

 

【6】:在Eclipse中新建一个Java Project,选择从现有源代码建立,源代码的路径指向\heritrix-1.14.3-src\heritrix-1.14.3\src\java。命名为Heritrix,点击ok。

【7】:这时在package explorer中应该会出现大量的编译错误标记。原因是没有把对应的jar包导入项目。在Java Build Path的Library选项卡中,把项目lib文件夹下的jar包全部加入Build Path。

【8】:在window->Preference->Java->Compiler中,将Compiler compliance level 设为5.0,也就是JDK1.5兼容的语法。目的是使Heritrix编译通过。否则Eclipse可能不认assert这个关键字。

【9】:用鼠标选中/Heritrix/org/archive/crawler/Heritrix.java,右键选择Run As Java Application,Console应该是没有输出的。原因是没有提供运行的参数(用户名/口令)。 一种方法是,修改项目根文件夹下的heritrix.properties文件,设置“heritrix.cmdline.admin = admin:admin”。正常运行时的输出如下:

Heritrix version: 1.14.3

 

【10】:另外一种设定用户名和密码的方式是,在Run Dialog中的Arguments参数选项卡中,输入-admin=admin:admin,单击Apply,再单击Run即可运行。

【11】:运行Heritrix,在浏览器中输入http://localhost:8080/,用户名/密码为“admin/admin"

分享到:
评论

相关推荐

    jsoup-1.14.3-API文档-中文版.zip

    赠送jar包:jsoup-1.14.3.jar; 赠送原API文档:jsoup-1.14.3-javadoc.jar; 赠送源代码:jsoup-1.14.3-sources.jar; 赠送Maven依赖信息文件:jsoup-1.14.3.pom; 包含翻译后的API文档:jsoup-1.14.3-javadoc-API...

    jsoup-1.14.3-API文档-中英对照版.zip

    赠送jar包:jsoup-1.14.3.jar; 赠送原API文档:jsoup-1.14.3-javadoc.jar; 赠送源代码:jsoup-1.14.3-sources.jar; 赠送Maven依赖信息文件:jsoup-1.14.3.pom; 包含翻译后的API文档:jsoup-1.14.3-javadoc-API...

    svn1.14.3版本

    1.14.3是SVN的一个稳定版本,提供64位架构支持,并且包含中文语言包,使得中国用户在使用过程中可以更加方便地理解界面和操作提示。 在SVN 1.14.3中,我们关注以下几个重要的知识点: 1. **版本控制**:SVN的核心...

    flink-java-1.14.3-API文档-中文版.zip

    赠送jar包:flink-java-1.14.3.jar; 赠送原API文档:flink-java-1.14.3-javadoc.jar; 赠送源代码:flink-java-1.14.3-sources.jar; 赠送Maven依赖信息文件:flink-java-1.14.3.pom; 包含翻译后的API文档:flink-...

    flink-runtime-1.14.3-API文档-中文版.zip

    赠送jar包:flink-runtime-1.14.3.jar; 赠送原API文档:flink-runtime-1.14.3-javadoc.jar; 赠送源代码:flink-runtime-1.14.3-sources.jar; 赠送Maven依赖信息文件:flink-runtime-1.14.3.pom; 包含翻译后的API...

    flink-java-1.14.3-API文档-中英对照版.zip

    赠送jar包:flink-java-1.14.3.jar; 赠送原API文档:flink-java-1.14.3-javadoc.jar; 赠送源代码:flink-java-1.14.3-sources.jar; 赠送Maven依赖信息文件:flink-java-1.14.3.pom; 包含翻译后的API文档:flink-...

    jacob-1.14.3的jar包及其dll

    **Jacob-1.14.3:Java与COM交互的桥梁** Jacob,全称为Java COM Bridge,是一个开源的Java库,允许Java程序与Microsoft Windows上的COM(Component Object Model)组件进行交互。Jacob-1.14.3是该库的一个版本,...

    flink-scala_2.12-1.14.3-API文档-中文版.zip

    赠送jar包:flink-scala_2.12-1.14.3.jar 赠送原API文档:flink-scala_2.12-1.14.3-javadoc.jar 赠送源代码:flink-scala_2.12-1.14.3-sources.jar 包含翻译后的API文档:flink-scala_2.12-1.14.3-javadoc-API...

    jacob-1.14.3-x86

    1. 将`jacob-1.14.3-x86.dll`文件拷贝到系统的`System32`目录下,确保系统能够找到这个动态链接库。 2. 配置Java的类路径(ClassPath),将`jacob.jar`添加到其中。可以设置环境变量或者在启动Java应用时通过`-cp`或...

    flink-optimizer-1.14.3-API文档-中文版.zip

    赠送jar包:flink-optimizer-1.14.3.jar; 赠送原API文档:flink-optimizer-1.14.3-javadoc.jar; 赠送源代码:flink-optimizer-1.14.3-sources.jar; 赠送Maven依赖信息文件:flink-optimizer-1.14.3.pom; 包含...

    flink-core-1.14.3-API文档-中文版.zip

    赠送jar包:flink-core-1.14.3.jar; 赠送原API文档:flink-core-1.14.3-javadoc.jar; 赠送源代码:flink-core-1.14.3-sources.jar; 赠送Maven依赖信息文件:flink-core-1.14.3.pom; 包含翻译后的API文档:flink-...

    flink-annotations-1.14.3-API文档-中文版.zip

    赠送jar包:flink-annotations-1.14.3.jar; 赠送原API文档:flink-annotations-1.14.3-javadoc.jar; 赠送源代码:flink-annotations-1.14.3-sources.jar; 赠送Maven依赖信息文件:flink-annotations-1.14.3.pom;...

    flink-json-1.14.3-API文档-中文版.zip

    赠送jar包:flink-json-1.14.3.jar 赠送原API文档:flink-json-1.14.3-javadoc.jar 赠送源代码:flink-json-1.14.3-sources.jar 包含翻译后的API文档:flink-json-1.14.3-javadoc-API文档-中文(简体)版.zip 对应...

    flink-connector-files-1.14.3-API文档-中文版.zip

    赠送jar包:flink-connector-files-1.14.3.jar 赠送原API文档:flink-connector-files-1.14.3-javadoc.jar 赠送源代码:flink-connector-files-1.14.3-sources.jar 包含翻译后的API文档:flink-connector-files-...

    flink-connector-base-1.14.3-API文档-中文版.zip

    赠送jar包:flink-connector-base-1.14.3.jar 赠送原API文档:flink-connector-base-1.14.3-javadoc.jar 赠送源代码:flink-connector-base-1.14.3-sources.jar 包含翻译后的API文档:flink-connector-base-...

    flink-core-1.14.3-API文档-中英对照版.zip

    赠送jar包:flink-core-1.14.3.jar; 赠送原API文档:flink-core-1.14.3-javadoc.jar; 赠送源代码:flink-core-1.14.3-sources.jar; 赠送Maven依赖信息文件:flink-core-1.14.3.pom; 包含翻译后的API文档:flink-...

    flink-runtime-1.14.3-API文档-中英对照版.zip

    赠送jar包:flink-runtime-1.14.3.jar; 赠送原API文档:flink-runtime-1.14.3-javadoc.jar; 赠送源代码:flink-runtime-1.14.3-sources.jar; 赠送Maven依赖信息文件:flink-runtime-1.14.3.pom; 包含翻译后的API...

    flink-optimizer-1.14.3-API文档-中英对照版.zip

    赠送jar包:flink-optimizer-1.14.3.jar; 赠送原API文档:flink-optimizer-1.14.3-javadoc.jar; 赠送源代码:flink-optimizer-1.14.3-sources.jar; 赠送Maven依赖信息文件:flink-optimizer-1.14.3.pom; 包含...

    flink-json-1.14.3-API文档-中英对照版.zip

    赠送jar包:flink-json-1.14.3.jar; 赠送原API文档:flink-json-1.14.3-javadoc.jar; 赠送源代码:flink-json-1.14.3-sources.jar; 赠送Maven依赖信息文件:flink-json-1.14.3.pom; 包含翻译后的API文档:flink-...

    flink-annotations-1.14.3-API文档-中英对照版.zip

    赠送jar包:flink-annotations-1.14.3.jar; 赠送原API文档:flink-annotations-1.14.3-javadoc.jar; 赠送源代码:flink-annotations-1.14.3-sources.jar; 赠送Maven依赖信息文件:flink-annotations-1.14.3.pom;...

Global site tag (gtag.js) - Google Analytics