`

Hertirex1.14.3在ecplise下配置(附图)

阅读更多

【1】:先来认识下什么是Hertirex吧!

是IA的开放源代码,可扩展的,基于整个Web的,归档网络爬虫工
   Heritrix工程始于2003年初,IA的目的是开发一个特殊的爬虫,对网上的
   资源进行归档,建立网络数字图书馆,在过去的6年里,IA已经建立了400TB的数据。
   IA期望他们的crawler包含以下几种:
   宽带爬虫:能够以更高的带宽去站点爬。
   主题爬虫:集中于被选择的问题。
   持续爬虫:不仅仅爬更当前的网页还负责爬日后更新的网页。
   实验爬虫:对爬虫技术进行实验,以决定该爬什么,以及对不同协议的爬虫      爬行结果进行分析的。
   Heritrix的主页是http://crawler.archive.org
  Heritrix是一个爬虫框架,可加如入一些可互换的组件。
  它的执行是递归进行的,主要有以下几步:
     1。在预定的URI中选择一个。
     2。获取URI
     3。分析,归档结果
     4。选择已经发现的感兴趣的URI。加入预定队列。
     5。标记已经处理过的URI
 

 Heritrix主要有三大部件:范围部件,边界部件,处理器链
    范围部件:主要按照规则决定将哪个URI入队。
    边界部件:跟踪哪个预定的URI将被收集,和已经被收集的URI,选择下一个   URI,剔除已经处理过的URI。
    处理器链:包含若干处理器获取URI,分析结果,将它们传回给边界部件
 

Heritrix的其余部件有:
   WEB管理控制台:大多数都是单机的WEB应用,内嵌JAVA HTTP 服务器。
   操作者可以通过选择Crawler命令来操作控制台。
   Crawler命令处理部件:包含足够的信息创建要爬的URI。
   Servercache(处理器缓存)存放服务器的持久信息,能够被爬行部件随时查到,包括IP地址,历史记录,机器人策略。
  

处理器链:
            预取链:主要是做一些准备工作,例如,对处理进行延迟和重新处理,否决随后的操作。
            提取链:主要是获得资源,进行DNS转换,填写请求和响应表单
            抽取链:当提取完成时,抽取感兴趣的HTML,JavaScript,通常那里有新的也适合的URI,此时URI仅仅被发现,不会被评估
            写链:存储爬行结果,返回内容和抽取特性,过滤完存储。
            提交链:做最后的维护,例如,测试那些不在范围内的,提交给边界部件
 

 Heritrix 1.0.0包含以下关键特性:
              1.用单个爬虫在多个独立的站点一直不断的进行递归的爬。
              2。从一个提供的种子进行爬,收集站点内的精确URI,和精确主机。
              3。主要是用广度优先算法进行处理。
              4。主要部件都是高效的可扩展的
              5。良好的配置,包括:
                  a。可设置输出日志,归档文件和临时文件的位置
                  b。可设置下载的最大字节,最大数量的下载文档,和最大的下载时间。
                  c。可设置工作线程数量。
                  d。可设置所利用的带宽的上界。
                  e。可在设置之后一定时间重新选择。
                  f。包含一些可设置的过滤机制,表达方式,URI路径深度选择等等。
     

Heritrix的局限
               1。单实例的爬虫,之间不能进行合作。
               2。在有限的机器资源的情况下,却要复杂的操作。
               3。只有官方支持,仅仅在Linux上进行了测试。
               4。每个爬虫是单独进行工作的,没有对更新进行修订。                     
               5。在硬件和系统失败时,恢复能力很差。
               6。很少的时间用来优化性能。

 

【2】:配置在我们的工程当中:

(1):新建一个工程:Hertirex.(no web project).

(2):在这里下载最新的Hertirex吧:http://sourceforge.net/project/showfiles.php?group_id=73833&package_id=73980

【3】:heritrix-1.14.3.zip  和  heritrix-1.14.3-src.zip。

(1)。先下载heritrix-1.14.3-src.zipheritrix-1.14.3.zip

(2)解压heritrix-1.14.3.jar到\heritrix-1.14.3\heritrix-1.14.3。解压得到的文件夹结构如图:

【3】:把以上目录的所有文件拷贝到heritrix-1.14.3-src\heritrix-1.14.3src\java文件夹下。目的是将java文件夹配置成一个完整的工程目录。

【4】:把\heritrix-1.14.3-src\heritrix-1.14.3\lib文件夹 拷贝到\heritrix-1.14.3-src\heritrix-1.14.3\src\java文件夹下。把lib下的jar包放入工程内部是为了便于管理。

【5】:把heritrix-1.14.3-src\heritrix-1.14.3\src\webapps文件夹拷贝到\heritrix-1.14.3-src\heritrix-1.14.3\src\java文件夹下。此时工程目录基本上完整了。得到的效果如图:

 

【6】:在Eclipse中新建一个Java Project,选择从现有源代码建立,源代码的路径指向\heritrix-1.14.3-src\heritrix-1.14.3\src\java。命名为Heritrix,点击ok。

【7】:这时在package explorer中应该会出现大量的编译错误标记。原因是没有把对应的jar包导入项目。在Java Build Path的Library选项卡中,把项目lib文件夹下的jar包全部加入Build Path。

【8】:在window->Preference->Java->Compiler中,将Compiler compliance level 设为5.0,也就是JDK1.5兼容的语法。目的是使Heritrix编译通过。否则Eclipse可能不认assert这个关键字。

【9】:用鼠标选中/Heritrix/org/archive/crawler/Heritrix.java,右键选择Run As Java Application,Console应该是没有输出的。原因是没有提供运行的参数(用户名/口令)。 一种方法是,修改项目根文件夹下的heritrix.properties文件,设置“heritrix.cmdline.admin = admin:admin”。正常运行时的输出如下:

Heritrix version: 1.14.3

 

【10】:另外一种设定用户名和密码的方式是,在Run Dialog中的Arguments参数选项卡中,输入-admin=admin:admin,单击Apply,再单击Run即可运行。

【11】:运行Heritrix,在浏览器中输入http://localhost:8080/,用户名/密码为“admin/admin"

 

分享到:
评论

相关推荐

    Heritrix1.14.3配置流程

    Heritrix1.14.3配置流程 收索引擎配置 简单的抓包工具

    jacob-1.14.3的jar包及其dll

    **Jacob-1.14.3:Java与COM交互的桥梁** ...Jacob-1.14.3是该库的一个版本,提供了与COM组件通信的能力,从而扩展了Java在Windows环境下的功能。...正确配置这些文件,可以极大地扩展Java应用程序在Windows环境下的功能。

    jacob-1.14.3-x86

    1. 将`jacob-1.14.3-x86.dll`文件拷贝到系统的`System32`目录下,确保系统能够找到这个动态链接库。 2. 配置Java的类路径(ClassPath),将`jacob.jar`添加到其中。可以设置环境变量或者在启动Java应用时通过`-cp`或...

    svn1.14.3版本

    1.14.3是SVN的一个稳定版本,提供64位架构支持,并且包含中文语言包,使得中国用户在使用过程中可以更加方便地理解界面和操作提示。 在SVN 1.14.3中,我们关注以下几个重要的知识点: 1. **版本控制**:SVN的核心...

    jacob-1.14.3.jar、jacob-1.14.3-x64.dll

    在本压缩包中,我们有两个关键文件:“jacob-1.14.3.jar”和“jacob-1.14.3-x64.dll”。 `jacob-1.14.3.jar` 是Java版的Jacob库,它是Java到COM桥接器(Java COM Bridge)的实现。Jacob库提供了一个纯Java接口,...

    jacob-1.14.3-x64.dll

    Jacob-1.14.3-x64.dll是Jacob库的一个版本,特别针对64位Windows操作系统进行了优化,确保在64位环境下也能正常工作。 1. Jacob的安装与配置 要使用Jacob-1.14.3-x64.dll,首先需要将其添加到系统的PATH环境变量中...

    Jsoup jar文件, 版本1.14.3

    Jsoup jar, version 1.14.3

    jsoup-1.14.3-API文档-中文版.zip

    赠送jar包:jsoup-1.14.3.jar; 赠送原API文档:jsoup-1.14.3-javadoc.jar; 赠送源代码:jsoup-1.14.3-sources.jar; 赠送Maven依赖信息文件:jsoup-1.14.3.pom; 包含翻译后的API文档:jsoup-1.14.3-javadoc-API...

    TortoiseSVN1.14.3安装包+中文语言包

    6. 标记与分支:TortoiseSVN支持创建“标记”(tag)来标识重要的项目里程碑,以及“分支”(branch)来允许团队成员在不影响主分支的情况下进行实验性开发。 7. 解决冲突:当多人修改同一部分代码时,TortoiseSVN...

    jacob-1.14.3 jar和dllx86x64

    在实际使用Jacob时,首先需要将jacob.jar添加到Java项目的类路径中,然后根据目标系统的架构选择合适的dll文件,将其放在系统可以找到的地方,如Windows系统的PATH环境变量所包含的目录下。例如,如果应用程序运行在...

    TortoiseSVN-1.14.3中文版(TortoiseSVN-1.14.3-zh_CN.pdf,针对Windows 平台)

    在“开始”章节,手册详细介绍了安装步骤和系统需求,包括如何在Windows环境下安装TortoiseSVN。接着,引导用户理解版本控制的基本概念,如版本库、工作副本等。随后,通过一系列操作演示,如创建版本库、导入项目、...

    jacob-1.14.3-x64及maven.zip

    标题中的“jacob-1.14.3-x64及maven.zip”指的是Jacob库的一个版本1.14.3的64位版本,以及与Maven项目的关联内容。Jacob是一个Java到COM(Component Object Model)桥接库,允许Java程序调用COM组件,比如Microsoft ...

    jacob-1.14.3.dll及使用方法

    1. **添加库依赖**:首先,将`jacob-1.14.3.dll`文件放置在系统的PATH环境变量目录下,或者放在Java运行时环境的bin目录下。对于开发环境,通常会将其加入到项目的类路径(classpath)中。 2. **导入Java包**:在...

    jacob-1.14.3.jar

    使用jacob-1.14.3.jar之前,确保已经正确配置了环境,包括将对应的DLL文件放置在系统路径下,以及在Java项目中添加对jar包的引用。在开发过程中,可以利用JACOB提供的JacobObject类作为所有COM对象的基类,通过它的...

    popper.js.1.14.3.rar

    在给定的压缩包文件"popper.js.1.14.3.rar"中,包含了该库的1.14.3版本,这个版本被广泛用于Bootstrap 4及以上版本,确保这些UI组件能够准确、稳定地定位和显示。 Popper.js的核心在于它的定位算法,它能够根据...

    TortoiseSVN1.14.3客户端+中文简体语言包

    TortoiseSVN是一款在Windows操作系统上广泛使用的版本控制系统客户端,它基于Subversion(SVN)的核心技术。TortoiseSVN1.14.3是该软件的一个特定版本,提供对源代码和其他文件的高效管理和协作功能。在这个版本中,...

    Heritrix1.14.3配置流程[参考].pdf

    ### Heritrix 1.14.3 配置流程详解 #### 一、概述 Heritrix是一款开源网络爬虫工具,专为数字图书馆、档案馆等机构设计,用于采集网页数据并进行归档保存。Heritrix以其高度定制化和强大的功能,成为众多数字档案...

    flink1.14.3-on-cdh6.3.2

    在文件名称列表中,“flink1.14.3-on-cdh6.3.2”可能是整个部署指南或配置文件的集合,这将包括如何安装Flink、配置Flink与CDH的集成、启动和管理Flink作业、以及可能的示例脚本和最佳实践。 这个集成涉及到的知识...

    flink-java-1.14.3-API文档-中文版.zip

    赠送jar包:flink-java-1.14.3.jar; 赠送原API文档:flink-java-1.14.3-javadoc.jar; 赠送源代码:flink-java-1.14.3-sources.jar; 赠送Maven依赖信息文件:flink-java-1.14.3.pom; 包含翻译后的API文档:flink-...

    svn1.14.3windows64位安装版本

    在这个"svn1.14.3windows64位安装版本"中,我们主要关注的是适用于64位Windows系统的TortoiseSVN 1.14.3版本的安装和使用。 **一、SVN基础概念** 1. **版本控制**:SVN的核心功能是版本控制,它记录每一次文件或...

Global site tag (gtag.js) - Google Analytics