`
Eric_2007
  • 浏览: 25000 次
  • 性别: Icon_minigender_1
  • 来自: 辽宁
社区版块
存档分类
最新评论

Heritrix1.14.1在Eclipse下的配置总结

    博客分类:
  • Java
阅读更多
    今天终于把Heritrix启动起来了,在此做些总结。
    很长时间就想试试这个强大的爬虫了,但是经过多次在命令行里按照网上的各位大侠的方法都失败,不知道为什么,今天还试了一下1.12.1和1.14.1两个版本的,都是提示密码文件的要设成单用户并只读,我已经如此设置了安全标签,但仍不能解决问题,所以决定在Eclipse里面试一下,多次失败后,终于成功启动了Heritrix!
    下面简要列一下,其实很简单:
    1、在Eclipse下新建一个项目。(哪一个版本应该无所谓吧,JDK1.5);
    2、将1.14.1版的Heritrix两个.zip文件下载并解压到临时目录(heritrix-1.14.1-src.zip和heritrix-1.14.1.zip);
    3、从第一个zip文件解压目录下\src\java复制三个文件夹(包):org、com、st到项目中的src上;
    4、从第一个zip文件解压目录下\src\conf复制所有文件夹及文件到项目根目录中(可能有不需要的文件);
    5、从第一个zip文件解压目录下\src\resourses复制所有文件夹及文件到项目根目录中(可能有不需要的文件);
    6、从第二个zip文件解压目录下复制webapps目录到项目根目录中;
    7、把项目下Heritrix.properties文件复制到\src目录下(实践中发现);
    8、在项目上鼠标右键->构建路径->添加外部归档 找到任意一个解压的目录下的lib文件夹,选中文件夹中的所有包;
    9、从第一个zip文件解压目录下\src\conf\下的profiles文件夹复制到Eclipse工作空间所在分区的根目录;
    10、配置Heritrix.properties,主要配置四项:如下红色部分所示
##############################################################################
# HERITRIX PROPERTIES
##############################################################################

# Properties with prefixes 'heritrix.', 'org.archive.', or 'system.' prefix
# get copied into System.properties on startup so available via
# System.getProperties. (For 'system.' properties, that prefix is stripped.
# (See Heritrix.loadProperties()).

# Version is filled in by the maven.xml pregoal. It copies here the project
# currentVersion property.
heritrix.version = 1.14.1

# Location of the heritrix jobs directory.
heritrix.jobsdir = jobs

# Default commandline startup values.
# Below values are used if unspecified on the command line.
heritrix.cmdline.admin = admin:admin
heritrix.cmdline.port = 8088
heritrix.cmdline.run = false
heritrix.cmdline.nowui = false
heritrix.cmdline.order =
heritrix.cmdline.jmxserver = false
heritrix.cmdline.jmxserver.port = 8081

##############################################################################
# LOGGING
##############################################################################

    11、在Eclipse下启动Heritrix,找到项目src下的org.archive.crawler包下的主类Heritrix.java鼠标右键->运行方式->java项目,即可启动Heritrix!
    启动后,Eclipse状态栏信息如下:
08:32:15.468 EVENT  Starting Jetty/4.2.23
08:32:15.734 WARN!! Delete existing temp dir C:\DOCUME~1\ycf\LOCALS~1\Temp\Jetty_127_0_0_1_8088__ for WebApplicationContext[/,jar:file:/E:/projects/eclipse_workspace/Heritrix1.14.1/webapps/admin.war!/]
08:32:16.171 EVENT  Started WebApplicationContext[/,Heritrix Console]
08:32:16.609 EVENT  Started SocketListener on 127.0.0.1:8088
08:32:16.609 EVENT  Started org.mortbay.jetty.Server@137c60d
Heritrix version: 1.14.1

    上面的包的复制都在直接在Eclipse里面的项目上直接进行的,这样可以减少修改Eclipse的项目配置文件。

    以上是本人实践后的一个小结,有些内容具体含义没有提及,网上其他版本的配置都有人提过,已经很详细了!


    
分享到:
评论

相关推荐

    Eclipse下配置Heritrix

    Eclipse下配置Heritrix,具体配置步骤详细介绍。

    heritrix抓取的操作和扩展

    核心配置文件`heritrix.properties`位于`conf`目录下,其中包含了Heritrix运行所需的许多参数,如WebUI登录信息、日志格式等。首次启动时,需在此文件中设置WebUI的用户名和密码,例如`heritrix.cmdline.admin=admin...

    Heritrix在Eclipse中的源文件

    在Eclipse这样的集成开发环境中配置Heritrix源文件,可以方便开发者进行定制化开发、调试和理解Heritrix的工作原理。下面将详细介绍如何在Eclipse中设置Heritrix项目,并解释相关知识点。 首先,确保你已经安装了...

    heritrix-1.14.4控制台可执行版本

    近期需要使用heritrix-1.14.4,配了半天才配好,这个是控制台...注意:解压到相关目录,之后配置系统环境变量"HERITRIX_HOME"到该解压目录(Java环境已经配置好)。 使用控制台命令启动 : heritrix --admin=admin:admin

    heritrix正确完整的配置heritrix正确完整的配置

    2. **配置文件结构**: Heritrix的配置基于XML文件,主要包含`job.xml`(作业配置)、`engine.xml`(引擎配置)和各种模块的配置文件。理解这些文件的结构和作用是配置Heritrix的基础。 3. **作业配置** (`job.xml`)...

    heritrix的安装和配置[归纳].pdf

    - 如果Eclipse的工作空间位于`D:\eclipse\search`,则新建的项目将在`D:\eclipse\search\Heritrix`目录下。 3. **配置Heritrix** - 将`heritrix-1.14.1.zip`解压后得到的`lib`目录下的所有JAR文件添加到项目的...

    Heritrix的安装与配置

    配置过程还包括将`src\conf\`目录下的所有文件和文件夹拖入Eclipse的`Heritrix`工程的`src`目录。`heritrix.properties`文件是Heritrix的主要配置文件,你可以在这里设置管理界面的用户名和密码,例如"admin:admin...

    很好的heritrix学习资料

    "Heritrix1_14_1在Eclipse下的配置总结 - Java - ITeye论坛.mht"和"Heritrix1_14_1在Eclipse下的配置总结(续) - Java - ITeye论坛.mht"这两份文件专注于在Eclipse集成开发环境中配置Heritrix的细节。Eclipse是一个...

    Heritrix搭建好的工程

    在本工程中,Heritrix已经被预配置好,可以直接在Eclipse集成开发环境中运行,无需额外设置环境。 首先,让我们详细了解Heritrix的基本概念和功能。Heritrix的核心是工作流模型,它将爬取过程分为多个阶段,如URL...

    heritrix-1.4.4 源代码(eclipse可执行)

    在本案例中,"heritrix-1.4.4 源代码(eclipse可执行)" 表示这个压缩包包含了Heritrix 1.4.4版本的所有源码,这些源码是为Eclipse IDE准备的,可以直接在Eclipse环境下编译和运行。Eclipse是一款强大的Java集成开发...

    heritrix 的详细配置 与 使用资料

    在配置和使用 Heritrix 时,有几个关键步骤和注意事项需要了解。 首先,要开始配置 Heritrix,你需要从官方网站下载源码包(如 heritrix 1.12.1-src.zip)和预编译的二进制包(如 heritrix 1.12.1.zip)。这两个...

    Heritrix安装详细过程

    本节将详细介绍如何在Eclipse环境中搭建Heritrix,并进行必要的配置,以便能够顺利地启动Heritrix并执行抓取任务。 ##### 2.1 在Eclipse中搭建MyHeritrix工程 1. **新建Java工程** 在Eclipse中新建一个名为`...

    heritrix下载及配置

    Heritrix是一款开源的网络...总结来说,Heritrix的下载与配置涉及到文件的解压、配置文件的修改、Eclipse工程的构建和启动。完成这些步骤后,你将能够通过Web界面管理Heritrix的爬虫任务,实现对互联网内容的高效抓取。

    Heritrix在windows下运行成功

    其在Windows环境下成功运行的过程及配置细节,涉及到了Java环境的搭建、Heritrix软件的安装与配置、以及运行参数的设置,以下是对这些知识点的详细解析: ### 一、Java环境搭建 Heritrix基于Java平台运行,因此...

    Heritrix 配置

    总结来说,配置Heritrix开发环境涉及下载源码和二进制文件,创建Eclipse项目,复制源代码和资源文件,配置系统属性,添加库文件,以及最终运行Heritrix主类。这个过程确保了开发者能够在本地环境中进行Heritrix的...

Global site tag (gtag.js) - Google Analytics