`
jkbjxy
  • 浏览: 85495 次
  • 性别: Icon_minigender_1
  • 来自: 苏州
社区版块
存档分类
最新评论

Heritrix3.1.0的使用

阅读更多



1.在cmd下面进入Heritrix的bin目录下

输入heritrix -a admin:admin,弹出新窗口,新窗口中运行heritrix

2.浏览中输入https://localhost:8443/

得到界面如下

第一个输入框中写入任意Job名称,如s

第二个输入框如果不写则默认存储在bin目录下的jobs文件夹下

3.点击create后:

4.点击"s"任务:

crawler-beans.cxml是配置本次抓取网页的配置文件

5.点击edit:

修改配置文件中的内容,点击左上角的"save change"保存本次修改

第一个参数:可以填写你的ip(好像用了路由器的网络就不行了,不知是不是我弄错了?)

第二个参数:填写你的Job名称(和前面填写的一致)

第三个参数:填写描述

添加要爬取的网页

此处修改最后一个属性:把Version改为3.1.0,后面为你的联系方式(如果不填可能有的网站会拒绝被抓取

返回job界面,build->launch->刷新->uppause,会看到Job的状态为Running

 

  • 大小: 6.5 KB
  • 大小: 11.1 KB
  • 大小: 6.7 KB
  • 大小: 7 KB
  • 大小: 3.3 KB
  • 大小: 2.5 KB
分享到:
评论

相关推荐

    开源的爬虫软件Heritrix3.1.0

    Heritrix 3.1.0是其最新的稳定版本,包含了对之前版本的改进和优化。 Heritrix的核心特性包括: 1. **模块化设计**:Heritrix允许用户通过添加或移除模块来定制爬虫的功能。这些模块涵盖了HTTP请求、响应处理、...

    heritrix 3.1.0 dist

    Heritrix 3.1.0 是一个强大的网络爬虫框架,专为互联网内容的抓取和存档设计。这个框架允许开发者通过添加和配置不同的模块来构建自定义的网络爬虫,以满足特定的数据抓取需求。Heritrix 的设计理念是模块化和可扩展...

    heritrix-3.1.0 最新jar包

    - **URL管理**:Heritrix使用URL队列来管理待抓取的链接,并且可以设置URL过滤规则,避免重复抓取或不符合条件的URL。 - **内容解析**:Heritrix内置了HTML、XML、PDF等多种格式的解析器,可以解析网页内容并提取出...

    Heritrix-3.1.0(linux版)

    在提供的压缩包文件中,有两个主要的文件:`heritrix-3.1.0-dist.tar.gz`和`heritrix-3.1.0-src.tar.gz`。这两个文件分别包含了Heritrix的二进制发行版和源代码。 1. `heritrix-3.1.0-dist.tar.gz`: 这个文件是...

    heritrix3.1

    Heritrix 3.1.0 是一个强大的网络爬虫软件,主要被用于网页抓取、数据挖掘和互联网档案管理。这个源码包包含了项目的源代码以及构建后的可分发文件,让开发者能够深入理解其工作原理并进行定制化开发。 源码分析: ...

    Heritrix(windows版)

    1. **heritrix-3.1.0-dist.zip**:这个文件包含了Heritrix的发行版,也就是预编译好的二进制版本。当你下载并解压这个文件后,你可以直接运行它而无需进行任何编译步骤。通常,它会包含启动脚本、配置文件以及必要的...

    扩展Heritrix3指定内容提取.pdf

    在文档的【部分内容】中,首先介绍了系统的基本情况,Heritrix3.1.0版本在ubuntu13.10环境下运行。接着,文档提出了扩展需求分析,这一步骤涉及到网页抓取后需要提取的信息种类,例如题目、内容、时间、作者、价格等...

Global site tag (gtag.js) - Google Analytics