- 浏览: 1183992 次
- 性别:
- 来自: 北京
文章分类
- 全部博客 (350)
- Ajax研究 (2)
- javascript (22)
- struts (15)
- hibernate (12)
- spring (8)
- 我的生活 (28)
- jsp (2)
- 我的随笔 (84)
- 脑筋急转弯 (1)
- struts2 (2)
- ibatis (1)
- groovy (1)
- json (4)
- flex (20)
- Html Css (5)
- lucene (11)
- solr研究 (2)
- nutch (25)
- ExtJs (3)
- linux (6)
- 正则表达式 (2)
- xml (1)
- jetty (0)
- 多线程 (1)
- hadoop (40)
- mapreduce (5)
- webservice (2)
- 云计算 (8)
- 创业计划 (1)
- android (8)
- jvm内存研究 (1)
- 新闻 (2)
- JPA (1)
- 搜索技术研究 (2)
- perl (1)
- awk (1)
- hive (7)
- jvm (1)
最新评论
-
pandaball:
支持一下,心如大海
做有气质的男人 -
recall992:
山东分公司的风格[color=brown]岁的法国电视[/co ...
solr是如何存储索引的 -
zhangsasa:
-services "services-config ...
flex中endpoint的作用是什么? -
来利强:
非常感谢
java使用json所需要的几个包 -
zhanglian520:
有参考价值。
hadoop部署错误之一:java.lang.IllegalArgumentException: Wrong FS
【1】:先来认识下什么是Hertirex吧!
是IA的开放源代码,可扩展的,基于整个Web的,归档网络爬虫工程
Heritrix工程始于2003年初,IA的目的是开发一个特殊的爬虫,对网上的
资源进行归档,建立网络数字图书馆,在过去的6年里,IA已经建立了400TB的数据。
IA期望他们的crawler包含以下几种:
宽带爬虫:能够以更高的带宽去站点爬。
主题爬虫:集中于被选择的问题。
持续爬虫:不仅仅爬更当前的网页还负责爬日后更新的网页。
实验爬虫:对爬虫技术进行实验,以决定该爬什么,以及对不同协议的爬虫 爬行结果进行分析的。
Heritrix的主页是http://crawler.archive.org
Heritrix是一个爬虫框架,可加如入一些可互换的组件。
它的执行是递归进行的,主要有以下几步:
1。在预定的URI中选择一个。
2。获取URI
3。分析,归档结果
4。选择已经发现的感兴趣的URI。加入预定队列。
5。标记已经处理过的URI
Heritrix主要有三大部件:范围部件,边界部件,处理器链
范围部件:主要按照规则决定将哪个URI入队。
边界部件:跟踪哪个预定的URI将被收集,和已经被收集的URI,选择下一个 URI,剔除已经处理过的URI。
处理器链:包含若干处理器获取URI,分析结果,将它们传回给边界部件
Heritrix的其余部件有:
WEB管理控制台:大多数都是单机的WEB应用,内嵌JAVA HTTP 服务器。
操作者可以通过选择Crawler命令来操作控制台。
Crawler命令处理部件:包含足够的信息创建要爬的URI。
Servercache(处理器缓存)存放服务器的持久信息,能够被爬行部件随时查到,包括IP地址,历史记录,机器人策略。
处理器链:
预取链:主要是做一些准备工作,例如,对处理进行延迟和重新处理,否决随后的操作。
提取链:主要是获得资源,进行DNS转换,填写请求和响应表单
抽取链:当提取完成时,抽取感兴趣的HTML,JavaScript,通常那里有新的也适合的URI,此时URI仅仅被发现,不会被评估
写链:存储爬行结果,返回内容和抽取特性,过滤完存储。
提交链:做最后的维护,例如,测试那些不在范围内的,提交给边界部件
Heritrix 1.0.0包含以下关键特性:
1.用单个爬虫在多个独立的站点一直不断的进行递归的爬。
2。从一个提供的种子进行爬,收集站点内的精确URI,和精确主机。
3。主要是用广度优先算法进行处理。
4。主要部件都是高效的可扩展的
5。良好的配置,包括:
a。可设置输出日志,归档文件和临时文件的位置
b。可设置下载的最大字节,最大数量的下载文档,和最大的下载时间。
c。可设置工作线程数量。
d。可设置所利用的带宽的上界。
e。可在设置之后一定时间重新选择。
f。包含一些可设置的过滤机制,表达方式,URI路径深度选择等等。
Heritrix的局限:
1。单实例的爬虫,之间不能进行合作。
2。在有限的机器资源的情况下,却要复杂的操作。
3。只有官方支持,仅仅在Linux上进行了测试。
4。每个爬虫是单独进行工作的,没有对更新进行修订。
5。在硬件和系统失败时,恢复能力很差。
6。很少的时间用来优化性能。
【2】:配置在我们的工程当中:
(1):新建一个工程:Hertirex.(no web project).
(2):在这里下载最新的Hertirex吧:http://sourceforge.net/project/showfiles.php?group_id=73833&package_id=73980
【3】:heritrix-1.14.3.zip 和 heritrix-1.14.3-src.zip。
(1)。先下载heritrix-1.14.3-src.zip和heritrix-1.14.3.zip。
(2)解压heritrix-1.14.3.jar到\heritrix-1.14.3\heritrix-1.14.3。解压得到的文件夹结构如图:
【3】:把以上目录的所有文件拷贝到heritrix-1.14.3-src\heritrix-1.14.3src\java文件夹下。目的是将java文件夹配置成一个完整的工程目录。
【4】:把\heritrix-1.14.3-src\heritrix-1.14.3\lib文件夹 拷贝到\heritrix-1.14.3-src\heritrix-1.14.3\src\java文件夹下。把lib下的jar包放入工程内部是为了便于管理。
【5】:把heritrix-1.14.3-src\heritrix-1.14.3\src\webapps文件夹拷贝到\heritrix-1.14.3-src\heritrix-1.14.3\src\java文件夹下。此时工程目录基本上完整了。得到的效果如图:
【6】:在Eclipse中新建一个Java Project,选择从现有源代码建立,源代码的路径指向\heritrix-1.14.3-src\heritrix-1.14.3\src\java。命名为Heritrix,点击ok。
【7】:这时在package explorer中应该会出现大量的编译错误标记。原因是没有把对应的jar包导入项目。在Java Build Path的Library选项卡中,把项目lib文件夹下的jar包全部加入Build Path。
【8】:在window->Preference->Java->Compiler中,将Compiler compliance level 设为5.0,也就是JDK1.5兼容的语法。目的是使Heritrix编译通过。否则Eclipse可能不认assert这个关键字。
【9】:用鼠标选中/Heritrix/org/archive/crawler/Heritrix.java,右键选择Run As Java Application,Console应该是没有输出的。原因是没有提供运行的参数(用户名/口令)。 一种方法是,修改项目根文件夹下的heritrix.properties文件,设置“heritrix.cmdline.admin = admin:admin”。正常运行时的输出如下:
Heritrix version: 1.14.3
【10】:另外一种设定用户名和密码的方式是,在Run Dialog中的Arguments参数选项卡中,输入-admin=admin:admin,单击Apply,再单击Run即可运行。
【11】:运行Heritrix,在浏览器中输入http://localhost:8080/,用户名/密码为“admin/admin"
发表评论
-
认真阅读hadoop源码
2012-11-01 16:00 1782从新复习hadoop,认真阅读hadoop源码,有兴趣的朋友可 ... -
铁道部售票网站怎么啦?
2012-01-10 10:25 1880乐淘CTO李勇:库存同步是难点 我的判断,除了 ... -
eclipse启动报错jvm terminated. Exit code=1
2011-10-11 08:55 1225转载链接: http://wxmfly.itey ... -
ireport中获取当前时间
2011-08-28 11:53 5172一。 iReport 中获取系统当前时间 1,选择Tex ... -
ireport引java bean database
2011-08-27 10:38 1748今天帮一同事调试程序,他们的报表工具用的是ireport4.0 ... -
谈谈爬虫的设计
2011-08-07 22:27 2321网络蜘蛛现在开源的已 ... -
为了养家,只能这样!
2011-07-03 16:22 16还是一直在玩数据,hadoop平台(自己一手搭建),使用爬虫n ... -
陆续整理数据方面的资料
2011-05-07 08:58 635差不多有一个多月没写东西了,最近比较忙!还是研究数据一些东西。 ... -
挣钱养家
2011-04-14 22:19 1163如果各位有私活的话忙不过来,可以通过QQ(282215036) ... -
使用perl连接mysql数据库
2011-04-05 22:21 1440用Perl DBI连接MySQL数据库 Perl中一个最酷的 ... -
图像数字识别技术
2011-04-01 17:32 5942最近在研究图像数字识别技术,对于一些简单没有干扰的图片,可以读 ... -
100个可供选择的搜索引擎
2011-03-02 13:11 1511本文根据 readwriteweb ... -
对于处理问题的一点想法
2011-02-23 08:26 1123昨天快下班的时候,遇到一个建立索引的问题,因为快下班了,我没有 ... -
温故而知新
2011-02-20 16:44 1190又回过头来复习以前的知识了?在家里实在无聊!把之前学习过的东西 ... -
加钱也得买票回家过年
2011-01-25 08:44 984昨天从黄牛党手上拿了一张高价票。加了100.哎!这年头在外面忙 ... -
Eclipse3.6 Helios SVN插件–Subversive
2011-01-12 11:42 3655刚在Google Code上发布了一个Open Project ... -
博客有时候来不及更新,希望大家见谅!
2011-01-10 17:42 1012刚到新公司,可能开始忙了,博客有时候来不及更新,希望大家见谅! ... -
新公司入职第一天
2011-01-10 11:47 1330今天是我去新公司入职的第一天。感觉一切都是新的,从头开始!加油 ... -
java中各种算法的实现
2010-12-30 13:01 1165选择排序算法的JAVA实现 viewplainprin ... -
java基础知识复习
2010-12-30 13:00 1021学习Java一 配置环境变量 学习Java二 开发第一 ...
相关推荐
Heritrix1.14.3配置流程 收索引擎配置 简单的抓包工具
**Jacob-1.14.3:Java与COM交互的桥梁** ...Jacob-1.14.3是该库的一个版本,提供了与COM组件通信的能力,从而扩展了Java在Windows环境下的功能。...正确配置这些文件,可以极大地扩展Java应用程序在Windows环境下的功能。
1. 将`jacob-1.14.3-x86.dll`文件拷贝到系统的`System32`目录下,确保系统能够找到这个动态链接库。 2. 配置Java的类路径(ClassPath),将`jacob.jar`添加到其中。可以设置环境变量或者在启动Java应用时通过`-cp`或...
1.14.3是SVN的一个稳定版本,提供64位架构支持,并且包含中文语言包,使得中国用户在使用过程中可以更加方便地理解界面和操作提示。 在SVN 1.14.3中,我们关注以下几个重要的知识点: 1. **版本控制**:SVN的核心...
在本压缩包中,我们有两个关键文件:“jacob-1.14.3.jar”和“jacob-1.14.3-x64.dll”。 `jacob-1.14.3.jar` 是Java版的Jacob库,它是Java到COM桥接器(Java COM Bridge)的实现。Jacob库提供了一个纯Java接口,...
Jacob-1.14.3-x64.dll是Jacob库的一个版本,特别针对64位Windows操作系统进行了优化,确保在64位环境下也能正常工作。 1. Jacob的安装与配置 要使用Jacob-1.14.3-x64.dll,首先需要将其添加到系统的PATH环境变量中...
Jsoup jar, version 1.14.3
赠送jar包:jsoup-1.14.3.jar; 赠送原API文档:jsoup-1.14.3-javadoc.jar; 赠送源代码:jsoup-1.14.3-sources.jar; 赠送Maven依赖信息文件:jsoup-1.14.3.pom; 包含翻译后的API文档:jsoup-1.14.3-javadoc-API...
6. 标记与分支:TortoiseSVN支持创建“标记”(tag)来标识重要的项目里程碑,以及“分支”(branch)来允许团队成员在不影响主分支的情况下进行实验性开发。 7. 解决冲突:当多人修改同一部分代码时,TortoiseSVN...
在实际使用Jacob时,首先需要将jacob.jar添加到Java项目的类路径中,然后根据目标系统的架构选择合适的dll文件,将其放在系统可以找到的地方,如Windows系统的PATH环境变量所包含的目录下。例如,如果应用程序运行在...
在“开始”章节,手册详细介绍了安装步骤和系统需求,包括如何在Windows环境下安装TortoiseSVN。接着,引导用户理解版本控制的基本概念,如版本库、工作副本等。随后,通过一系列操作演示,如创建版本库、导入项目、...
标题中的“jacob-1.14.3-x64及maven.zip”指的是Jacob库的一个版本1.14.3的64位版本,以及与Maven项目的关联内容。Jacob是一个Java到COM(Component Object Model)桥接库,允许Java程序调用COM组件,比如Microsoft ...
1. **添加库依赖**:首先,将`jacob-1.14.3.dll`文件放置在系统的PATH环境变量目录下,或者放在Java运行时环境的bin目录下。对于开发环境,通常会将其加入到项目的类路径(classpath)中。 2. **导入Java包**:在...
使用jacob-1.14.3.jar之前,确保已经正确配置了环境,包括将对应的DLL文件放置在系统路径下,以及在Java项目中添加对jar包的引用。在开发过程中,可以利用JACOB提供的JacobObject类作为所有COM对象的基类,通过它的...
在给定的压缩包文件"popper.js.1.14.3.rar"中,包含了该库的1.14.3版本,这个版本被广泛用于Bootstrap 4及以上版本,确保这些UI组件能够准确、稳定地定位和显示。 Popper.js的核心在于它的定位算法,它能够根据...
TortoiseSVN是一款在Windows操作系统上广泛使用的版本控制系统客户端,它基于Subversion(SVN)的核心技术。TortoiseSVN1.14.3是该软件的一个特定版本,提供对源代码和其他文件的高效管理和协作功能。在这个版本中,...
### Heritrix 1.14.3 配置流程详解 #### 一、概述 Heritrix是一款开源网络爬虫工具,专为数字图书馆、档案馆等机构设计,用于采集网页数据并进行归档保存。Heritrix以其高度定制化和强大的功能,成为众多数字档案...
在文件名称列表中,“flink1.14.3-on-cdh6.3.2”可能是整个部署指南或配置文件的集合,这将包括如何安装Flink、配置Flink与CDH的集成、启动和管理Flink作业、以及可能的示例脚本和最佳实践。 这个集成涉及到的知识...
赠送jar包:flink-java-1.14.3.jar; 赠送原API文档:flink-java-1.14.3-javadoc.jar; 赠送源代码:flink-java-1.14.3-sources.jar; 赠送Maven依赖信息文件:flink-java-1.14.3.pom; 包含翻译后的API文档:flink-...
在这个"svn1.14.3windows64位安装版本"中,我们主要关注的是适用于64位Windows系统的TortoiseSVN 1.14.3版本的安装和使用。 **一、SVN基础概念** 1. **版本控制**:SVN的核心功能是版本控制,它记录每一次文件或...