- 浏览: 636494 次
- 性别:
- 来自: 北京
文章分类
- 全部博客 (314)
- 生活 (2)
- c# (37)
- 技术 (3)
- 400电话 (0)
- 400常见问题 (0)
- 400资费 (0)
- html (7)
- css (0)
- 数据库 (7)
- javascript (16)
- php (33)
- asp.net mvc2 (10)
- mysql (9)
- C# 3.0 LinQ (10)
- vs2005或vs2008 (4)
- flash and as3 (7)
- fms (1)
- dedeCMS (11)
- java (33)
- j2me (1)
- swing (1)
- c++ (1)
- jquery easyui (3)
- jquery (5)
- android (29)
- MongoDB (9)
- VtigerCRM (1)
- test (0)
- linux (30)
- nutch (2)
- SqlServer数据库 (2)
- 数据检索 (2)
- java抓取 (11)
- 乐天 (1)
- 淘宝 (1)
- Silverlight4.0 (6)
- sphinx实时索引 (5)
- ecshop (9)
- codeigniter(CI) (3)
- axure6 (1)
- 京东店铺装修教程 (2)
- xpath (1)
- joomla (2)
- bpm (1)
- Bootstrap (2)
- knockout (4)
- ecstore (4)
- css3 (1)
- 微信 (2)
- dede (0)
- soa_edi (1)
- odoo (0)
- web (1)
最新评论
-
骑着蜗牛超F1:
在ie6下报了个stack overflow at line ...
兼容ie6和ie7 的16进制码流在html中显示为图片代码(base64) -
冰之海洋:
好像少了一句代码吧? FloatingFunc.show(th ...
android 一直在最前面的浮动窗口效果 -
yanzhoupuzhang:
连接有问题!
iis7.0官方下载 IIS 7.0(微软Web服务器组件IIS 7.0) 官方(windows 2003,XP,2000) -
whatable:
唉,楼主你都没有搞清楚重量级和轻量级。。。。既然引用了SWT, ...
java swing 内置浏览器打开网页显示flash图表-swt Browser应用 -
yy_owen:
我晕啊,你链接的什么内容额,我要的iis,你链接个视频什么意思 ...
iis7.0官方下载 IIS 7.0(微软Web服务器组件IIS 7.0) 官方(windows 2003,XP,2000)
Heritrix项目介绍
Heritrix工程始于2003年初,IA的目的是开发一个特殊的爬虫,对网上的资源进行归档,建立网络数字图书馆。在过去的6年里,IA已经建立了400TB的数据。
IA期望他们的crawler包含以下几种:
宽带爬虫:
能够以更高的带宽去站点爬。
主题爬虫:
集中于被选择的问题。
持续爬虫:
不仅仅爬更当前的网页还负责爬日后更新的网页。
实验爬虫:
对爬虫技术进行实验,以决定该爬什么,以及对不同协议的爬虫 爬行结果进行分析的。
Heritrix工作原理
Heritrix是一个爬虫框架,可加如入一些可互换的组件。它的执行是递归进行的,主要有以下几步:
- 在预定的URI中选择一个。
- 获取URI
- 分析,归档结果
- 选择已经发现的感兴趣的URI。加入预定队列。
- 标记已经处理过的URI
Heritrix主要有三大部件:范围部件,边界部件,处理器链
范围部件:
主要按照规则决定将哪个URI入队。
边界部件:
跟踪哪个预定的URI将被收集,和已经被收集的URI,选择下一个 URI,剔除已经处理过的URI。
处理器链:
包含若干处理器获取URI,分析结果,将它们传回给边界部件
Heritrix的其余部件有:
WEB管理控制台:
大多数都是单机的WEB应用,内嵌JAVA HTTP 服务器。 操作者可以通过选择Crawler命令来操作控制台。
Crawler命令处理部件:
包含足够的信息创建要爬的URI。
Servercache(处理器缓存):
存放服务器的持久信息,能够被爬行部件随时查到,包括IP地址,历史记录,机器人策略。
处理器链:
预取链:
主要是做一些准备工作,例如,对处理进行延迟和重新处理,否决随后的操作。
提取链:
主要是获得资源,进行DNS转换,填写请求和响应表单
抽取链:
当提取完成时,抽取感兴趣的HTML,JavaScript,通常那里有新的也适合的URI,此时URI仅仅被发现,不会被评估
写链:
存储爬行结果,返回内容和抽取特性,过滤完存储。
提交链:
做最后的维护,例如,测试那些不在范围内的,提交给边 界部件
Heritrix 1.0.0包含以下关键特性:
- 用单个爬虫在多个独立的站点一直不断的进行递归的爬。
- 从一个提供的种子进行爬,收集站点内的精确URI,和精确主机。
- 主要是用广度优先算法进行处理。(http://www.my400800.cn )
- 主要部件都是高效的可扩展的
良好的配置,包括:
- 可设置输出日志,归档文件和临时文件的位置
- 可设置下载的最大字节,最大数量的下载文档,和最大的下载时间。
- 可设置工作线程数量。
- 可设置所利用的带宽的上界。
- 可在设置之后一定时间重新选择。
- 包含一些可设置的过滤机制,表达方式,URI路径深度选 择等等。
Heritrix的局限
- 单实例的爬虫,之间不能进行合作。
- 在有限的机器资源的情况下,却要复杂的操作。
- 只有官方支持,仅仅在Linux上进行了测试。
- 每个爬虫是单独进行工作的,没有对更新进行修订。
- 在硬件和系统失败时,恢复能力很差。
- 很少的时间用来优化性能。
爬虫信息
爬虫名称:
Heritrix
爬行强度: 低
HTTP User Agent:
Mozilla/5.0 (compatible;
heritrix/1.10.2 +http://www.my400800.cn
/)
来访IP:171.64.75.233
对Heritrix爬虫进行控制
Heritrix被设计成严格遵循robots.txt文件的排除指示和META robots标签。
邀请Heritrix来访
如果你在在robots.txt中限制了部分爬虫,那么你可能需要在robots.txt中增加下述内容:
User-agent: Heritrix Disallow:
禁止Heritrix访问
如果你不希望Heritrix爬虫占用服务器资源,可以这样封锁它:
User-agent: Heritrix
Disallow: /
如果你仅仅不希望Heritrix爬行某些目录,则可以这样:
User-agent:
Heritrix
Disallow: /somedir/
Heritrix 的架构示意图:
下面有一个heritrixProject.rar可以下来使用一些。。
运行org.archive.crawler.Heritrix
然后访问http://localhost:8080就可以了登入用户/密码为admin/admin
Heritrix和Nutch的差异:
- Nutch 只获取并保存可索引的内容。Heritrix则是照单全收。力求保存页面原貌
- Nutch 可以修剪内容,或者对内容格式进行转换。
- Nutch 保存内容为数据库优化格式便于以后索引;刷新替换旧的内容。而Heritrix 是添加(追加)新的内容。
- Nutch 从命令行运行、控制。Heritrix 有 Web 控制管理界面。
- Nutch 的定制能力不够强,不过现在已经有了一定改进。Heritrix 可控制的参数更多。
Nutch 的架构示意图:
下面是Nucth的运行流程图:
其中nutch的抓取模块在编制索引保存到索引库之后就算完成。
另外一个图,可能需要在熟悉nutch之后才能看懂:
三个目录
首先理解nutch的三个数据目录:
1.crawdb ,linkdb 是web link目录,存放url 及url的互联关系,作为爬行与重新爬行的依据,页面默认30天过期。
2.segments 是主目录,存放抓回来的网页。页面内容有bytes[]的raw content 和 parsed text的形式。nutch以广度优先的原则来爬行,因此每爬完一轮会生成一个segment目录。
3.index 是lucene的索引目录,是indexs里所有index合并后的完整索引,注意索引文件只对页面内容进行索引,没有进行存储,因此查询时要去访问segments目录才能获得页面内容。
发表评论
-
Java 线程中的Join、wait、notify,sleep
2016-06-22 17:28 4591.wait和notify这两个方法都是Object中的方法 ... -
Java多线程sleep(),join(),interrupt(),wait(),notify()
2016-06-22 17:25 513浅析 Java Thread.join() ... -
Java和C#运行命令行并获取返回值 运行bat文件
2015-08-04 10:45 1339Java运行命令行的例子 import java.io.B ... -
HttpClient的超时用法小记
2012-05-06 08:23 983HttpClient在使用中有两个超时时间,是一直接触 ... -
JDK1.5中的线程池(java.util.concurrent.ThreadPoolExecutor)使用简介
2012-05-05 21:29 799在多线程大师Doug Lea的 ... -
XPath 语法 org.dom4j.Document
2012-02-07 13:12 1346XPath 使用路径表达式 ... -
Nutch命令大全
2011-12-28 15:12 1432Nutch采用了一种命令的方式进行工作,其命令可以是对局域网方 ... -
Nutch1.2搜索引擎使用详解
2011-12-27 17:12 1693Nutch作为一款刚刚诞生 ... -
ECLIPSE java.lang.OutOfMemoryError: PermGen space 错误
2011-12-21 15:03 1125ECLIPSE 最近一段时间经常报错,看了日志,有如下错误信息 ... -
nutch环境配置在windows系统上(借助Cygwin)
2011-11-16 11:09 1806nutch环境配置在windows系统上必须要安装【Cygwi ... -
heritrix 下载、安装、配置、以及简单开发
2011-11-04 11:36 1399一、下载: 到www.sourcef ... -
java 如何判断Socket已断开
2011-09-14 13:34 1742最近在开发中遇到一个问题,就是如何判断远端服务器是否已经断开连 ... -
java 程序内存溢出问题查找
2011-04-10 18:00 987这段是时间用java swing做了一个小程序,但是运行一点时 ... -
jtable 隐藏表头标题行
2011-04-08 10:59 3281今天需要把JTable的表头也就是标题行给隐藏掉,在晚上找了一 ... -
java FrameView 启动最大化
2011-03-30 08:49 1539FrameViewzView = new ... -
Swing窗口Linux下不支持最大化问题
2011-03-28 10:15 1008由于最近一直在Linux下工作,今天遇到了Swing窗口不能最 ... -
java 抓取网页内容,可设定代理(HttpURLConnection)
2011-03-11 09:41 1466/* * To change this template, ... -
swing下 改变窗口样式为windows风格(swing控件样式不美观解决方案)
2011-03-02 15:52 2645在windows环境下可以用下面两种方法使窗口显示window ... -
swt Browser 如何打开新url链接地址
2011-02-28 17:27 1715上一篇文章【java swing 内置浏览器打开网页显示fla ... -
java swing 内置浏览器打开网页显示flash图表-swt Browser应用
2011-02-25 16:45 3876今天在网上找了好久如何用在java swing打开网页,从而实 ...
相关推荐
Heritrix是一款强大的开源网络爬虫工具,由互联网档案馆(Internet Archive)开发,主要用于抓取和保存网页内容。Heritrix 1.14.4是该软件的一个较早版本,但依然具有广泛的适用性,尤其对于学习和研究网络爬虫技术...
以下是一些关于Python爬虫的知识点,以及提到的一些开源爬虫工具: 1. **Python爬虫源代码**: - Python爬虫源代码通常涉及到requests库用于发送HTTP请求,BeautifulSoup或lxml库解析HTML或XML文档,可能还会使用...
Heritrix是一个开源的、可扩展的网络爬虫框架,它由Internet Archive开发,旨在构建大规模、可控的互联网档案。Heritrix的架构由多个模块组成,包括URL调度器、网页下载器、HTML解析器、链接提取器等,这些模块协同...
Nutch和Heritrix作为优秀的开源爬虫工具,提供了丰富的功能和扩展性,为网络数据的管理提供了强大的支持。随着Web2.0数据的不断增长,网络爬虫面临的挑战也将越来越大,如何处理动态数据和优化抓取策略将成为未来...
**常见开源网络爬虫的介绍与比较** 1. **Nutch**:基于Java,是Apache Lucene项目的一部分。Nutch是一个完整的网络搜索引擎解决方案,利用Hadoop的分布式处理能力,支持插件机制,易于定制和集成。 2. **Larbin**...
二者均为Java开源框架,Heritrix 是 SourceForge上的开源产品,Nutch为Apache的一个子项目,它们都称作网络爬虫/蜘蛛( Web Crawler),它们实现的原理基本一致:深度遍历网站的资源,将这些资源抓取到本地, 使用的...
其次,Nutch是另一个基于Java开发的开源爬虫,它与Google搜索引擎的工作原理相似,采用了Hadoop的分布式处理模型。Nutch分为抓取和搜索两大部分,能够将数据存储在HBase、Cassandra、MySql等多种数据库中。通过其...
网络爬虫,也被称为Spider,是互联网中用于自动抓取网页信息的重要工具。从技术角度而言,网络爬虫遵循HTTP协议,通过解析...这些开源爬虫各有特点,开发者可以根据实际需求选择适合的框架,进行定制化的网络爬虫开发。
Heritrix是一款强大的开源网络爬虫工具,专为构建自定义搜索引擎而设计。这款软件由互联网档案馆(Internet Archive)开发,旨在系统地抓取、保存并归档互联网上的网页内容。通过使用Heritrix,开发者可以构建自己的...
最后,开源的网络爬虫项目如Larbin、Nutch和Heritrix提供了基础框架,但构建自定义爬虫仍需要解决特定场景下的问题,如上述的调度、更新和存储策略。 总之,分布式网络爬虫是处理海量互联网信息的有效手段,其设计...
2. Heritrix:是一个开源的爬虫框架,提供了爬虫技术的实现。 3. Apache Tika:是一个开源的文档解析器,提供了文档解析的实现。 4. JSpider:是一个开源的爬虫引擎,提供了爬虫技术的实现。 5. WebSPHINX:是一个...
Nutch是另一个开源的网络爬虫,与Heritrix类似,它也基于Apache Lucene。Nutch不仅可以抓取网页,还集成了一个搜索引擎,允许用户在抓取的数据上执行搜索。Nutch通常用于大规模的Web抓取项目,其生成的索引同样可以...
- **Nutch**:基于Java的开源搜索引擎解决方案,属于Apache Lucene项目的一部分,支持分布式处理和插件定制,适用于大规模网页抓取。 - **Larbin**:C++编写,设计简单、高度可配置,专注于抓取网页,但不处理解析...
Java 提供了多种爬虫技术的实现,例如 Nutch、Heritrix 等。 Nutch: Nutch 是 Apache Lucene 的子项目,地址是。Nutch 提供了爬虫的实现,可以爬取大量的文档,并将其存储在一个文件中。Nutch 的优点是性能高、...