`

Apache Nutch v1.8发布,Java实现的网络爬虫

阅读更多

Apache Nutch v1.8已经发布了,建议所有使用1.X系列的用户和开发人员升级到这个版本。这个版本的依赖库Crawler Commons升级到了0.3版本,Apache Tika也升级到了1.4版本,同时还修复了35个BUG,提供了18项改进。详细内容请看更新日志下载地址Nutch官网

 

Nutch的创始人是Doug Cutting,他同时也是Lucene、Hadoop和Avro开源项目的创始人。

 

Nutch诞生于2002年8月,是Apache旗下的一个用Java实现的开源搜索引擎项目,自Nutch1.2版本之后,Nutch已经从搜索引擎演化为网络爬虫,接着Nutch进一步演化为两大分支版本:1.X和2.X,这两大分支最大的区别在于2.X对底层的数据存储进行了抽象以支持各种底层存储技术。

 

在Nutch的进化过程中,产生了Hadoop、Tika、Gora和Crawler Commons四个Java开源项目。如今这四个项目都发展迅速,极其火爆,尤其是Hadoop,其已成为大规模数据处理的事实上的标准。Tika使用多种现有的开源内容解析项目来实现从多种格式的文件中提取元数据和结构化文本,Gora支持把大数据持久化到多种存储实现,Crawler Commons是一个通用的网络爬虫组件。

 

大数据这个术语最早的引用可追溯到Nutch。当时,大数据用来描述为更新网络搜索索引需要同时进行批量处理或分析的大量数据集。现在,大数据的含义已经被极大地发展了,业界将大数据的特性归纳为4个“V”。Volume数据体量巨大,Variety数据类型繁多,Value价值密度低,商业价值高,Velocity处理速度快。

 

Hadoop是大数据的核心技术之一,而Nutch集Hadoop之大成,是Hadoop的源头。学习Hadoop,没有数据怎么办?用Nutch抓!学了Hadoop的Map Reduce以及HDFS,没有实用案例怎么办?学习Nutch!Nutch的很多代码是用Map Reduce和HDFS写的,哪里还能找到比Nutch更好的Hadoop应用案例呢?

 

 

 

 

 

 

 

分享到:
评论
1 楼 ccuizhou 2014-07-22  
杨大师,你好,我是个初学者,问你个问题, 就是nutch在 0.9版本以后 从webapp模式变成了了类似于组件的模式,之前还用lucenc 可以很直观的体验 网络爬取数据以后的结果。  现在貌似只能爬取和分析, 没有直观的一个搜索界面出来了, 这点, 是怎么回事呢, 有什么方法在0.9版本以后可以弥补么, 还是nutch把这个搜索展现的项目打包到了别的项目上。

相关推荐

    apache-nutch-1.19 java编写的网络爬虫项目

    Apache Nutch是一个开源的Java实现的网络爬虫项目,它被设计用来抓取并索引互联网上的网页。Nutch在大数据处理领域具有广泛的应用,尤其在搜索引擎构建、数据分析和信息提取方面扮演着重要角色。该项目始于2004年,...

    Apache Nutch v2.4.zip

    学生可以用 Apache Nutch v2.4 作为毕业设计的基础,研究网络爬虫的实现、性能优化、或者与特定领域的应用(如社交媒体分析、市场趋势预测等)。 6. **计算机案例**: 在教学或实际项目中,Nutch 可以作为一个...

    Apache Nutch网络爬虫 v1.19.zip

    Apache Nutch 是一个开源的网络爬虫项目,用于抓取...总的来说,Apache Nutch v1.19 提供了一个强大的工具集,用于构建和维护大规模的网络爬虫项目。无论是学习、研究还是实际应用,这个开源项目都是一个宝贵的资源。

    基于ApacheNutch和Htmlunit的扩展实现AJAX页面爬虫抓取解析插件nutch-htmlunit.zip

    基于Apache Nutch 1.8和Htmlunit组件,实现对于AJAX加载类型页面的完整页面内容抓取解析。 According to the implementation of Apache Nutch 1.8, we can't get dynamic ...

    Apache Nutch 1.7 在windows和Linux下的安装

    Apache Nutch 1.7 是一个开源的网络爬虫和搜索引擎项目,它可以对互联网上的网页进行爬取、索引和搜索。本文将详细介绍 Apache Nutch 1.7 在 Windows 和 Linux 下的安装过程,包括安装前的准备工作、安装 Cygwin、...

    基于Apache Nutch和Htmlunit的扩展实现AJAX页面爬虫抓取解析插件.zip

    Apache Nutch是一个开源的网络爬虫框架,而Htmlunit是一个无头Java浏览器,能够模拟真实浏览器执行JavaScript,这使得它们成为处理动态内容的理想工具。 **Apache Nutch详解** Apache Nutch是大数据领域中的一个...

    apache-nutch-2.3

    Apache Nutch 是一个开源的网络爬虫框架,用于抓取互联网上的网页并建立索引,以便于搜索引擎进行高效的检索。Nutch 2.3 版本是该项目的一个稳定版本,包含了丰富的功能和优化,是学习和研究网络爬虫技术的理想选择...

    Web Crawling and Data Mining with Apache Nutch

    Apache Nutch是一个开源的网络爬虫项目,它是Apache软件基金会下面的一个子项目。Nutch最初是作为一个独立的网络爬虫存在的,但后来与Hadoop平台的集成让它成为了一个可扩展的网络爬虫,能够处理海量数据。Nutch的...

    Apache Nutch v1.15

    Nutch诞生于2002年8月,是Apache旗下的一个用Java实现的开源搜索引擎项目,自Nutch1.2版本之后,Nutch已经从搜索引擎演化为网络爬虫,接着Nutch进一步演化为两大分支版本:1.X和2.X,这两大分支最大的区别在于2.X对...

    Apache Nutch 网络爬虫.rar

    Nutch是一个开源的网络爬虫框架,由Apache基金会开发和维护。它能够高效地抓取并处理海量数据,并提供了丰富的插件来支持各种数据源和处理方式。由于其高度可定制化和易于扩展的特性,Nutch被广泛应用于搜索引擎、...

    Apache Nutch 1.7 学习总结

    Apache Nutch 是一个开源的网络爬虫框架,用于抓取互联网上的网页并进行索引,为搜索引擎提供数据基础。Nutch 1.7 版本是其稳定的一个分支,适用于学习和实际项目应用。本文将详细介绍在Windows和Linux环境下如何...

    apache-nutch-1.13-src.zip_nutch_网络爬虫

    Apache Nutch 是一款开源的网络爬虫项目,其1.13版本的源代码提供了丰富的学习资源,适合对网络爬虫技术感兴趣的开发者深入研究。Nutch 主要用于抓取、索引和搜索互联网上的信息,它是一个高度可扩展的系统,能够...

    Apache Nutch v2.3.1

    Nutch诞生于2002年8月,是Apache旗下的一个用Java实现的开源搜索引擎项目,自Nutch1.2版本之后,Nutch已经从搜索引擎演化为网络爬虫,接着Nutch进一步演化为两大分支版本:1.X和2.X,这两大分支最大的区别在于2.X对...

    Apache Nutch Java网络爬虫系统 v2.3.1

    Nutch的创始人是Doug Cutting,他同时也是Lucene、Hadoop和Avro开源项目的创始人。 Nutch诞生于2002年8月,是Apache旗下的一个用Java实现的开源搜索引擎项目,自Nutch1.2版本之后,Nutch已经从搜索引

    编程开发-编程其它-apache nutch(java搜索引擎框架) v1.9.zip

    Apache Nutch是一个开源的Java搜索引擎框架,主要用于网络爬虫和全文检索。Nutch的设计目标是构建一个可扩展的、高效能的系统,用于抓取、索引和搜索互联网上的大量数据。v1.9是Nutch的一个稳定版本,它包含了众多...

    nutch1.8最新版2014.6.10part2

    nutch1.8最新版2014.6.10part2

    Apache Nutch Java网络爬虫系统 v1.14

    Nutch的创始人是Doug Cutting,他同时也是Lucene、Hadoop和Avro开源项目的创始人。 Nutch诞生于2002年8月,是Apache旗下的一个用Java实现的开源搜索引擎项目,自Nutch1.2版本之后,Nutch已经从搜索引

    Apache Nutch Java网络爬虫 v1.15

    Nutch的创始人是Doug Cutting,他同时也是Lucene、Hadoop和Avro开源项目的创始人。 Nutch诞生于2002年8月,是Apache旗下的一个用Java实现的开源搜索引擎项目,自Nutch1.2版本之后,Nutch已经从搜索引

Global site tag (gtag.js) - Google Analytics