`

Nutch的发展历程

阅读更多

Nutch的创始人是Doug Cutting,他同时也是Lucene、Hadoop和Avro开源项目的创始人

 

下面是Nutch的发展历程:

 

20028Doug Cutting发起,托管于Sourceforge,之后发布了0.40.50.6三个版本

2004年9月Oregon State University俄勒冈州立大学)采用Nutch

2004年9月Creative Commons(知识共享)推出基于Nutch的搜索服务

20051加入Apache的孵化器

2005年6月孵化结束成为Lucene的子项目

20058月发布版本0.7Apache Lucene sub-project

2005年10月发布版本0.7.1

2006年3月发布版本0.7.2

2006年7月发布版本0.8全新的架构,基于Hadoop0.4 Hadoop诞生

2006年9月发布版本0.8.1

2007年4月发布版本0.9

2009年3月发布版本1.0Tika诞生,0.1-incubating

2010年4月Nutch成为Apache顶级项目

2010年6月发布版本1.1

2010年9月发布版本1.2

2011年6月发布版本1.3从搜索引擎到网络爬虫

2011年11发布版本1.4

2012年6月发布版本1.5

2012年7月发布版本2.02.X  Gora诞生,table-based architecture

2012年7月发布版本1.5.1

2012年8月Nutch诞生十周年

201210月发布版本2.1 2.X开始支持elastic search

2012年12发布版本1.6

2013年6月发布版本2.2crawler-commons 诞生

2013年6月发布版本1.7crawler-commons 诞生

2013年7发布版本2.2.1

2014年3月发布版本1.8

2014年8月发布版本1.9

2015年1月发布版本2.3

 

 

 

 

 

 

 

 

 

1
1
分享到:
评论

相关推荐

    Nutch公开课从搜索引擎到网络爬虫

    Nutch的发展历程中出现了两个主要的分支版本:1.X和2.X,它们之间最大的区别是2.X版本对底层数据存储进行了抽象,以支持更广泛的存储技术,这使得Nutch可以适应更多样的大数据存储需求。 Nutch项目背后的关键人物是...

    Nutch环境搭建文档

    Nutch的发展历程中,它与Hadoop、Tika、Gora以及crawler-commons等技术紧密相关,不断优化其架构和功能,以支持大规模的Web数据处理和高效搜索。 Nutch的核心价值在于提供了一个透明且公正的搜索解决方案,与商业化...

    Hadoop的前世今生 英文

    《Hadoop的前世今生》是一份深入探讨Hadoop发展历程的英文文档,旨在揭示这款开源大数据处理框架的起源、发展及现状。Hadoop,这个在云计算领域具有重要地位的名字,其背后有着丰富的历史和技术演变。 Hadoop最初是...

    Hadoop发展简史.pdf

    Hadoop 的发展历程可以分为三个阶段:第一个阶段是 Nutch 项目的开发和早期 Hadoop 的发展(2002-2005);第二个阶段是 Hadoop 从 Nutch 项目中独立出来,并得到雅虎公司的支持和发展(2006-2008);第三个阶段是 ...

    Hadoop技术介绍与发展.pptx

    Hadoop 技术是大数据处理和分析的核心技术之一,其发展历程经历了多个阶段,从最初的 Nutch 项目到现在的 Hadoop 3.x 版本。下面我们将对 Hadoop 技术的发展历程和主要组件进行详细介绍。 Hadoop 的历史 Hadoop 的...

    大数据技术之Hadoop(入门).doc

    Hadoop的发展历程始于Lucene,一个由Doug Cutting创建的全文搜索引擎项目。随着数据量的增长,Lucene面临与Google相似的挑战。为了应对这些问题,Cutting和团队借鉴Google的方法,开发了一个微型版的Nutch,即Nutch...

    大数据Hadoop开发基础

    本课程主要从理论层面介绍Hadoop,帮助学生理解其核心概念、特点以及发展历程。 1. **Hadoop的起源与发展历程** Hadoop最初由Doug Cutting和Mike Cafarella为Apache Nutch搜索引擎项目开发,后来成为Apache软件...

    Hadoop权威指南

    Hadoop项目的发展历程中涌现了许多贡献者,Tom White是其中的一员。他最初是通过写了一篇关于Nutch的优秀文章而被人所熟知,文章清晰地阐述了复杂的思想。Tom White不仅能够用清晰的散文来表达复杂的概念,而且他...

    大数据技术领域中hadoop分布式系统的架构与应用

    内容概要:本文介绍了Hadoop的发展历程、核心组件及其在大数据处理中的应用。首先,Hadoop起源于Nutch项目,由Yahoo公司分离并发展壮大,成为大数据处理的核心技术。核心组件包括HDFS、MapReduce和YARN。HDFS用于在...

    2-大数据技术之Hadoop(入门)

    Hadoop的发展历程中,出现了多个发行版本,以满足不同的需求和场景。Apache Hadoop是最原始的基础版本,适合初学者学习。Cloudera Hadoop(CDH)在2008年由Cloudera公司推出,是最早的Hadoop商业化解决方案之一,其...

    1、hadoop3.1.4简单介绍及部署、简单验证

    Hadoop 的发展历程始于 Nutch 项目,旨在构建一个大型搜索引擎。受 Google 的 GFS 和 MapReduce 论文启发,Nutch 的开发人员创建了 Hadoop,它后来成为了 Apache 的顶级项目。随着时间的推移,Hadoop 生态系统不断...

    hadoop 大数据的存储与分析

    2. Hadoop的发展历程 Hadoop的发展始于Doug Cutting和其他工程师试图构建一个开源的网络搜索引擎,但他们遇到了在管理运行在少量计算机上的计算作业时的难题。Google发布的GFS(Google File System)和MapReduce...

    Hadoop-10-years

    【Hadoop:十年发展历程与应用实践】 Hadoop,作为大数据处理领域的标志性技术,自2005年诞生以来,经历了十年的快速发展,逐渐成为全球范围内企业和机构处理大规模数据的重要工具。这个名为“Hadoop-10-years”的...

    lucene简介

    搜索引擎的发展历程可以追溯到早期的Archie和Gopher等系统,这些系统为后续搜索引擎的发展奠定了基础。随着Robot(网络机器人)和Spider(网络爬虫)的出现,搜索引擎技术得以进一步发展。之后,诸如Excite、Galaxy...

    HADOOP,开题报告.pdf

    1.1.2 Hadoop 的发展历程 Hadoop 的发展经历了从Nutch搜索引擎项目到独立Apache项目的过程。在2008年成为Apache顶级项目后,Hadoop 展示了其在大数据处理领域的强大能力,例如在短时间内完成大规模数据排序。 1.2 ...

    HADOOP,开题报告.docx

    【描述】:本文主要探讨基于Hadoop的云计算平台搭建,针对海量数据处理的需求,分析当前数据时代所面临的挑战,以及Hadoop的发展历程和生态系统,同时阐述Hadoop在数据存储和计算中的关键作用。 【标签】:互联网 ...

    hadoop 入门

    #### 三、Hadoop的发展历程与技术背景 **Hadoop**的灵感来源于Google的一系列技术创新。Google通过使用大量廉价的PC服务器而不是昂贵的超级计算机构建大规模集群,解决了海量数据存储与处理的问题。Google的这些...

Global site tag (gtag.js) - Google Analytics