一.Hadoop社区版和发行版
- 社区版:我们把Apache社区一直开发的Hadoop称为社区版。简单的说就是Apache Hadoop http://hadoop.apache.org/
- 发行版:基于Apache Hadoop的基础上进行商业改造的解决方案,包含一系列定制的管理工具和软件。
二.Hadoop社区版版本号
一直以来,Hadoop的版本号一直困扰着广大Hadoop爱好者,各版本层出不穷。如果你想使用Apache Hadoop,你必须知道自己要使用哪个版本的Hadoop,搞清楚Hadoop版本号就尤为重要了。
三.Hadoop发行版
- Cloudera
- 2009年开始Hadoop,Lutch,Lucene,Solr创始人Doug Cutting任职于Cloudera公司。
- Cloudera的主要产品是Cloudera Manager(CDH)。
- CDH3基于Apache Hadoop 0.20.2(简单理解为Apche Hadoop 1);CDH4基于Apache Hadoop 0.20.3(简单理解为Apche Hadoop 2),但是它采用新的MapReduce2.0,即Yarm。
- Hortonworks
- Hortonworks 2011年成立,由Yahoo于硅谷风投公司Benchmark Capital组成。公司成立的时候吸纳了许多原来在Yahoo工作的Hadoop工程师,Apache Hadoop社区70%的代码是雅虎工程师贡献的。2006年开始Doug Cutting任职于Yahoo公司。
- Hortonworks的主要产品是Hortonworks Data Platform(HDP)。
- HDP主要基于Apache Hadoop 1。
- MapR
- 用自己的新架构重写Hadoop,提供和Apache Hadoop相同的API。
- NameNode默认存储三份,不存在NameNode单点故障Single Point Of Failure(SPOF)。
- IBM
- 华为
- 网络,PC,虚拟化方面的硬件实力。
- Intel
- Intel的发行版最先进入中国市场。
- 提供全面的硬件解决方案,针对硬件的性能优化。
四.你也可以阅读以下文档
- hadoop版本总结http://dijunzheng2008.blog.163.com/blog/static/98959897201210171340254/
- 关于Apache Hadoop 1.0 http://f.dataguru.cn/thread-23223-1-1.html
- 突破社区版Hadoop各商业发行版比较 http://cloud.chinabyte.com/news/206/12446706.shtml
- 如何选择不同的Hadoop发行版 http://www.searchbi.com.cn/showcontent_70957.htm
相关推荐
Hadoop 技术内幕:深入解析Hadoop Common 和HDFS 架构设计与实现原理
Hadoop技术内幕:深入解析Hadoop Common 和HDFS 架构设计与实现原理 (大数据技术丛书) 原版书籍,非扫描版,使用kindle可以打开,也可以转换为epub使用ibooks打开
Hadoop硬实战:Hadoop in Practice
《Hadoop技术内幕:深入解析Hadoop Common和HDFS架构设计与实现原理》由腾讯数据平台的资深Hadoop专家、X-RIME的作者亲自执笔,对Common和HDFS的源代码进行了分析,旨在为Hadoop的优化、定制和扩展提供原理性的指导。...
Hadoop技术内幕:深入解析MapReduce架构设计i与实现原理Hadoop技术内幕:深入解析MapReduce架构设计i与实现原理Hadoop技术内幕:深入解析MapReduce架构设计i与实现原理Hadoop技术内幕:深入解析MapReduce架构设计i与...
标题提到的"hadoop-lzo-0.4.21-SNAPSHOT jars"是一组特定版本的Hadoop-LZO库,这里的"SNAPSHOT"通常表示这是一个开发中的版本,可能包含了最新的特性和改进,但尚未正式发布。这个版本是为Hadoop 2.8.0定制的,这...
hadoop&spark:Hive是一个基于Hadoop的数据仓库平台.zip
本资源提供的是Hadoop的大数据安全组件——Kerberos的集成安装包,具体版本为hadoop-3.3.4.tar.gz,这是一款针对Hadoop进行安全配置的重要工具。 Hadoop是一个开源的分布式计算框架,它允许在大规模集群上存储和...
在Windows环境下搭建Hadoop开发环境时,经常遇到的两个关键组件是`hadoop.dll`和`winutils.exe`。这两个文件对于在Windows操作系统上运行Hadoop ...然而,对于学习和开发目的,Windows环境下的Hadoop是一个很好的起点。
伪分布式模式是在单台机器上模拟一个完整的Hadoop集群,所有服务都在独立的Java进程中运行,适合学习Hadoop集群的工作原理。完全分布式模式则需要多台物理或虚拟机,适合生产环境。 配置Hadoop时,需要修改Hadoop...
Hadoop技术内幕:深入解析YARN架构设计与实现原理(扫描版)Hadoop技术内幕:深入解析YARN架构设计与实现原理(扫描版)Hadoop技术内幕:深入解析YARN架构设计与实现原理(扫描版)
Hadoop技术内幕:深入解析MapReduce架构设计与实现原理(扫描版)Hadoop技术内幕:深入解析MapReduce架构设计与实现原理(扫描版)Hadoop技术内幕:深入解析MapReduce架构设计与实现原理(扫描版)
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。本文集的文档主要介绍Hadoop的一些概念介绍和操作教程,...
Hadoop 2.7.6是该框架的一个稳定版本,它提供了一系列优化和改进,以提高数据处理效率和系统的稳定性。在这个Windows环境下,配置Hadoop可能会遇到一些特定的问题,特别是与依赖的动态链接库(.dll)文件和特定工具...
赠送jar包:hadoop-auth-2.6.5.jar 赠送原API文档:hadoop-auth-2.6.5-javadoc.jar 赠送源代码:hadoop-auth-2.6.5-sources.jar 包含翻译后的API文档:hadoop-auth-2.6.5-javadoc-API文档-中文(简体)-英语-对照版...
1. Hadoop版本更新:文档中提到了Hadoop 2.5这一特定版本的发布,这意味着用户可以利用此版本中加入的新特性进行数据处理和分析。 2. 新特性:关于Hadoop 2.5的新特性和改进,文档指出有新内容,但未具体列举,用户...
在Windows环境下安装Hadoop 3.1.0是学习和使用大数据处理技术的重要步骤。Hadoop是一个开源框架,主要用于分布式存储和处理大规模数据集。在这个过程中,我们将详细讲解Hadoop 3.1.0在Windows上的安装过程以及相关...
《hadoop技术内幕:深入解析yarn架构设计与实现原理》是“hadoop技术内幕”系列的第3本书,前面两本分别对common...仍然由资深hadoop技术专家董西成执笔,根据最新的hadoop 2.0版本撰写,权威社区chinahadoop鼎力推荐。
Hadoop技术内幕:深入解析Hadoop Common和HDFS架构设计与实现原理(扫描版)