一.Hadoop社区版和发行版
- 社区版:我们把Apache社区一直开发的Hadoop称为社区版。简单的说就是Apache Hadoop http://hadoop.apache.org/
- 发行版:基于Apache Hadoop的基础上进行商业改造的解决方案,包含一系列定制的管理工具和软件。
二.Hadoop社区版版本号
一直以来,Hadoop的版本号一直困扰着广大Hadoop爱好者,各版本层出不穷。如果你想使用Apache Hadoop,你必须知道自己要使用哪个版本的Hadoop,搞清楚Hadoop版本号就尤为重要了。
三.Hadoop发行版
- Cloudera
- 2009年开始Hadoop,Lutch,Lucene,Solr创始人Doug Cutting任职于Cloudera公司。
- Cloudera的主要产品是Cloudera Manager(CDH)。
- CDH3基于Apache Hadoop 0.20.2(简单理解为Apche Hadoop 1);CDH4基于Apache Hadoop 0.20.3(简单理解为Apche Hadoop 2),但是它采用新的MapReduce2.0,即Yarm。
- Hortonworks
- Hortonworks 2011年成立,由Yahoo于硅谷风投公司Benchmark Capital组成。公司成立的时候吸纳了许多原来在Yahoo工作的Hadoop工程师,Apache Hadoop社区70%的代码是雅虎工程师贡献的。2006年开始Doug Cutting任职于Yahoo公司。
- Hortonworks的主要产品是Hortonworks Data Platform(HDP)。
- HDP主要基于Apache Hadoop 1。
- MapR
- 用自己的新架构重写Hadoop,提供和Apache Hadoop相同的API。
- NameNode默认存储三份,不存在NameNode单点故障Single Point Of Failure(SPOF)。
- IBM
- 华为
- 网络,PC,虚拟化方面的硬件实力。
- Intel
- Intel的发行版最先进入中国市场。
- 提供全面的硬件解决方案,针对硬件的性能优化。
四.你也可以阅读以下文档
- hadoop版本总结http://dijunzheng2008.blog.163.com/blog/static/98959897201210171340254/
- 关于Apache Hadoop 1.0 http://f.dataguru.cn/thread-23223-1-1.html
- 突破社区版Hadoop各商业发行版比较 http://cloud.chinabyte.com/news/206/12446706.shtml
- 如何选择不同的Hadoop发行版 http://www.searchbi.com.cn/showcontent_70957.htm
相关推荐
Hadoop 技术内幕:深入解析Hadoop Common 和HDFS 架构设计与实现原理
Hadoop技术内幕:深入解析Hadoop Common 和HDFS 架构设计与实现原理 (大数据技术丛书) 原版书籍,非扫描版,使用kindle可以打开,也可以转换为epub使用ibooks打开
Hadoop硬实战:Hadoop in Practice
Hadoop技术内幕:深入解析MapReduce架构设计i与实现原理Hadoop技术内幕:深入解析MapReduce架构设计i与实现原理Hadoop技术内幕:深入解析MapReduce架构设计i与实现原理Hadoop技术内幕:深入解析MapReduce架构设计i与...
标题提到的"hadoop-lzo-0.4.21-SNAPSHOT jars"是一组特定版本的Hadoop-LZO库,这里的"SNAPSHOT"通常表示这是一个开发中的版本,可能包含了最新的特性和改进,但尚未正式发布。这个版本是为Hadoop 2.8.0定制的,这...
hadoop&spark:Hive是一个基于Hadoop的数据仓库平台.zip
本资源提供的是Hadoop的大数据安全组件——Kerberos的集成安装包,具体版本为hadoop-3.3.4.tar.gz,这是一款针对Hadoop进行安全配置的重要工具。 Hadoop是一个开源的分布式计算框架,它允许在大规模集群上存储和...
在Windows环境下搭建Hadoop开发环境时,经常遇到的两个关键组件是`hadoop.dll`和`winutils.exe`。这两个文件对于在Windows操作系统上运行Hadoop ...然而,对于学习和开发目的,Windows环境下的Hadoop是一个很好的起点。
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。本文集的文档主要介绍Hadoop的一些概念介绍和操作教程,...
伪分布式模式是在单台机器上模拟一个完整的Hadoop集群,所有服务都在独立的Java进程中运行,适合学习Hadoop集群的工作原理。完全分布式模式则需要多台物理或虚拟机,适合生产环境。 配置Hadoop时,需要修改Hadoop...
赠送jar包:hadoop-auth-2.6.5.jar 赠送原API文档:hadoop-auth-2.6.5-javadoc.jar 赠送源代码:hadoop-auth-2.6.5-sources.jar 包含翻译后的API文档:hadoop-auth-2.6.5-javadoc-API文档-中文(简体)-英语-对照版...
Hadoop权威指南 大数据的存储与分析 第四版
- **Hadoop官方网站**:作为学习Hadoop的第一步,官方站点提供了丰富的资源和技术文档,包括最新的版本更新和技术动态等。 - **起源与发展**:Hadoop项目起源于Nutch项目,Nutch团队通过研究谷歌的GFS(Google File ...
Hadoop 2.7.6是该框架的一个稳定版本,它提供了一系列优化和改进,以提高数据处理效率和系统的稳定性。在这个Windows环境下,配置Hadoop可能会遇到一些特定的问题,特别是与依赖的动态链接库(.dll)文件和特定工具...
1. Hadoop版本更新:文档中提到了Hadoop 2.5这一特定版本的发布,这意味着用户可以利用此版本中加入的新特性进行数据处理和分析。 2. 新特性:关于Hadoop 2.5的新特性和改进,文档指出有新内容,但未具体列举,用户...
在Windows环境下安装Hadoop 3.1.0是学习和使用大数据处理技术的重要步骤。Hadoop是一个开源框架,主要用于分布式存储和处理大规模数据集。在这个过程中,我们将详细讲解Hadoop 3.1.0在Windows上的安装过程以及相关...
export CLASSPATH="$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:${HADOOP_HOME}/lib/commons-logging-1.0.4.jar:${HADOOP_HOME}/lib/guava-r09-jarjar.jar:${HADOOP_HOME}/hadoop-core-0.20.2-cdh3u3.jar:/usr/...
与hadoop有关的io文件在hadoop-commom-x.x.x.jar中如:org.apache.hadoop.io.LongWritable, org.apache.hadoop.io.IntWritable org.apache.hadoop.io.Text等,相关的conf配置文件也在该jar文件中
《Hadoop权威指南》第四版的高清PDF版本提供了一个方便的学习资源,使得读者可以在不购买实体书的情况下,依然能够清晰地阅读和学习。然而,值得注意的是,尽管电子版方便,但理解Hadoop这样的复杂技术体系仍需要...
`Hadoop: The Definitive Guide`中可能会讲解如何创建、读取和操作HDFS上的文件,以及如何配置HDFS参数以优化性能。 MapReduce是Hadoop处理大数据的主要计算模型,它将大规模数据处理任务分解为小的“映射”和...