`

hadoop版本总结

阅读更多
hadoop有两个分支:0.20.x 和0.23.x。其中0.20.x是比较稳定的版本,0.23.x中新特性更多,但相对不稳定。

其中从0.20.x 分支发展出来的是:hadoop1.0,CDH3
从0.23.x 分支发展出来的是:hadoop-alpha,CDH4

下面具体说hadoop1.0、2.0 和CDH3、CDH4:

Apache Hadoop  2012年10月02日发布了 2.0 的第二个 Alpha 版本,版本号 2.0.2。该版本在 2000 个节点的集群上进行测试,目前开发团队的主要工作是处理无共享存储下的 HDFS HA ,还包括 YARN ResourceManager 以及调度方面的改进(YARN 是下一代的 MapReduce 实现)。

2011年12月27日顶级Apache开源项目Hadoop发布了1.0.0版。Hadoop是前雅虎开发者Doug Cutting开发的分布式计算平台,名字源于玩具象,至今已被数千家公司用于分析大容量数据。Hadoop 1.0.0主要是修正了bug,改进了性能和兼容性。它的上一个版本是0.20.205.0,新版的版本号原是 0.20.205.1,但开发者表示,Hadoop已经成熟几年前就做好了应用于生产的准备,但有些客户在采用前希望看到版本号是1.0,所以他们决定直接跳到了1.0。

cloudera CDH3基于hadoop稳定版0.20.2,并集成很多补丁(patch)

CDH4是基于Hadoop0.23的,但是它采用新的MapReduce,即MapReduce2.0,又叫Yarn。
CDH4的安装要求:64位的Red Hat Enterprise Linux5.7,CentOS5.7,Oracle Linux5.6,32位或64位的Red Hat Enterprise Linux6.2和CentOS6.2等
分享到:
评论

相关推荐

    Hadoop学习总结.doc

    ### Hadoop 学习总结 #### 一、HDFS简介 **1.1 数据块(Block)** HDFS(Hadoop Distributed File System)是Hadoop的核心组件之一,它主要用于存储大规模的数据集。HDFS默认的基本存储单位是64MB的数据块。与...

    Hadoop学习总结

    ### Hadoop学习总结 #### HDFS简介 **HDFS(Hadoop Distributed File System)** 是Hadoop项目的核心组件之一,专为处理大型数据集而设计。HDFS通过将数据分割成固定大小的数据块并分布式存储在集群的不同节点上来...

    hadoop,hbase,hive版本整合兼容性最全,最详细说明【适用于任何版本】

    此外,HBase官方也会提供特定版本的HBase支持的Hadoop版本,通常在发行说明或者兼容性文档中列出。对于最新版本,如果在官方文档中没有直接提供信息,用户还可以通过提问于HBase的社区论坛或者关注相关的视频教程来...

    hadoop学习总结1-5

    作为Hadoop 2.x版本引入的重要更新,YARN改进了资源管理,将原本由NameNode负责的作业调度和资源管理职责分离,提高了系统的整体性能和可扩展性。 6. **Hadoop安装与配置**: 学习Hadoop通常会涉及到本地环境的...

    IT面试-Hadoop总结-云计算

    IT面试-Hadoop总结-云计算 Hadoop是当前最流行的云计算技术之一,它是一种分布式的计算模型,包含了分布式文件系统HDFS和计算模型MapReduce。 一、Hadoop基础知识 1. MapReduce大致流程:MapReduce是Hadoop的核心...

    hadoop各版本的eclipse插件

    Hadoop是一款开源的大数据处理框架,它...根据具体的Hadoop版本选择合适的插件,并正确安装和配置,是成功开发Hadoop应用的关键步骤。对于初学者来说,理解插件的功能和使用方法,将有助于更好地融入Hadoop开发的世界。

    Hadoop集群搭建总结

    - **YARN (Yet Another Resource Negotiator)**:随着Hadoop版本的发展,2.0版本引入了YARN作为资源管理和任务调度的统一框架,它取代了原有的JobTracker的角色,实现了计算资源的更高效分配。 #### 三、Hadoop集群...

    Hadoop总结资料Hadoop1.0.3

    【Hadoop总结资料Hadoop1.0.3】 Hadoop是一个开源的分布式计算框架,主要由Apache基金会维护。Hadoop1.0.3是该框架的一个早期版本,它包括了Hadoop的核心组件如HDFS(Hadoop Distributed File System)和MapReduce...

    hadoop hive入门学习总结

    以下是对Hadoop Hive入门学习的详细总结: ### 1. Hive 安装与部署 #### 1.1 环境需求 在开始Hive的安装之前,确保你已经具备了以下基础环境: - **JDK 1.6** 或更高版本:Hive依赖Java运行环境,所以首先需要安装...

    在ubuntu上搭建hadoop总结

    访问Apache官网下载Hadoop的最新稳定版本,例如Hadoop 2.x系列。下载后解压到指定目录,例如 `/usr/local/hadoop`。 **步骤3:配置Hadoop** 编辑`etc/hadoop/hadoop-env.sh`,设置`JAVA_HOME`指向Java安装路径。...

    hadoop-2.4.1版本大数据

    总结,Hadoop 2.4.1在大数据处理领域扮演着关键角色,通过单机模拟分布式环境,开发者和学习者能够更好地理解和掌握其工作原理,从而利用Hadoop解决实际的大数据问题。随着技术的不断发展,Hadoop将持续优化,为...

    Hadoop期末考试题总结.doc

    "Hadoop期末考试题总结" 本资源摘要信息主要介绍了Hadoop的相关知识点,涵盖了Hadoop的版本、4V特征、大数据存储、HDFS、MapReduce、SecondaryNameNode、Hadoop shell命令、集群管理工具等方面。 1. Hadoop的最高...

    Hadoop学习总结之五:Hadoop的运行痕迹

    - 位于`/var/log/hadoop/hadoop-jobtracker-namenode.out` (具体路径可能因版本而异) - 记录了Map-Reduce作业的执行情况 ##### 2. 使用Hadoop命令行工具 - **查看HDFS状态**: - `hadoop fs -ls /`: 查看HDFS根...

    hadoop-2.7.4编译版本

    总结来说,Hadoop 2.7.4是针对Linux环境优化的分布式计算框架,预编译版本便于快速部署。它支持Snappy压缩,提升了数据处理效率,并具备一系列高级特性如YARN、HA和Federation,以满足大规模数据处理的需求。了解和...

    spark-3.2.1 不集成hadoop安装包

    4. **测试兼容性**:确保所使用的Hadoop版本与Spark 3.2.1兼容,因为不同版本间可能存在API或行为的差异。 在大数据处理场景中,这种不集成Hadoop的Spark版本灵活性更高,但同时也增加了配置和维护的复杂性。对于...

    hadoop插件.zip 2.71 ,2.9.0 2.10.1

    总结来说,“hadoop插件.zip”是针对Eclipse开发环境的一组Hadoop兼容插件,覆盖了多个Hadoop版本,它提供了丰富的功能来支持Hadoop项目的开发、调试和管理,让大数据开发变得更加便捷和高效。在使用时,应根据实际...

    Hadoop2.6.0版本windows环境搭建

    总结,搭建Hadoop2.6.0在Windows环境下的过程涉及多个步骤,包括下载、解压、配置环境变量、修改配置文件、启动服务以及验证安装。此外,对于开发者而言,集成Hadoop-eclipse插件能提高开发效率。理解并掌握这些步骤...

    windows环境下的hadoop3.1.0依赖,winutils

    2. 下载WinUtils的对应Hadoop版本(同样是3.1.0),并将其放在Hadoop目录下的bin子目录,即`C:\hadoop\hadoop-3.1.0\bin`。 3. 设置环境变量,包括HADOOP_HOME和PATH。在系统环境变量中添加`C:\hadoop\hadoop-3.1.0`...

    hadoop-eclipse-plugin-2.6.0.jar.zip_2.6.0_hadoop_hadoop plugin

    1. **版本匹配**:确保插件版本与所使用的Hadoop版本兼容,以避免可能出现的问题。 2. **日志查看**:利用Eclipse的输出视图跟踪作业的运行状态和日志信息,帮助诊断问题。 3. **优化调试**:在调试时,可以设置...

Global site tag (gtag.js) - Google Analytics