`
weitao1026
  • 浏览: 1047721 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

Cloudera的CDH和Apache的Hadoop的区别

 
阅读更多

目前而言,不收费的Hadoop版本主要有三个(均是国外厂商),分别是:Apache(最原始的版本,所有发行版均基于这个版本进行改进)、Cloudera版本(Cloudera’s Distribution Including Apache hadoop,简称CDH)、Hortonworks版本(Hortonworks Data Platform,简称“HDP”),对于国内而言,绝大多数选择CDH版本,CDH和Apache版本主要区别如下:

(1) CDH对Hadoop版本的划分非常清晰,只有两个系列的版本,分别是cdh3和cdh4,分别对应第一代Hadoop(Hadoop 1.0)和第二代Hadoop(Hadoop 2.0),相比而言,Apache版本则混乱得多;比Apache hadoop在兼容性,安全性,稳定性上有增强。

(2)CDH3版本是基于Apache  hadoop  0.20.2改进的,并融入了最新的patch,CDH4版本是基于Apache hadoop 2.X改进的,CDH总是并应用了最新Bug修复或者Feature的Patch,并比Apache hadoop同功能版本提早发布,更新速度比Apache官方快。

(3)安全 CDH支持Kerberos安全认证,apache hadoop则使用简陋的用户名匹配认证

(4)CDH文档清晰,很多采用Apache版本的用户都会阅读CDH提供的文档,包括安装文档、升级文档等。

(5)CDH支持Yum/Apt包,Tar包,RPM包,Cloudera Manager四种方式安装,Apache hadoop只支持Tar包安装。

注:CDH使用推荐的Yum/Apt包安装时,有以下几个好处:

1、联网安装、升级,非常方便

2、自动下载依赖软件包

3、Hadoop生态系统包自动匹配,不需要你寻找与当前Hadoop匹配的Hbase,Flume,Hive等软件,Yum/Apt会根据当前安装Hadoop版本自动寻找匹配版本的软件包,并保证兼容性。

4、自动创建相关目录并软链到合适的地方(如conf和logs等目录);自动创建hdfs, mapred用户,hdfs用户是HDFS的最高权限用户,mapred用户则负责mapreduce执行过程中相关目录的权限

分享到:
评论

相关推荐

    Cloudera CDH集群运维手册

    Cloudera CDH(Cloudera Distribution Including Apache Hadoop)是Cloudera公司提供的一款开源大数据平台,它包含了Hadoop生态系统中的多个组件,如HDFS、MapReduce、YARN、Hive、HBase等,为企业级大数据处理提供...

    Cloudera CDH大数据平台搭建参考手册

    CDH是Apache Hadoop和相关项目的最完整,经过测试的流行发行版。 CDH提供了Hadoop的核心元素 - 可扩展的存储和分布式计算 - 以及基于Web的用户界面和重要的企业功能。 CDH是Apache许可的开放源码,是唯一提供统一...

    cloudera CDH4 installation guide 4.0(pdf)

    CDH4(Cloudera's Distribution Including Apache Hadoop)是Cloudera公司提供的一款基于Apache Hadoop的发行版,它集成了众多大数据处理组件,如HDFS、MapReduce、Hive、Pig、HBase等,为企业级大数据分析提供了...

    CM5和CDH5 搭建Hadoop 集群

    而CDH5(Cloudera Distribution Including Apache Hadoop 5)是Cloudera的开源大数据平台,包含了多个Apache Hadoop组件,如HDFS、MapReduce、YARN、HBase等。 1. **项目介绍** - **项目定义**:CM5与CDH5的结合...

    Cloudera CDH 安装和配置文档

    为了便于系统管理员和Hadoop用户安装和管理Cloudera CDH,文档详细介绍了从机器规划到各组件的安装与配置过程。接下来,我将详细阐述这些知识点。 ### 第1章 系统概述 #### 1.1 机器规划 机器规划是实施Hadoop集群...

    基于Cloudera-CDH的安装说明文档

    它不仅提供了详细的步骤和指导,用于帮助用户在生产环境中高效地安装和配置Cloudera软件,包括Cloudera Manager、CDH(Cloudera Distribution Including Apache Hadoop)以及其他托管服务,还涵盖了从基础设置到高级...

    hadoop-2.6.0-cdh5.14.2.tar.gz

    CDH是由Cloudera公司提供的一个开源大数据平台,包含了多个Apache项目,如Hadoop、Hive、HBase等,为企业提供了一整套的大数据处理和分析解决方案。 Hadoop是分布式计算框架的核心组件,其主要由两个关键部分组成:...

    hadoop-2.6.0.tar.gz&hadoop-2.6.0-cdh5.16.2.tar.gz

    这里我们将深入探讨两个重要的Hadoop 2.6.0发行版——Apache版和Cloudera的CDH版。 Apache Hadoop 2.6.0是Hadoop生态系统中的一个里程碑,它在2.4.0的基础上进行了一系列优化,提升了系统的稳定性和可扩展性。在这...

    CDH安装手册.rar_cdH_hadoop_hadoop安装手册_大数据_安装部署

    CDH,全称Cloudera Distribution Including Apache Hadoop,是由Cloudera公司提供的一个开源大数据平台,它包含了多个Apache项目,如Hadoop、HBase、Spark等,为企业级用户提供了统一的数据管理与分析解决方案。...

    apache atlas2.1.0 整合CDH6.3.2编译安装包

    这个压缩包是针对CDH(Cloudera Distribution Including Apache Hadoop)6.3.2 版本进行整合编译的,CDH是一个广泛使用的Hadoop生态系统的企业级发行版。 CDH 6.3.2 包含了Hadoop生态系统中的多个组件,如HDFS、...

    Hadoop - Dell Apache Hadoop Solutions

    该解决方案基于Cloudera的Apache Hadoop发行版(CDH),这是一款全球领先的商业和非商业环境中使用的Hadoop发行版。CDH提供了将Hadoop应用于生产环境所需的全面路径,使企业能够利用Hadoop解决业务问题。 #### ...

    cloudera CDH4 quick start guide 4.0(pdf)

    Cloudera CDH4 快速入门指南是为那些希望快速上手并熟悉Cloudera Distribution Including Apache Hadoop (CDH4)的用户而设计的。此文档提供了安装、配置以及运行CDH4的基本步骤,特别适用于那些初次接触Hadoop生态...

    hadoop-2.6.0-cdh5.10.0.tar.gz

    这个版本的Hadoop由Cloudera公司作为CDH(Cloudera Distribution Including Apache Hadoop)的一部分进行打包和维护,CDH是一个企业级的大数据平台。 在Hadoop 2.x系列中,最重要的改进是引入了YARN(Yet Another ...

    基于cdh6.3.2 apache-atlas-2.1.0,完整编译打包

    CDH(Cloudera Distribution Including Apache Hadoop)是Cloudera公司提供的一个全面、集成且经过测试的大数据平台,它包含了多个Apache项目,如Hadoop、HBase、Spark等。CDH 6.3.2是Cloudera的一个特定版本,提供...

    hadoop-2.6.0-cdh5.14.0-with-centos6.9.tar.gz

    这个压缩包“hadoop-2.6.0-cdh5.14.0-with-centos6.9.tar.gz”是针对CDH(Cloudera Distribution Including Apache Hadoop)版本5.14.0的Hadoop 2.6.0安装包,特别优化以适应CentOS 6.9操作系统。在大数据领域,...

    hadoop-2.6.0-cdh5.7.0版本.zip

    这里的“hadoop-2.6.0-cdh5.7.0版本”指的是Cloudera的Hadoop发行版,CDH(Cloudera Distribution Including Apache Hadoop)5.7.0中的Hadoop组件为2.6.0版本。这个版本包含了Hadoop生态系统中的多个关键组件,如...

    cloudera-hive-cdh6.3.2源码包

    在 CDH(Cloudera Distribution Including Apache Hadoop)6.3.2 版本中,Hive 已经发展到了一个成熟的阶段,提供了更高效、稳定的数据处理能力。下面我们将对 `cloudera-hive-cdh6.3.2` 源码包中的关键组件和技术...

    Cloudera-Manager3安装步骤

    CDH(Cloudera Distribution Including Apache Hadoop)是Cloudera提供的一个开源大数据平台,包含多个Apache Hadoop组件的集成和优化版本。CDH3是CDH系列的一个早期版本。 在安装Cloudera Manager的过程中,有以下...

    impala依赖cdh版本的hadoop-hbase-hive相关jar包.zip

    在IT行业中,Impala、Hive和HBase是大数据处理领域的重要组件,它们与Hadoop紧密相连,构建了CDH(Cloudera Distribution Including Apache Hadoop)生态系统的一部分。本压缩包"impala依赖cdh版本的hadoop-hbase-...

    Hadoop 源码编译所需软件

    CDH(Cloudera Distribution Including Apache Hadoop)是Cloudera公司提供的一种预打包的Hadoop发行版,包含了多个相关的开源项目,旨在为企业提供一个完整的数据平台。本文将深入探讨在编译Hadoop CDH源码时所需的...

Global site tag (gtag.js) - Google Analytics