说明:
1.一下内容针对Cloudera 5.X 版本,
2.内容来源http://www.cloudera.com/documentation/enterprise/release-notes/topics/rn_consolidated_pcm.html#xd_583c10bfdbd326ba--5a52cca-1476e7473cd--7f8d
CDH与Cloudera Mananger之间的版本要求
1.CDH不支持比他版本低的CM
2.通常要求CM的版本大于等于CDH的版本
3.升级CDH时,请先升级CM
4.升级CDH和ClouderaManager时只能一个小版本一个小版本的升级
Cloudera对操作系统的要求
1.Cloudera不支持Docker容器安装
2.对于RHEL操作系统Cloudera只支持RHEL7.0向上版本的操作系统(不支持7.0)
3.Cloudera企业版本支持在SELinux平台上部署
4.Cloudera(非企业版本)不支持SELinux和Cloudera Navigator一起使用
5.Cloudera要求集群中安装的操作系统的版本一致。(虽然CDH运行集群上的OS可以小版本不一致,但是Cloudera推荐使用版本一致的操作系统,这样可以简化问题的排查)
6.在安装Cloudera时请对操作系统进行相关的升级和打补丁(在某些情况下Cloudera对特定的补丁程序有依赖关系)
7.Cloudera支持ext3,ext4和xfs的文件系统,但是如果将现有的ext3升级为ext4,Cloudera将不能安装在升级后的文件系统上,请在安装操作系统时直接将磁盘采用ext4格式进行格式化。
8.由于在linux系统上对文件进行访问操作时,系统会记录文件的访问日志,这意味着读操作中包含写操作,为了提高文件的读取速度,Cloudera推荐关闭这个功能
使用/etc/fstab下的mount选择关闭atime功能
Cloudera对数据库的要求
1.Cloudera Manager Server将Service的配置信息、Role的分配信息、相关历史配置信息、命令、用户等信息存储在数据库中,当重新启动进程时,将使用Cloudera Manager数据库中保存的数据重新部署每个服务的配置,所以必须为"Activity Monitor"和"Reports Manager Roles"指定数据库.
2.Cloudera对MariaDB、MySQL、SQLite、PostgreSQL、Oracle都有很好的支持,但是有如下注意点
1)相关数据库的版本和Cloudera中各组件版本的对应关系参考一下网址
http://www.cloudera.com/documentation/enterprise/release-notes/topics/rn_consolidated_pcm.html#cdh_cm_supported_db
2)数据库的字符集必须采用UTF-8格式
3)如果使用Mysql请不要启用GTID复制,否则CM将安装失败
4)如果使用Oracle请使用ojdbc6.jar,当前Cloudera还不支持ojdbc7.jar
Cloudera对JDK版本的要求
1)Cloudera要求相关组件依赖相同版本的JDK,不要各个组件使用不同版本的JDK
2)在默认情况下CM可以在安装和升级期间安装oracle JDK1.7.0_67
3)相关的JDK版本与Cloudera版本的对应关系见
http://www.cloudera.com/documentation/enterprise/release-notes/topics/rn_consolidated_pcm.html#pcm_jdk
Cloudera Manager对系统资源的要求
1.Cloudera Manager磁盘空间
Cloudera Manager Server都磁盘空间的要求
1)在/var下需要占用5G的空间
2)在/usr下需要占用500M的空间
3)如果使用parcels的安装方式,所占用的磁盘空间取决于下载的Cloudera Manager Server的版本数目(理论上Cloudera运行下载和安装不同版本的Parcles)
4)如果使用parcels方式安装,每个parcel包需要1.5G空间,解压这个包需要2G空间
Cloudera Manager Service对磁盘空间的要求
1)host Monitor和Service Monitor数据库存储在/var分区下,确保此分区下至少20G的空间可用
Agents
1)在agent的主机上,每个parcel的解压包大概需要ClouderaManager Server上存放parcel的3倍的磁盘空间
2)默认agent解压到/opt/cloudera/parcels目录中
2.Cloudear Manager对RAM内存的要求
1)如果使用oracle作为支持数据库那么至少需要4G的内存
2)如果不使用oracle作为支持数据库最少需要2G内存
3)如果使用2G内存,那么请修改/etc/default/cloudera-scm-server中的-Xmx跳转堆的大小,否则系统内核会杀死消耗太多RAM内存的进程
Cloudera对网络的要求
1.cloudera只支持IPV4,不支持IPV6
2.cloudera推荐禁用IPV6
3.Cloudera表示hadoop当前的架构已经与现代的网络基础架构和安全实际相结合,无需采用多宿主的架构
Cloudera对Python版本的要求
1.当前Cloudera不支持Python3.0;
2.Cloudera需要Pythone2.4向上版本
3.在CDH5中hue并且采用package方式进行安装需要Python2.6向上的版本
Cloudera中各个组件与CDH和Cloudera Manager的版本依赖关系请参考如下网址
http://www.cloudera.com/documentation/enterprise/release-notes/topics/rn_consolidated_pcm.html#xd_583c10bfdbd326ba--5a52cca-1476e7473cd--7f8d
相关推荐
1. **环境准备**:确保服务器满足CDP的硬件和软件要求,例如足够的内存、磁盘空间以及操作系统版本。 2. **软件安装**:首先安装Cloudera Manager Server 和 Agent,然后通过Cloudera Manager界面安装CDH软件包。 ...
### Ubuntu 完全分布式搭建 CDH 集群(Cloudera Manager) #### 搭建环境概述 本文档旨在详细介绍如何在 Ubuntu 14.04.3 系统下构建一个完整的 Cloudera Manager (CM) 管理的 CDH 集群。该集群将使用三台物理...
Cloudera Manager是一款基于大数据管理平台,用于管理Hadoop集群和CDH(Cloudera Distribution of Hadoop)集群。该手册详细介绍了Cloudera Manager的产品介绍、基本功能、监控功能等内容。 产品介绍 Cloudera ...
Cloudera Manager API v14 是用于管理 Cloudera Data Platform (CDP) 和其他 Cloudera 产品的强大工具。它允许管理员通过 API 调用来监控、管理和配置集群。本文将详细介绍 API 中的关键端点及其功能。 #### 二、...
本文将指导您在 CentOS 7 环境中离线安装 Cloudera Manager 6 和 CDH 6.3.1。整个安装过程可以分为多个步骤,包括环境准备、系统配置、Java 环境配置、SSH 无密码登录、MySQL 安装、Cloudera Manager 安装等。 一、...
Cloudera Manager是CDH(Cloudera Distribution Including Apache Hadoop)的重要组成部分,CDH是一个全面的数据管理平台,集成了各种Hadoop组件,如HDFS、MapReduce、HBase等。作为市场领先的管理平台,Cloudera ...
Cloudera Manager是一款高效的大数据集群管理工具,主要用于管理和监控CDH(Cloudera Distribution Including Apache Hadoop)环境。CDH是由Cloudera提供的开源大数据平台,包含了多种Apache Hadoop项目,如HDFS、...
*单用户模式是 Cloudera Manager 5.3 及更高版本提供的功能,可以满足某些环境对 root 账户的限制要求。 * 在单用户模式下,Cloudera Manager Agent 和所有由 Cloudera Manager 管理的进程都将以配置的用户和组启动...
Cloudera Manager是Cloudera公司提供的一套用于管理Apache Hadoop集群的软件,它简化了Hadoop集群的安装、部署和运维工作。Cloudera Manager使用C/S结构,包含一个Server端和若干Agent端。Server端负责集群的管理、...
1. 本手册仅适用于 Cloudera Manager 5 以及 CDH5 以上的版本 2. Cloudera Enterprise 的是通过 parcel 包的形式进行安装的 3. Cloudera Enterprise 安装是基于外部数据库的 4. 若是由 CDH 5.3 升级至 CDH 5.4,则...
Cloudera Manager6.2.1
cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm, cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm, cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm, cloudera-manager-server-db-2-6.3.1-...
本文是关于Cloudera Manager的中文手册,将详细介绍Cloudera Manager的版本、安装、配置、API、安全以及与Cloudera CDH的关系等内容。Cloudera Manager是Cloudera公司开发的一款用于简化Apache Hadoop集群管理的工具...
Cloudera Manager是CDH市场中领先的管理平台,由Cloudera公司开发,它是一个端到端的Apache Hadoop管理应用,提供了对CDH每个部件的细粒度可视化和控制功能。Cloudera Manager的目的是简化企业数据中心的管理,它...
Cloudera Manager是CDH市场领先的管理平台,作为业界第一的端到端Apache Hadoop的管理应用,Cloudera Manager对CDH的每个部件都提供了细粒度的可视化和控制,从而设立了企业部署的标准。通过Cloudera Manager,运维...
使用 Cloudera Manager API v32,开发者和管理员可以编写脚本或集成现有工具,实现对 Cloudera 集群的自动化管理,包括安装、配置、升级、监控和故障排查等。此外,通过 API,可以实现更高效的工作流程,例如自动...
Cloudera Manager日常运维手册是大数据集群管理员的必备指南,它提供了详细的操作指南和维护技巧,帮助管理员快速熟悉Cloudera Manager的使用和维护。 一、登录Cloudera Manager Cloudera Manager的登录过程非常...
适用于CDH最后的一个免费版本的CDH6.3.2,用于CDH的本地源搭建.这部分是Cloudera Manager部分
以上步骤是安装Cloudera Manager 3和CDH3的基础流程,实际操作中可能还需要根据网络环境、安全策略和具体需求进行适当的调整。在后续的使用中,Cloudera Manager允许管理员轻松地扩展集群,管理数据流动,优化资源...
grafana的cloudera manager插件,由于开源的grafana cdh插件在集成时会出现dateMath.parse is not a function问题,修复后可直接使用。本资源包是修复问题后的,可直接放到grafana plugins文件夹下,即可使用。