CDH5和Cloudera Manager5对环境的要求

说明:

1.一下内容针对Cloudera 5.X 版本,

2.内容来源http://www.cloudera.com/documentation/enterprise/release-notes/topics/rn_consolidated_pcm.html#xd_583c10bfdbd326ba--5a52cca-1476e7473cd--7f8d

CDH与Cloudera Mananger之间的版本要求

1.CDH不支持比他版本低的CM

2.通常要求CM的版本大于等于CDH的版本

3.升级CDH时，请先升级CM

4.升级CDH和ClouderaManager时只能一个小版本一个小版本的升级

 

Cloudera对操作系统的要求

1.Cloudera不支持Docker容器安装

2.对于RHEL操作系统Cloudera只支持RHEL7.0向上版本的操作系统（不支持7.0）

3.Cloudera企业版本支持在SELinux平台上部署

4.Cloudera(非企业版本)不支持SELinux和Cloudera Navigator一起使用

5.Cloudera要求集群中安装的操作系统的版本一致。（虽然CDH运行集群上的OS可以小版本不一致，但是Cloudera推荐使用版本一致的操作系统，这样可以简化问题的排查）

6.在安装Cloudera时请对操作系统进行相关的升级和打补丁(在某些情况下Cloudera对特定的补丁程序有依赖关系)

7.Cloudera支持ext3,ext4和xfs的文件系统,但是如果将现有的ext3升级为ext4,Cloudera将不能安装在升级后的文件系统上，请在安装操作系统时直接将磁盘采用ext4格式进行格式化。

8.由于在linux系统上对文件进行访问操作时，系统会记录文件的访问日志，这意味着读操作中包含写操作，为了提高文件的读取速度，Cloudera推荐关闭这个功能

使用/etc/fstab下的mount选择关闭atime功能

 

Cloudera对数据库的要求

1.Cloudera Manager Server将Service的配置信息、Role的分配信息、相关历史配置信息、命令、用户等信息存储在数据库中，当重新启动进程时，将使用Cloudera Manager数据库中保存的数据重新部署每个服务的配置，所以必须为"Activity Monitor"和"Reports Manager Roles"指定数据库.

2.Cloudera对MariaDB、MySQL、SQLite、PostgreSQL、Oracle都有很好的支持，但是有如下注意点

1)相关数据库的版本和Cloudera中各组件版本的对应关系参考一下网址

http://www.cloudera.com/documentation/enterprise/release-notes/topics/rn_consolidated_pcm.html#cdh_cm_supported_db

2)数据库的字符集必须采用UTF-8格式

3)如果使用Mysql请不要启用GTID复制，否则CM将安装失败

4)如果使用Oracle请使用ojdbc6.jar，当前Cloudera还不支持ojdbc7.jar

 

Cloudera对JDK版本的要求

1)Cloudera要求相关组件依赖相同版本的JDK，不要各个组件使用不同版本的JDK

2)在默认情况下CM可以在安装和升级期间安装oracle JDK1.7.0_67

3)相关的JDK版本与Cloudera版本的对应关系见

http://www.cloudera.com/documentation/enterprise/release-notes/topics/rn_consolidated_pcm.html#pcm_jdk

 

Cloudera Manager对系统资源的要求

1.Cloudera Manager磁盘空间

Cloudera Manager Server都磁盘空间的要求

1)在/var下需要占用5G的空间

2)在/usr下需要占用500M的空间

3)如果使用parcels的安装方式，所占用的磁盘空间取决于下载的Cloudera Manager Server的版本数目（理论上Cloudera运行下载和安装不同版本的Parcles）

4)如果使用parcels方式安装，每个parcel包需要1.5G空间，解压这个包需要2G空间

Cloudera Manager Service对磁盘空间的要求

1)host Monitor和Service Monitor数据库存储在/var分区下，确保此分区下至少20G的空间可用

Agents

1)在agent的主机上，每个parcel的解压包大概需要ClouderaManager Server上存放parcel的3倍的磁盘空间

2)默认agent解压到/opt/cloudera/parcels目录中

2.Cloudear Manager对RAM内存的要求

1)如果使用oracle作为支持数据库那么至少需要4G的内存

2)如果不使用oracle作为支持数据库最少需要2G内存

3)如果使用2G内存，那么请修改/etc/default/cloudera-scm-server中的-Xmx跳转堆的大小，否则系统内核会杀死消耗太多RAM内存的进程

 

Cloudera对网络的要求

1.cloudera只支持IPV4,不支持IPV6

2.cloudera推荐禁用IPV6

3.Cloudera表示hadoop当前的架构已经与现代的网络基础架构和安全实际相结合，无需采用多宿主的架构

 

Cloudera对Python版本的要求

1.当前Cloudera不支持Python3.0;

2.Cloudera需要Pythone2.4向上版本

3.在CDH5中hue并且采用package方式进行安装需要Python2.6向上的版本

 

Cloudera中各个组件与CDH和Cloudera Manager的版本依赖关系请参考如下网址

http://www.cloudera.com/documentation/enterprise/release-notes/topics/rn_consolidated_pcm.html#xd_583c10bfdbd326ba--5a52cca-1476e7473cd--7f8d

 

 

评论

1 楼 明兜3号 2019-06-28  

Cloudera Manager视频教程
网盘地址：https://pan.baidu.com/s/1OYrrLlytzWvDJ4pZUOTJtQ 提取码: ev9d
备用地址（腾讯微云）：https://share.weiyun.com/5izjs5M 密码：kfpixg