Cloudera Manager 离线安装教程

前言

以前部署hadoop集群,一直使用cloudera提供的tarball部署安装,今天尝试使用CM在新机器部署hadoop,因为使用它使用起来简单方便,并且提供了一系列的监控功能.但由于CM的安装是要联网的,而且cloudera还在中国没有源,所以安装过程非常的慢,而且失败率很高(网络不好的同学相信很有体会).所以自己摸索着搭建一个本地源,用于CM的安装.记录如下

 

 

环境:

品牌机PC6台,4核/11G内存/400G硬盘,Centos6.4.

一台能联网的PC,作用:下载数据包,搭建源环境.

机器host如下,其中232用作源服务器,不作为集群机使用.由于233机器出了问题,所以只能装6台,

 

  

 准备:

1.CM的安装必须使用root帐户,并且要关闭SElinux和防火墙

关闭SELinux的方法：
　　修改/etc/selinux/config文件中的SELINUX="" 为 disabled ，然后重启。

关闭防火墙:

       /sbin/service iptables stop

 

cloudera manager server 依赖的包 postgresql-server,postgresql,postgresql-libs

每个agent依赖的包fuse-libs,fuse,redhat-lsb

这些依赖必须先装上.可使用rpm -qa 包名 查看是否已安装.

 

2.下载文件

1.首先下载安装CM的bin文件,下载地址

http://archive.cloudera.com/cm4/installer/latest/cloudera-manager-installer.bin

 

2.下载cloudera-manager依赖的rpm文件

不同的操作系统对应不同rpm文件,Centos6对应的下载地址是

http://archive.cloudera.com/cm4/redhat/6/x86_64/cm/4.8.0/

 

建议使用linux 的wget下载,可以把以上整个目录和目录包含的文件一次性下载.

wget -r --no-parent http://archive.cloudera.com/cm4/redhat/6/x86_64/cm/4/

-r表示递归下载, --no-parent表示不下载父目录文件

 

3.下载Hadoop集群所需要的rpm包      

CM4整个安装过程,依赖4个组件,分别是manager,cdh4,impala和solr,所以需要把这4个组件所依赖的rpm包都下载,

不同的操作系统对应不同rpm文件,所以需要根据自己的操作系统选择对应的下载目录.

cdh4对应的下载地址: http://archive.cloudera.com/cdh4/redhat/6/x86_64/cdh/4/

impala对应的下载地址: http://archive.cloudera.com/impala/redhat/6/x86_64/impala/1/

solr对应的下载地址: http://archive.cloudera.com/search/redhat/6/x86_64/search/1/

(manager相关rpm包在上一步已下载)

 

建议以上文件都使用wget方法下载(下载过程会比较漫长…)

 

下载方法:

如我下载的文件放在/data1/CDH目录下,对应先建立4个文件夹cdh4,impala,manager和solr

  

如下载manager,先进入manager目录

cd  manager

wget -r --no-parent http://archive.cloudera.com/cm4/redhat/6/x86_64/cm/4/

 

 

下载后manager的目录结构如下:

 

其它三个文件组件使用同样的下载方法

 

4.部署http服务.

在232机器上安装http服务

yum install httpd  (如不能使用yum,可使用安装包安装)

安装完成后启动httpd服务

/sbin/service httpd start

在浏览器访问http:// 10.108.74.232 可看到带有apache图标的页面则安装成功

在/var/www/html 目录上建立软连接,分别连向下载好的rpm包目录.

 

cd /var/www/html

mkdir cm4

ln –s /data1/CDH/manager/archive.cloudera.com/cm4/redhat/ ./cm4

 

mkdir cdh4

ln –s /data1/CDH/cdh4/archive.cloudera.com/cdh4/redhat/ ./cdh4

 

mkdir impala

ln –s /data1/CDH/impala/archive.cloudera.com/impala/redhat/ ./ impala

 

mkdir search

ln –s /data1/CDH/solr/archive.cloudera.com/search/redhat/ ./ search

 

这样源服务器就搭建好了.

 

 

 开始安装:

环境已经搭建完成.可以开始安装

选择集群中其中一台机器安装manager server.我选择了235

执行bin文件安装

./ cloudera-manager-installer.bin

  

 

 一路Next,所有组件都是几秒内安装完成^ ^

 
 

 

 

至此,manager服务已经安装成功.浏览器访问http://10.108.74.235:7180,打开登录页面,用户名密码都是admin/admin

 

 

 

 

 

 

 

 


 一路安装至完成.^^