Cloudera-hadoop 离线安装

一.序言

     这里将介绍Cloudera-hadoop(CDH) 5.5.1的安装，简单布置

     我环境是：CentOS 6.5   mysql5.6   jdk1.7

     机器3台：hadoop1006,hadoop1007,hadoop1008

     主要是内存配置：主节点要求 最好10G ，如果你东西都装主节点。

     其他：已经打通ssh 免登陆，SELinux  防火墙等已经关闭。

     免登陆：

     生成：ssh-keygen -t rsa    一直回车结束

      拷贝：ssh-copy-id -i ~/.ssh/id_rsa.pub   hadoop1007@ip

 

     官方的3中方式：

     

http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/installation_installation.html#concept_qpf_2d2_2p_unique_1

 

    中文5.3 教程：

    

   http://www.cloudera.com/content/cloudera/zh-CN/documentation/core/v5-3-x/topics/cm_ag_upgrade_cm5.html

 

 

 

 

二.基本步骤：

    1.下载manager:  http://archive-primary.cloudera.com/cm5/cm/5/

        

由于我是CentOS6,下的
cloudera-manager-el6-cm5.5.1_x86_64.tar.gz 
如果是5就下载el5 
创建 /opt/cloudera-manager 和 /opt/cloudera 两个文件夹

解压到 /opt/cloudera-manager 下
tar -zxvf cloudera-manager-el6-cm5.5.1_x86_64.tar.gz  

 

 

 

   2.下载CDH,自动下载很慢：http://archive.cloudera.com/cdh5/parcels/5.5.1/

   

   CDH-5.5.1-1.cdh5.5.1.p0.11-el6.parcel
   CDH-5.5.1-1.cdh5.5.1.p0.11-el6.parcel.sha1   后缀改为.sha
   manifest.json

 

 

   3. 将上面3个文件全部移动到/opt/cloudera/parcel-repo 下

    

$ mv CDH-5.5.1-1.cdh5.5.1.p0.11-el6.parcel cloudera/parcel-repo/
$ mv CDH-5.5.1-1.cdh5.5.1.p0.11-el6.parcel.sha cloudera/parcel-repo/
$ mv manifest.json cloudera/parcel-repo/

   3.1  将/opt/cloudera  复制到其他节点上

   

   4.配置你主节点

   

$ vi /opt/cloudera-manager/cm-5.5.1/etc/cloudera-scm-agent/config.ini
#根据自己的配置
server_host=hadoop1006

 

 

   5.放置mysql 驱动

   

$ cp mysql-connector-java-5.1.32.jar  /opt/cloudera-manager/cm-5.5.1/share/cmf/lib

  

   6.数据库安装：

   如果有老版本，先卸载：yum remove mysql mysql-server mysql-libs compat-mysql51

   6.1 下载：yum install -y mysql-server mysql mysql-deve

   6.2  启动： service mysql start

   6.3  默认密码：sudo vi /root/.mysql_secret    默认看最新的

   6.4  登录重置密码：SET PASSWORD = PASSWORD('root');

   6.5  创建价格数据库，根据需要

          

#hive
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
#activity monitor
create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
#hue
create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci
#oozie数据库
create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci

   

 

  6.5 权限

  

# 不推荐用root
grant all on *.* to root@"%" Identified by "root";
或者
grant all on *.* TO 'hive'@'%' IDENTIFIED BY 'hive';

 

 

   7.给所有节点加上用户

    

sudo useradd --system --home=/opt/cloudera-manager/cm-5.5.1/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

 

   8.数据库初始化

/opt/cloudera-manager/cm-5.5.1/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -proot --scm-host localhost scm scm scm

 

   7.主节点启动服务，其他节点只用启动cloudera-scm-agent  就行了。

   

/opt/cloudera-manager/cm-5.5.1/etc/init.d/cloudera-scm-agent start
/opt/cloudera-manager/cm-5.5.1/etc/init.d/cloudera-scm-server start

 

   8.登录http://hadoop1006:7180/    admin/admin 安装 就行了

 

 

   9.我仅仅安了hdfs ,yarn,hive,hue,0ozie 其他的自行安装吧，配置大多是默认配置。可以将hue  0ozie 分到其他节点也行，方式主节点太重。

 

   过程中遇到

   1. 各种数据库连接失败什么的...基本都是权限 连接地址引起的，因此你的用户权限要给够

   

   2.import......libxslt.so.1 失败，下一个：yum install libxslt

  

   3.安装OK 之后，还有web 地址打不开，有些需要配置成0.0.0.0 端口。

      

   

 

 参考：

cdh 5.4.3 

http://gjggw123.blog.163.com/blog/static/1198917420157144458624/

 

5.14.2

https://blog.csdn.net/gtsina/article/details/78048925