Cloudera Manager 装配小型Hadoop集群

Cloudera Manager 安装小型Hadoop集群

Cloudera提供了几种安装方法，具体可以参见Cloudera文档。这里我介绍的方法是用Cloudera Manager来安装。Cloudera Manager提供三种选项，区别可见Cloudera文档：

• Free edition
• 60 Days trial of enterprise edition, 60天以后自动切换为free edition
• Enterprise edition

环境：

• OS X Mountain Lion
• VMWare Fusion
• Cent OS 6.2
• Cloudera Manager 4.5 , the latest version at present
• 安装三台虚拟机作为三个节点，都使用命令行界面，因为我的笔记本资源有限，使用图形界面太耗资源。

首先，利用VMWare安装一台命名为Base虚拟机，只安装最基本的软件，这里我安装了perl和openssh-clients，关闭iptables，SELinux。注意事项如下：

• 取消VMWare easy install，网卡使用Bridge模式。在启动界面，选择适合的内核再进入编辑模式，输入expert text，使用文本界面安装。安装过程中根据自己需要选择合适的CPU数量，内存大小。
• 安装完毕，现在需要设置Cent OS。因为我们是用全文本模式安装，重启之后网卡还需要作一些设置才能启动。

  #vi /etc/resolve.conf
  search example.com
  nameserver 192.168.1.1

   

  #vi /etc/sysconfig/network
  NETWORKING=yes
  HOSTNAME=changelater.example.com
  GATEWAY=192.168.1.1

   

  #vi /etc/selinux/config
  SELINUX=disabled
  

   

  #chkconfig iptables off

   

  #vi /etc/sysconfig/network-scripts/ifcfg-eth0
  DEVICES=eth0
  ONBOOK=yes
  PROTO=static
  IPADDR=192.168.1.200
  NETMASK=255.255.255.0

   启动网卡：

  #/etc/init.d/network restart

   

  #yum -y perl openssh-clients

   然后安装VMWare-Tools，略过，网上教程一搜一把。

  #vi /etc/hosts
  
  192.168.1.201 n1.example.com n1
  192.168.1.202 n2.example.com n2
  192.168.1.203 n3.example.com n3

   

  #ssh-keygen 两次回车
  #cd .ssh
  #cp id_rsa authorized_keys
  #vi /etc/ssh/ssh_config
  StrictHostKeyChecking no
  

   

  yum update

   到此，base准备完毕。这个节点最好备份一下，将来稍作设置就可以作为新的节点加入集群。
• 用VMWare制作Base节点的三个拷贝，cdh4-1, cdh4-2, cdh4-3，这样就有了三个节点。
• 启动cdh4-1，cdh4-2，cdh4-3。并分别设置，这里我以cdh4-1为例。

  #vi /etc/sysconfig/network
  HOSTNAME=n1.example.com

   

  #cd /etc/sysconfig/network-scripts
  #mv ifcfg-eth0 ifcfg-eth1
  #vi ifcfg-eth1
  IPADDR=192.168.1.201

   

  #/etc/init.d/network restart
  #init 6