Cloudera 局域网安装部署

集群部署在局域网内部，与外网隔离开来。

第一步，下载安装包和相关文件。
   其实 cloudera 就有一个 yum源，查看一下http://archive.cloudera.com/redhat/cdh/3/ ，yum源的结构就很清晰了。
  

wget -mc http://archive.cloudera.com/redhat/cdh/3/ 

   在当前文件夹下就有一个archive.cloudera.com的文件夹。
  
第二步，配置本地源。
  

mkdir /var/www/html/cloudera-hadoop 
   cp -r archive.cloudera.com/redhat/cdh/3 /var/www/html/cloudera-hadoop

   这里是将对应的安装包和文件考到 web 目录下。
   注意这里需要使用的 httpd 服务，没开启服务的话，使用service httpd start开启，没有apache软件的话，使用 sudo yum install apache安装。

这里补充一点，其实不需要使用wget -mc全部下载，
只需要将repodata目录的全部，和需要使用的rpm包。按照原来的路径放置

第三步，集群yum配置
在集群的机器/etc/yum.repos.d/目录下，新建文件cloudera-cdh3.repo

[cloudera-cdh3]
name=Cloudera's Distribution for Hadoop, Version 3
baseurl=http://10.10.224.109/cloudera/3/ 
gpgcheck=0
enabled=1

第四步，准备
   安装jdk，需要使用1.6以上版本，而且必须是rpm包
   这里使用的是jdk-6u24-linux-amd64.rpm

如果不是jdk1.6以上版本，或者rpm包，就会报错

error: Failed dependencies:
    jdk >= 1.6 is needed by hadoop-0.20-0.20.2+320-1.noarch.rpm

第五步，安装cloudera
1.安装hadoop主文件
yum install hadoop-0.20
2.安装hadoop相关配置
yum install hadoop-0.20-<daemon type>
类型列表：

namenode

datanode

secondarynamenode

jobtracker

tasktracker

# yum install hadoop-0.20-sbin
# yum install hadoop-0.20-native

第六步，指定配置文件
1.显示出当前使用的配置文件

# alternatives --display hadoop-0.20-conf

hadoop-0.20-conf - 状态是自动。
链接目前指向 /etc/hadoop-0.20/conf.empty
/etc/hadoop-0.20/conf.empty - 优先度 10
当前“最佳”版本是 /etc/hadoop-0.20/conf.empty。

2.创建自己的配置文件

# cp -r /etc/hadoop-0.20/conf.empty /etc/hadoop-0.20/conf.my_cluster

3.设置使用自己的配置文件（优先度50）

# alternatives --install /etc/hadoop-0.20/conf hadoop-0.20-conf /etc/hadoop-0.20/conf.my_cluster 50

4.根据自己的习惯，调整优化配置文件

5.拷贝配置文件，到机器的所有机器
/etc/hadoop-0.20/conf.my_cluster

scp -rp master:/etc/hadoop-0.20/conf.my_cluster  /etc/hadoop-0.20/conf.my_cluster

6.在所有机器，添加alternative rules

# alternatives --install /etc/hadoop-0.20/conf hadoop-0.20-conf /etc/hadoop-0.20/conf.my_cluster 50

第七步，启动hadoop
1.格式化Namenode

$ sudo -u hdfs hadoop namenode -format

2.开机自动启动

$ sudo chkconfig hadoop-0.20-namenode on
$ sudo chkconfig hadoop-0.20-jobtracker on
$ sudo chkconfig hadoop-0.20-secondarynamenode on
$ sudo chkconfig hadoop-0.20-tasktracker on
$ sudo chkconfig hadoop-0.20-datanode on

3.手工启动

$ sudo service hadoop-0.20-namenode start
$ sudo service hadoop-0.20-jobtracker start
$ sudo service hadoop-0.20-secondarynamenode start
$ sudo service hadoop-0.20-tasktracker start
$ sudo service hadoop-0.20-datanode start

第七步，优化配置文件
1.创建dfs.name.dir目录

$ sudo mkdir -p /data/dfs/nn/1 /data/dfs/nn/2

2.创建dfs.data.dir目录

$ sudo mkdir -p /data/dfs/dn/1 /data/dfs/dn/2 /data/dfs/dn/3 /data/dfs/dn/4

3.创建mapred.local.dir目录

$ sudo mkdir -p /data/mapred/local/1 /data/mapred/local/2 /data/mapred/local/3 /data/mapred/local/4

4.修改dfs.name.dir 和 dfs.data.dir目录的user为hdfs

$ sudo chown -R hdfs:hadoop /data/dfs/nn/1 /data/dfs/nn/2 /data/dfs/dn/1 /data/dfs/dn/2 /data/dfs/dn/3 /data/dfs/dn/4

5.修改mapred.local.dir目录的user为 mapred:

$ sudo chown -R mapred:hadoop /data/mapred/local/1 /data/mapred/local/2 /data/mapred/local/3 /data/mapred/local/4

6.在HDFS上创建mapred.system.dir目录，user为mapred

$sudo -u hdfs hadoop fs -mkdir /mapred/system
$sudo -u hdfs hadoop fs -chown mapred /mapred/system

7．修改conf/hdfs-site.xml文件，添加dfs.name.dir 和dfs.data.dir

8.修改conf/mapred-site.xml文件，添加mapred.local.dir 和mapred.system.dir

目录最终的权限和user

Directory	Owner	Permissions (see Footnote 1)
dfs.name.dir	hdfs:hadoop	drwx------
dfs.data.dir	hdfs:hadoop	drwx------
mapred.local.dir	mapred:hadoop	drwxr-xr-x
mapred.system.dir	mapred:hadoop	(see Footnote 2)

测试
新建目录
sudo -u hdfs hadoop fs -mkdir input
sudo -u hdfs hadoop fs -put /etc/hadoop/conf/*.xml input
sudo -u hdfs hadoop fs -ls input

执行
sudo -u mapred hadoop-0.20 jar /usr/lib/hadoop-0.20/hadoop-*-examples.jar wordcount /user/mapred/input /user/mapred/output

评论

2 楼 heipark 2011-09-13  

这个不需要ssh无密码配置吗？

1 楼 heipark 2011-09-13  

兄弟我想问一下，使用cloudera的配置方式和hadoop默认的配置方式有什么优势吗？