node1-node6搭建hadoop

环境：

node1-node6

node1为主节点

hadoop0.20.2

 

node1-node6共享/home文件系统（NFS）

安装hadoop：（用户为cq）

安装jdk：

在/home/cq/jdk1.6.0_18(在一台上安装后6台共享)

 

ssh配置（在NFS上共享authorized_keys）：在用户cq的根目录下设置

[cq@node1 ~]$ ssh-keygen -t rsa -f .ssh/id_rsa
[cq@node1 ~]$ cat .ssh/id_rsa.pub >> .ssh/authorized_keys

 

ssh配置（没有NFS上共享authorized_keys时）：

现在node1用户cq的根目录下设置

[cq@node1 ~]$ ssh-keygen -t rsa -f .ssh/id_rsa

将node1上生成的 .ssh/id_rsa.pub拷贝到每一个节点，然后再每个节点上执行以下命令：
[cq@node1 ~]$ cat .ssh/id_rsa.pub >> .ssh/authorized_keys

 

hadoop安装在/cq/hadoop-0.20.2（6台分别安装，不共享）

 

配置环境变量：

修改/home/cq/.bashrc,内容如下

# User specific aliases and functions
export JAVA_HOME=/home/cq/jdk1.6.0_18
export HADOOP_HOME=/cq/hadoop-0.20.2
export HIVE_HOME=/cq/hive-0.6.0-bin
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HIVE_HOME/bin

 

source /home/cq/.bash

这里是修改用户cq的环境变量，不修改系统变量，一面影响到别人使用机器。