Hadoop HDFS——配置

设有3台机器，其中一台作为主机，即NameNode；另外2台为从机即DataNode（注：NameNode也可以作为DataNode）

NameNode，存储分布式分件属性、日志等，DataNode则是真正存储实际数据的。

 

各机器都是以root用户登录的（其他用户也可以）。

主机IP 192.168.1.32

从机IP 192.168.1.26

从机IP 192.168.1.27

 

• 配置ssh

主要是避免输入用户名，密码；可以google linux下ssh不输入密码既可。举例如下：

主机192.168.1.32 上，

ssh-keygen -t rsa

将生成的公钥id_rsa.pub，

将id_rsa.pub追加到从机的authorized_keys文件中。（默认目录放在用户的.ssh下， ~/.ssh）

从机：cat id_rsa.pub >> ~/.ssh/authorized_keys

 

这样配置的不是互信，是单向信任关系，即主机可以登录从机，如果要互信需要反向再重复上述过程。

 

 

在server端：

 

bin/hadoop fs -mkdir /a/hadoop

 

[root@localhost hadoop-1.0.3]# bin/hadoop fs -ls /a/
Found 2 items
drwxr-xr-x   - root supergroup          0 2012-12-29 20:04 /a/hadoop
-rw-r--r--   3 root supergroup      10525 2012-12-29 20:06 /a/ivy.xml

 

在客户端1：hadoop目录下

[root@localhost hadoop-1.0.3]# bin/hadoop fs -ls /
Found 1 items
drwxr-xr-x   - root supergroup          0 2012-12-29 20:06 /a

 

在客户端2：目录下

[root@locahost hadoop-1.0.3]# bin/hadoop fs -ls /
Found 1 items
drwxr-xr-x   - root supergroup          0 2012-12-29 20:06 /a

 

表明配置正常。