关于hadoop完全分布式集群搭建

由于毛毛多原因一直没机会跑一个完全分布式，上次由于网络不稳定失败后就一直没在搞过，想想还是做点笔记备忘下。

已经安装好hadoop环境下：

1、配置host文件，即确定各结点ip

2、配置ssh无密码登录

3、配置namenode，修改site

4、配置hadoop-env.sh文件，导入 jdk 就好

5、配置maste与slaves结点文件

6、一致hadoop，分别向各结点复制hadoop

7、格式化namenode

8、启动hadoop，用 jps 检测各进程是否运行成功

9、通过网络查看集群，端口50070查看 namenode 及整个分布式系统，50030查看 jobtracker。

 

纸上谈兵说下比较重要的几点：

1、ifconfig：查看及修改ip

2、第二步比较重要，成功与否关乎后续步骤的进行。

      首先产生公私密钥：ssh-keygen -t dsa -p ' ' -f ~/.ssh/id_dsa

      然后将公钥文件复制成authorized_keys：cat id_dsa.pub >> authorized_keys

      各个slaves结点要包含主结点公钥信息：scp ***@master:~/.ssh/id_dsa.pub  ./master_dsa.pub

      这里最好也对master结点也做上述操作，因为jobtracker有不存在master 结点上的可能。

3、配置master与slaves

      在 master 文件中输入主结点名，在 slaves 文件中输入各个从结点名

4、向各结点复制hadoop

      scp -r ./hadoop 各结点名:~

5、格式化namenode

      如单机模式，hadoop namenode -format

6、启动hadoop

      start-all.sh

最后或用 jps 检查或者通过网络端口都可以查看运行情况。

下星期来集群到位，可以好好玩一把啦~~

评论

2 楼 java-大神 2014-05-30  

嗯，会出现不少问题，但还是能解决的

1 楼 bewithme 2014-05-26  

看似简单，其实弄起来得折腾死你。