hadoop 2.8.3 集群搭建

因为公司项目需要，开始搭建hadoop的集群环境。在这个过程中，主要参考了 http://blog.csdn.net/pucao_cug/article/details/71698903。非常感谢此文的作者。

基本按照这个走下来是没有问题的。这里只是加一些注意事项。

平台：

JDK: 1.8.60

Hadoop: 2.8.3.

Centos 7 64 位： 3 个。

 

需要注意的点。

1. Centos7 里面的hosts 要配置好，否则到后面会导致datanode 无法连到namenode，组成不了cluster。

2. 在hadoop 集群搭建过程中，在做三个节点xml文件配置的时候，用的是同样的配置，有些人问是不是一样。三个节点里面resource manager 和 namenode 都是要用master 的名字。slave 文件里写的都是slave 的主机名。

 

 在发现datanode 连接不上namenode的时候，可以用一些命令来帮助查找问题。我用下面的命令来查看端口是不是可以看见的。

 

 同时，我用TCPing 这个tool 来从外部查看namenode 的某个端口是不是可以联通。