使用3个节点来部署完全分布式集群

介绍了Hadoop基于单机模式下的伪分布式的部署，那么今天我们来看下Hadoop完全分布式的部署，其实只要伪分布式部署的会了，那么完全分布式的相对来说就很简单了，只要我们在一台机器上部署好，然后远程拷贝给其他的子节点就可以了。

散仙用的是Centos6.4的版本，hadoop1.2.1的版本，其他的一些linux系统都是大同小异，关于SSH的配置及一些准备工作,在这里就不多说了，不会的可以参照散仙的上两篇博客进行配置
下面进入正题，散仙总共使用3个节点来部署完全分布式集群，下面是机器的ip地址，以及机器名

 

 

 

IP地址

节点名

10.2.143.5

Master

10.2.143.36

Slave

10.2.143.37

Slave2

 

我们只在Master节点上配置，然后拷贝给其他节点，下面是master的详细配置。
1，首先，我们需要配置的是在conf文件夹下找到hadood-env.sh这个文件，然后使用命令vi  hadood-env.sh编辑此文件并取消注释的JAVA HOME，然后配上我们自己的的JDK路径，截图如下

,

2，第二我们需要配置的是conf下的core.site.xml这个文件
,添加
<property>
<name>fs.default.name</name>
<value>hdfs://10.2.143.5:9000</value>
</property>
截图如下：



3，第三我们需要配置的是hdfs.site.xml这个文件，因为散仙机器的有2个Slave，所以
节点数写2就可以了，注意默认是3
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
截图如下


4，第四我们需要配置conf下的mapred-site.xml文件
<property>
<name>mapred.job.tracker</name>
<value>10.2.143.5:9001</value>
</property>
截图如下：


5，第五我们需要配置conf下的master文件，直接把主节点的IP，加入其中即可，截图如下：


6，第六我们需要配置conf下的slave文件，直接把子节点的IP，加入其中即可，截图如下：


配置完成之后，我们在主节点上，执行bin/hadoop namenode -format 进行格式化，格式化完毕之后，就可以通过scp进行远程拷贝到子节点了，截图如下：


然后就可以在master节点上，执行启动命令了，
bin/start-all.sh,启动成功之后，可以使用jps命令在各个节点上，查看端口情况。
截图如下：




最后，我们执行service iptables stop命令关闭，各个节点上的防火墙，就可以在Win下访问50030,以及50070端口查看web页面了，截图如下：




注意一点，如果这个Browse the filesystem这个链接不能正常使用，截图如下


需要配置在win上的C:\Windows\System32\drivers\etc下面的hosts文件，linux则不需要，添加内容和linux上的master节点的hosts文件的内容一致即可，截图如下：

然后，我们就可以打开此链接了，截图如下：


至此，我们的完全分布式集群部署，已经搭建完毕，停掉集群的命令是bin/stop-all.sh。我们可以上传几个文件做个测试，散仙的配置默认会有2个副本，在这里就不给出具体的操作了，后面的博客，会介绍一下管理操作hadoop的几种shell。写了这么长，配了这么多图，其实只要操作熟练，5分钟之内，就可以搭建完毕，当然前提是我们环境搭建已经很熟练了。