hadoop集群环境的搭建

hadoop集群环境的搭建

 

此处所用hadoop版本为2.5.2 可以从官网上下载 然后解压

 

我是解压在了/usr/hadoop 下  (目录随自己习惯)

 

设备

 

192.168.159.31  NameNode

 

192.168.159.32  DataNode

 

192.168.159.33  DataNode

 

================================================================

 

第一步: 在hdfs-env.sh中 添加 JAVA_HOME

 

第二步:在yarn-env.sh中 添加 JAVA_HOME

 

第三步:vim core-site.xml   在<configuration></configuration>中添加 

 

<property>

<name>hadoop.tmp.dir</name>

<value>/usr/hadoop/tmp</value>

<description>Abase for other temporary directories.</description>

</property>

<property>

<name>fs.defaultFS</name>

<value>hdfs://192.168.159.31:9000</value>

</property>

<property>

<name>io.file.buffer.size</name>

<value>4096</value>

</property>

 

 

第四步:vim hdfs-site.xml    在<configuration></configuration>中添加 

 

<property>

<name>dfs.nameservices</name>

<value>hadoop-cluster1</value>

</property>

<property>

<name>dfs.namenode.secondary.http-address</name>

<value>192.168.159.31:50090</value>

</property>

<property>

<name>dfs.namenode.name.dir</name>

<value>file:///usr/hadoop/dfs/name</value>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>file:///usr/hadoop/dfs/data</value>

</property>

<property>

<name>dfs.replication</name>

<value>2</value>

</property>

<property>

<name>dfs.webhdfs.enabled</name>

<value>true</value>

</property>

 

 

第五步:vim marped-site.xml   在<configuration></configuration>中添加

 

 

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

<property>

<name>mapreduce.jobtracker.http.address</name>

<value>192.168.159.31:50030</value>

</property>

<property>

<name>mapreduce.jobhistory.address</name>

<value>192.168.159.31:10020</value>

</property>

<property>

<name>mapreduce.jobhistory.webapp.address</name>

<value>192.168.159.31:19888</value>

</property>

 

 

第六步:vim yarn-site.xml   在<configuration></configuration>中添加

 

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<property>

<name>yarn.resourcemanager.address</name>

<value>192.168.159.31:8032</value>

</property>

<property>

<name>yarn.resourcemanager.scheduler.address</name>

<value>192.168.159.31:8030</value>

</property>

<property>

<name>yarn.resourcemanager.resource-tracker.address</name>

<value>192.168.159.31:8031</value>

</property>

<property>

<name>yarn.resourcemanager.admin.address</name>

<value>192.168.159.31:8033</value>

</property>

<property>

<name>yarn.resourcemanager.webapp.address</name>

<value>192.168.159.31:8088</value>

</property>

 

 

第七步:vim slaves

192.168.159.32

192.168.159.33

 

 第八步:(此步骤需要在各个虚拟机上执行)

 

在每个虚拟机上  vim /etc/hosts    这样设置的后可以防止hdfs找不到主机

 

IP  主机名

 

比如在:  192.168.159.31虚拟机上:

 

192.168.159.31 node1

=====================================

注意:在启动之前,先设置好NameNode到 DataNode  ssh免密码 (很简单 网上都是答案,我不在介绍);防火墙关闭

 

第九步:

      把配置好的hadoop  scp到DataNode上即可

 

 

最后:在NameNode上

 

hadoop namenode -format (这个只是格式化下namenode的环境)

 

 

 

启动: sbin目录下 sh start-all.sh 

 

检验:

在NameNode上jps 可以得到类似于这样

 

3542 Jps

3291 ResourceManager

3063 NameNode

 

在DataNode上jps得到类似于

 

2134 NodeManager

2041 DataNode

2247 Jps

 

 

最后可以在页面上输入网址:http://192.168.159.31:50070

 

                                             http://192.168.159.31:8088

 

结束.