hadoop 2.x伪分布式环境搭建

1.linux环境准备

(1).设置静态IP

(2).设置主机名

操作：

hostname www.hyman.com

vi /etc/sysconfig/network

验证：

hostname

(3).绑定主机名

操作：

vi /etc/hosts

验证：

ping www.hyman.com

(4).关闭防火墙

操作：

service iptables stop

验证：

service iptables status

(5).关闭防火墙自启动

操作：

chkconfig iptables off

验证：

chkconfig --list | grep iptables

(6).设置ssh免密码登陆

操作：

ssh-keygen -t rsa

cp id_rsa.pub authorized_keys

验证：

ssh localhost

(7).安装jdk

操作：

cd /usr/local

tar -zxvf jdk-7u67-linux-x64.tar.gz

mv jdk1.7.0_67 jdk

vi /etc/profile

增加>

export JAVA_HOME=/usr/local/jdk

export PATH=$PATH:$JAVA_HOME/bin:.

验证：

java -version

 

2.hadoop2为分布式安装

 

(1).解压hadoop

操作：

cp /usr/local

tar -zxvf hadoop-2.5.2.tar.gz

mv hadoop-2.5.2 hadoop

验证：

 

(2).修改配置文件

操作：

cd $HADOOP_HOME/etc/hadoop

1>、hadoop-env.sh

export JAVA_HOME=/opt/modules/jdk1.6.0_45

 

2>、yarn-env.sh

export JAVA_HOME=/opt/modules/jdk1.6.0_45

 

3>、mapred-env.sh

export JAVA_HOME=/opt/modules/jdk1.6.0_45

 

4>、core-site.xml

<property> 

<name>fs.default.name</name>

<value>hdfs://hadoop-yarn.dragon.org:8020</value>

</property>

 

<property>

<name>hadoop.tmp.dir</name>

<value>/opt/modules/hadoop-2.2.0/data/tmp</value>

</property>

 

5>、hdfs-site.xml

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

 

6>、yarn-site.xml

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

 

7>、mapred-site.xml

<property>        

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

验证：

 

(3).namenode format

操作：

bin/hdfs namenode -format

验证：

 

(4).启动

操作：

sbin/start-dfs.sh

sbin/start-yarn.sh

验证：

jps

 

NameNode http服务地址：http://hostname:50070

ResourceManager http服务地址：http://hostname:8088