hadoop学习4---hadoop集群2

 

1、SSH安装

 

1,设置ssh无密码登录

~# ssh-keygen
输入上面的命令后一路回车即可。
2,拷贝生成的密码文件,默认生成的密码文件在用户名目录下的.ssh目录下
~#　cd ~/.ssh
~#　cp id_rsa.pub authorized_keys
3、测试是否可以无密码登录
~#　ssh localhost
~#  who

 

 

2、JDK安装

 

1、在usr/下建立java目录，将Jjdk-6u31-linux-i586.bin复制到"usr/java"目录

 

2、修改jdk-6u31-linux-i586.bin权限

 

chmod 755 jdk-6u31-linux-i586.bin

 

3、安装jdk-6u31-linux-i586.bin

 

./jdk-6u31-linux-i586.bin

 

4、删除安装文件jdk-6u31-linux-i586.bin

 

rm -rf jdk-6u31-linux-i586.bin

 

5、安装完成后配置环境变量

 

在“/etc/profile”文件的尾部添加以下内容

 

export JAVA_HOME=/usr/java/jdk1.6.0_31/

export JRE_HOME=/usr/java/jdk1.6.0_31/jre

export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib

export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin 

 

 

使配置生效

source /etc/profile

 

然后输入

 

java -version 

验证JAVA是否安装成功。

 

 

三、安装HADOOP

 

1、在usr下建立hadoop目录，将hadoop1.0.tar上传到hadoop目录

 

2、修改hadoop权限

 

chmod 755 hadoop1.0.tar

 

3、解压安装

 

tar -zxvf hadoop1.0.tar

 

4、删除原文件hadoop1.0tar

 

rm -rf hadoop1.0.tar

 

5、配置hadoop

 

配置“/etc/profile”

 

在profile的文件尾添加如下文件

 

export HADOOP_HOME=/usr/hadoop

export PATH=$PATH :$HADOOP_HOME/bin 

 

保存并执行下面的命令

source /etc/profile

 

配置hadoop配置文件

 

1）配置hadoop-env.sh 

该“hadoop-env.sh”文件位于“/usr/hadoop/conf”目录下。

在文件的末尾添加下面内容。

# set java environment

export JAVA_HOME=/usr/java/jdk1.6.0_31 

 

2）配置core-site.xml文件

<configuration>

<property>

<name>hadoop.tmp.dir</name>

<value>/usr/hadoop/tmp</value>

（备注：请先在/usr/hadoop 目录下建立tmp 文件夹）

  <description>A base for other temporary directories.</description>

</property>

<!-- file system properties -->

<property>

<name>fs.default.name</name>

<value>hdfs://192.168.1.2:9000</value>

</property>

</configuration>

 

3）配置hdfs-site.xml文件

<configuration> 

<property>

<name>dfs.replication</name>

<value>1</value>

(备注：replication 是数据副本数量，默认为3，salve少于3台就会报错)

</property>

<configuration>

 

4）配置mapred-site.xml文件

<configuration>

<property>

<name>mapred.job.tracker</name>

<value>http://192.168.1.2:9001</value>

</property>

</configuration> 

 

5）配置masters文件

修改localhost为Master.Hadoop

 

6）配置slaves文件（Master主机特有）

去掉“localhost”，每行只添加一个主机名，把剩余的Slave主机名都填上。

例如下面的形式

Slave1.Hadoop

Slave2.Hadoop

Slave3.Hadoop 

 

 

四启动hadoop

 

1）格式化HDFS文件系统

 

hadoop namenode -format

 

2）启动hadoop

在启动的时候关闭所有防火墙

 

service iptables stop

 

使用下面的命令启动

 

./start-all.sh

 

查看是否启动成功

jps

 

可以通过以下启动日志看出，首先启动namenode 接着启动datanode1，datanode2，…，

然后启动secondarynamenode。再启动jobtracker，然后启动tasktracker1，tasktracker2，…

 

通过网页查看

1）访问“http:192.168.1.2:50030”

2）访问“http:192.168.1.2:50070”