Hadoop2.2三节点安装手册

微信公众号：构建设计编程

 

-------------------------------------------------------------------------------

 

0 安装环境配置说明

Hadoop2.2安装在redhat6.8-64位服务器，256G内存，4路CPU。

 

1 安装环境配置说明

 

序号	主机名	用途	IP地址
1	hadoop1	1Hadoop的管理节点(namenode)，管理文件系统的元数据，为主节点，状态设置为active状态； 2 Hadoop的数据节点(datanode);	192.168.1.100
2	Hadoop2	1 Hadoop的管理节点(namenode)，管理文件系统的元数据，为副节点，状态设置为standby（和oracle中dataguard的副节点一样），若hadoop1坏掉，则将此节点激活; 2 Hadoop的数据节点(datanode);	192.168.1.101
3	Hadoop3	Hadoop的数据节点(datanode)	192.168.1.102

 

 

 

2准备安装环境

2.1 修改主机名

1运行setup，网络配置-》dns配置，注销录 （修改linux主机名方法很多，下面提供一种解决方法）

2 输入命令：hostname  hadoop1（修改主机名，在root下执行）

输入命令：hostname hadoop1

 

3 hostname查看主机名是否修改

输入命令：hostname

 

4将三台主机依次修改为hadoop1、hadoop2、hadoop3

 

 

2.2 修改host文件

1修改/etc/hosts文件

输入命令：vim /etc/hosts

127.0.0.1 localhost.localdomainlocalhost.localdomain localhost4  localhost4.localdomain4

::1 localhost.localdomain  localhost.localdomain  localhost6  localhost6.localdomain6

192.168.1.100  hadoop1

192.168.1.101  hadoop2

192.168.1.102  hadoop3

在hosts文件中增加红色字体内容，ip地址为事先规划好的ip地址，详细见“hadoop2.2三节点安装详细配置表”。

 

2  3台hadoop主机都需要进行1的方式修改hosts文件

 

 

2.4 设置java环境变量

说明：java与hadoop都安装在/opt路径下

 

1创建hadoop账户

输入命令：useradd haddoop

修改hadoop密码

输入命令修改hadoop用户密码:passwd hadoop

 

2        准备安装文件

1)将hadoop安装文件hadoop-2.2.0.tar.gz上传到/opt路径下

2)将jdk文件jdk-6u45-linux-x64.bin上次到/opt路径下

  

3授予jdk安装权限

chomod  +x  jdk-6u45-linux-x64.bin

 

4安装jdk文件

输入命令：cd  /opt 

输入命令：./ jdk-6u45-linux-x64.bin

安装后的路径为：/opt/jdk1.6.0_45

 

5配置java环境变量

切换到hadoop用户

输入命令：su  -  hadoop

输入命令：vim   .bashrc

在最后增加下面的代码

export JAVA_HOME=/opt/jdk1.6.0_45

export CLASSPATH=.:$JAVA_HOME/lib

export PATH=$JAVA_HOME/bin:$PATH

 

6使设置的环境变量生效

输入命令：source .bashrc

 

7查看是java环境是否设置成功

输入命令：java -version

显示：Java HotSpot(TM) 64-Bit Server VM (build 20.45-b01, mixed mode)

表示设置成功，如下图所示

 

 

3 Hadoop安装过程

注意：hadoop安装过程使用hadoop账户进行操作

3.1 设置三台主机互相授信

1在hadoop1主机上使用hadoop账户登录后输入命令：ssh-keygen

所有过程直接回车

 

命令执行后将在/home/hadoop路径下生成一个隐形目录.ssh，该目录下有以下几个文件：

1) authorized_keys 

2) id_rsa

3) id_rsa.pub

4) known_hosts

 

 

2制作授权文件

输入命令：cat id_rsa.pub>> authorized_keys

 

3在hadoop2主机上使用hadoop账户登录后输入命令：ssh-keygen

所有过程直接回车，同第一台主机hadoop1操作

 

4将主机hadoop1的/home/hadoop/.ssh目录下的文件authorized_keys拷贝至主机hadoop2的/home/hadoop/.ssh目录下

 

5在主机hadoop2上输入命令(进入/home/hadoop/.ssh目录下)：

catid_rsa.pub >> authorized_keys

 

6 在hadoop3主机上使用hadoop账户登录后输入命令：ssh-keygen

所有过程直接回车，同第一台主机hadoop1操作

 

7将主机hadoop2的/home/hadoop/.ssh目录下的文件authorized_keys拷贝至主机hadoop3的/home/hadoop/.ssh目录下

 

8在主机hadoop3上输入命令(进入/home/hadoop/.ssh目录下)：

catid_rsa.pub >> authorized_keys

 

9将主机hadoop3上/home/hadoop/.ssh目录下的authorized_keys文件拷贝至主机hadoop1和hadoop2的/home/hadoop/.ssh目录下，生成完的authorized_keys大约1K大小

 

10设置三台主机.ssh目录的权限为777

cd /home/hadoop/

chmod 700.ssh

 

11分别设置三台主机的authorized_keys的权限

cd /home/hadoop/.ssh

chmod  644  authorized_keys

 

12验证是三台主机是否建立信任

1)第1台hadoop1上验证，第一次验证的时候需要输入root密码，输入一次后即可存储，后面就不需要输入了

 

 

 

输入命令：ssh hadoop2

输入命令（跟上面一样操作）：ssh hadoop3

 

2)第2台hadoop2上验证，第一次验证的时候需要输入root密码，输入一次后即可存储，后面就不需要输入了

输入命令：ssh hadoop1

输入命令：ssh hadoop3

 

3)第3台hadoop3上验证，第一次验证的时候需要输入root密码，输入一次后即可存储，后面就不需要输入了

输入命令：ssh hadoop1

输入命令：ssh hadoop2

 

3.2 修改hadoop配置文件

1  hdfs-site.xml配置文件节点说明

 

 

 

2 hdfs-site.xml配置文件

<configuration>

<property><name>dfs.namenode.name.dir</name><value>/hadoop/namenode</value></property>

<property><name>dfs.datanode.data.dir</name><value>/hadoop/datanode</value></property>

<property><name>dfs.permissions</name><value>false</value></property>

<property><name>dfs.namenode.shared.edits.dir</name><value>/nameswap_nfs</value></property>

<property><name>dfs.nameservices</name><value>h2n</value></property>

<property><name>dfs.ha.namenodes.h2n712</name><value>n1,n2</value></property>

<property><name>dfs.namenode.rpc-address.h2n.n1</name><value>hadoop1:9000</value></property>

<property><name>dfs.namenode.http-address.h2n.n1</name><value>hadoop1:50070</value></property>

<property><name>dfs.namenode.rpc-address.h2n.n2</name><value>hadoop2:9000</value></property>

<property><name>dfs.namenode.http-address.h2n.n2</name><value>hadoop2:50070</value></property>

<property><name>dfs.replication</name><value>1</value></property>

<property>

<name>dfs.client.failover.proxy.provider.h2n</name>

<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>

</property>

<property><name>dfs.ha.fencing.methods</name><value>sshfence</value></property>

<property>

<name>dfs.ha.fencing.ssh.private-key-files</name><value>/home/hadoop/.ssh/id_rsa</value>

</property>

</configuration>

 

 

3core-site.xml配置文件

<configuration>

<property>

         <name>fs.defaultFS</name>

         <value>hdfs://h2n</value>

</property>

</configuration>

 

3 hadoop-env.sh配置文件

export JAVA_HOME=/usr/jdk/jdk1.6.0_35

如配置了JAVA_HOME，也可直接使用：

exportJAVA_HOME=${JAVA_HOME}

 

3.3 hadoop2.2安装（待续）

 

---------------------------------------------------------------------------------------------

 

微信公众号上有完整版本，请订阅微信公众号后查看

微信公众号：构建设计编程