在SuSE集群上安装配置HDFS 收藏 在SuSE集群上安装配置HDFS

公告：

• 技术盛宴SD2.0大会隆重开幕,现场图文直播，敬请关注！

[意见反馈] [官方博客]

在SuSE集群上安装配置HDFS 收藏

1 、环境准备

需要环境：

PC-1 Suse Linux 9 10.192.1.1

PC-2 Suse Linux 9 10.192.1.2

PC-3 Suse Linux 9 10.192.1.3

PC-4 Suse Linux 9 10.192.1.4

其中， PC-1 做 namenode 节点， PC-2 、 PC-3 和 PC-4 做 datanode 节点。

2 、安装包准备

需要安装包：

jdk-6u16-linux-i586-rpm.bin

hadoop-0.20.1.tar.gz （ stable 版本）

3 、安装步骤

3.1 操作系统配置

（ 1 ）新建用户。在 HDFS 文件系统中的每个节点（包括 namenode 节点和 datanode 节点）上，新建 hdfs 用户，并保证 hdfs 用户的当前目录一致。

（ 2 ） HDFS 中的节点配置

在 root 用户中输入命令 yast ，使用 yast 工具。 Network Devices — >Network Card

— >Already configured devices — >Change — >Edit — >Host name and name server 。

1 ， namenode 节点。 hostname 修改为“ namenode ”， domian name 修改为“ hdfs ”；

2 ， datanode 节点。 hostname 修改为“ datanodeXXX ”， domian name 修改为“ hdfs ”，其中“ XXX ”最好为该节点 IP 地址中的第四个数字。

（ 3 ） HDFS 中的节点添加通讯对方主机名

1 ， namenode 节点。在 /etc/hosts/ 文件中添加所有 datanode 节点的 IP/Hostname 对，如

10.129.126.205 datanode205.hdfs datanode205

2 ， datanode 节点。在所有 datanode 节点中的 /etc/hosts/ 文件中添加所有 namenode 节点的 IP/Hostname 对，如 10.129.126.203 namenode.hdfs namenode

（ 4 ） Windows 访问端配置

a) 参照 namenode 节点中的 hosts 文件的配置，在 windows 的 hosts 文件中添加 namenode 节点和 datanoe 节点的 IP/Hostname 对。

b) 在 IE 浏览器不使用代理列表中，添加“ *.hdfs ”。

3.2 安装 JDK

Hadoop 是基于 JDK1.6 编写的，为了运行 HDFS 文件系统，同时也为了后续的开发，需要安装 JDK1.6 。

（ 1 ）切换到 root 用户，并将安装包拷贝至 /usr/local/ 目录， chmod 755 使 root 用户获得执行安装包的权限。

（ 2 ）执行 sh jdk-6u16-linux-i586-rpm.bin 开始安装，接下来出现安装协议阅读界面。按“ q ”退出阅读，接着输入“ y ”表示统一安装协议，开始安装直到结束。

（ 3 ）配置 JAVA 环境在 /etc/profile 文件尾添加三项 ：

export JAVA_HOME=/usr/java/jdk1.6.0_16

export CLASSPATH=/usr/java/jdk1.6.0_16/lib:/usr/java/jdk1.6.0_16/jre/lib:$CLASSPATH

export PATH=/usr/java/jdk1.6.0_16/bin:/usr/java/jdk1.6.0_16/jre/bin:$PATH

在 root 用户中， chmod 755 /etc/profile ，使普通用户获得对该文件的执行权限。在 hdfs 的登录会话中，执行“ . /etc/profile ”（ “ . ”与“ / ”之间有空格）使修改生效，使用 echo 命令确认这三项设置是否成功。

3.3 配置 SSH 服务

在 namenode 节点，使用 ssh 工具生成公钥 / 私钥对，并把公钥分发给 datanode 节点，可以实现 datanode 对来自 namenode 节点网络通讯请求的认证。

首先，在 namenode 节点生成公钥 / 私钥对 ：

（ 1 ）在 /home/hdfs/ 目录下新建“ .ssh ”目录。

（ 2 ）使用 DSA 算法生成公钥 / 私钥对。

$ssh-keygen -t dsa –P ’’

Generating public/private rsa key pair.

Enter file in which to save the key (/home/hdfs/.ssh/id_rsa): 按回车

Enter passphrase (empty for no passphrase): 输入 hdfs 登录密码

Enter same passphrase again: 再次输入 hdfs 登录密码

Your identification has been saved in /home/hdfs/.ssh/id_rsa.

Your public key has been saved in /home/hdfs/.ssh/id_rsa.pub.

The key fingerprint is:

9a :4f:a0:82:1d:f9:e3:31:17:46:b2:25:15:1a:52:56 hdfs@namenode

注：其中 id_dsa 存放了产生的私钥， id_dsa.pub 存放了公钥。

接着，分发 namenode 节点的公钥

将 namenode 节点 id_rsa.pub 文件中的内容复制到所有节点的 /home/h/.ssh/authorized_keys 文件中。

（ 1 ） namenode 节点。

1 ， authorized_keys 不存在。执行命令 cp id_rsa.pub authorized_keys 。

1 ， authorized_keys 存在。执行命令 cat id_rsa.pub >> authorized_keys 。

（ 2 ） datanode 节点。

在 namenode 节点中，对每一台 datanode 节点，执行命令 scp id_dsa.pub datanode205:/home/hdfs/.ssh/ 。在 datanode 节点，仿照 namenode 节点的处理方法，将 namenode 节点的公钥拷贝到 authorized_keys 文件中。

（ 3 ） ssh 验证。

在 namenode 节点执行 ssh datanode205. ，如果能不输入密码能登录到 datanode205 ，则说明安装成功。

3.4 安装 Hadoop

在 namenode 节点 中，将 hadoop-0.20.1.tar.gz ，解压到 /home/hdfs/ 目录下即可。

4 、配置说明

4.1 namenode 节点配置

在 namenode 节点的 conf 目录下。

（ 1 ） core-site.xml 文件配置。

配置临时文件夹目录。

<property>

<name>hadoop.tmp.dir</name>

<value>/home/hdfs/hadoop-datastore/hadoop-${user.name}</value>

<description>A base for other temporary directories.</description>

</property>

配置 HDFS 文件系统外部访问地址，即 namenode 节点 IP 以及访问端口号。

<property>

<name>fs.default.name</name>

<value>hdfs://10.129.126.203:54310</value>

</property>

（ 2 ） hdfs-site.xml 文件配置。

配置上传文件备份的份数，不能超过 datanode 节点个数，默认为 3 个。

<name>dfs.replication</name>

<value>3</value>

<description>Default block replication.

The actual number of replications can be specified when the file is created.

The default is used if replication is not specified in create time.

</description>

</property>

（ 3 ） masters 文件配置。

添加 namenode 节点在主机名“ namenode ”。

（ 4 ） slaves 文件配置。

添加所有 datanode 节点的主机名，每行配置一个。

datanode203

datanode204

datanode205

4.2 datanode 节点配置

在 namenode 节点，执行命令 scp -r hadoop-0.20.1/ datanode205:/home/hdfs/ ，将 namenode 节点的安装文件复制到每一个 datanode 节点。