云计算集群环境的搭建

前提条件：

1.首先要使得要配成集群环境的几台机器安装jdk

2.在每台机器上安装ssh

3.在每台机器上安装hadoop

 

 

在这个基础上，再来配置各机器之间的分布实现。

首先来说明一下：Linux系统下jdk的安装吧！

           因为要配置成集群环境，所以每台机器的jdk软件包的版本必须一致，当然，hadoop的jar包的版本也必须一致，不然，会出现意想不到的错误，我们组在配置时就犯了这个错误，还必须注意：每台机器jdk和hadoop解压后的文件夹也必须放到统一的目录下：jdk解压后放在/usr/local/java,hadoop解压后是放在/usr/local/hadoop中。

 大致分为一下几个步骤：

 

1.从网站上下载：jdk软件包。我们组用的是：

 

 2在/usr/local下建立java目录。

 

3.将jdk软件包复制到java目录中。

 

4.给jdk文件赋予权限，可以使得当前用户操作。

 

5.解压jdk软件包，进行安装。

 

     在终端输入：sudo ./jdk-6u30-linux-i586.bin

6.配置环境变量。

 

  sudo gedit /etc/profile

在这个文件中输入以下内容 ：

7.重启计算机，查看jdk是否安装成功。

 

在终端输入： java -version

 出现如上图所示：就表示：jdk已经安装成功。

 

 

 安装ssh:

在终端输入：

sudo apt-get install ssh

sudo apt-get install rsync

ssh-keygen -t rsa -P ' ' -f ~/.ssh/id_rsa

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

然后验证是否安装成功：

ssh localhost

出现如下图所示：就表示安装成功。

 

 

安装hadoop:

1.将hadoop软件包复制到/usr/local中

 

2.解压该hadoop软件包到当前路径下：

sudo tar xzf hadoop-0.20.203.tar.gz

 

3.为了方便起见：将其重命名。

mv hadoop-0.20.203 hadoop

 

4.必须将该文件夹的权限赋给当前登录用户。

为了集群的方便管理，我们还可以建立一个hadoop组和hadoop用户(hadoop用户是在hadoop组下的)。

sudo addgroup hadoop（建立hadoop组）

sudo adduser -ingroup hadoop hadoop(创建hadoop用户，并将该用户归到hadoop组中)

给hadoop用户添加权限

sudo gedit /etc/sudoers

在该文件的root All=(All) All的下一行添加：

hadoop All=(All) All
以上表示：每台机器的准备工作已经做好。

 

 

再从这些机器中选取一台作为namenode节点.

1.必须使namenode能够无密码登录到其他的datanode节点。所以，要将namenode的公钥发送给其他datanode节点。在 namenode的终端输入：scp ~/.ssh/id_rsa.pub hadoop@机器名 ~/.ssh/authorized_keys

其原理就是：当namenode要无密码登录到其他datanode节点后，datanode就可以用namenode的公钥进行解密，从而之间可以进行通信。

2.配置hadoop环境

在集群中的每台机器的hostst文件将集群中所有机器的ip加入进来，由于ip太长，我们可以给ip做个映射，即：ip  机器名

 在 namenode机器上的/usr/local/hadoop/conf的目录下新建masters和slaves文件。masters文件里将 secondarynode的机器名添加进去，masters文件里表明的是这个集群中谁作为备份节点。然后在slaves里面添加：所有 datanode的机器名。这个slaves和masters文件只需在namenode机器上创建。slaves文件里的内容代表：当namenode 启动时：可以自行也将其他datanode也启动。

然后配置：/usr/local/hadoop/conf/core-site.xml，将如下内容添加进去。

<configuration>
<property>  
  <name>fs.default.name</name>  
  <value>hdfs://master:9000</value>   
 </property>  
</configuration>

然后在配置:/usr/local/hadoop/conf/hdfs-site.xml,将一下内容添加进去。

<configuration>
<property>
<name>dfs.name.dir</name>
<value>/usr/local/hadoop/datalog1,/usr/local/hadoop/datalog2</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/usr/local/hadoop/data1,/usr/local/hadoop/data2</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

在配置：/usr/local/hadoop/conf/mapred-site.xml,将以下内容添加进去 。

<configuration>  
     <property>   
      <name>mapred.job.tracker</name>  
      <value>master:9001</value>   
     </property>  
    </configuration>

 
然后，再将namenode的这个三个配置文件全部复制到其他datanode上去。
这样，集群环境就已经配置成功！
启动namenode节点。
在namenode结点的终端输入：sudo bin/hadoop namenode -format
                       bin/start-all.sh
停止hadoop进程。
  bin/stop-all.sh
查看集群中有几个datanode,
bin/dfsadmin -report

 

 

感悟：由于这个集群环境是过年之前配置的，当时没有写文档，而且配置过程中遇到过很多问题，没有记录，导致现在重新回想这个过程，感觉很吃力。虽然集群配置环境只有这么几个步骤，但是，每一步配置的时候，会遇到各种问题。所以，各位在配置这个环境时，如遇到问题，请及时记录，以便以后好好研究。