hadoop1.2.1+hbase集群详解

        最近我由于工作原因，我要搭建一套hadoop+hbase集群的测试环境。

目前有三台服务器，我计划就在这三台服务器中搭建一套环境，多余的话不说，大家往下看吧。

 

一、搭建前的准备工作

 

       我有三台服务器，分别是192.168.1.97，192.168.1.98，192.168.1.99。

       那我如何来命名呢，97对应的是master，98对应的是slave1，99对应的是slave2，其中97作为namenode节点。

       我的hadoop采用的是1.2.1版本，hbase采用的是0.94.16。

 

二、搭建hadoop环境

 

        1、使用tar命令将压缩包解压，放到/usr/hadoop目录中。

       

tar -zxvf hadoop1.2.1.tar.gz

        同时将hadoop安装包通过scp命令发送到另外二台服务器中。

   

scp hadoop1.2.1.tar.gz  slave1:/usr/

       2、生成免签密钥

      

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

scp authorized_keys slaves1:~/.ssh/

scp authorized_keys slaves2:~/.ssh/

     使用以上命令生成密钥，并且复制到另外二台机器中。

 

     3、修改主机名和host

    

使用 vi /etc/sysconfig/network 
修改HOSTNAME=master
使用 vi /etc/hosts
添加 192.168.1.97 master

    同样的道理，配置在slave1和slave2机器里。

 

    4、修改core-site.xml文件

   

<configuration>   
        <!-- file system properties --> 
    <property> 
        <name>fs.default.name</name> 
        <value>hdfs://master:9000</value> 
    </property> 
    <property> 
        <name>fs.checkpoint.dir</name> 
        <value>/usr/hadoop_dir/dfs/namesecondary</value> 
    </property> 
</configuration>

 

    5、修改hdfs-site.xml

    

<configuration>
   <property>
      <name>dfs.replcation</name>
      <value>1</value>
   </property>
</configuration>

     这里面的value值，当服务器的数量大于三个的时候，建议配置成2以上，本例为了演示写成1，其实这个配置文件就是为了说明备份的数量。

 

     6、修改mapred-site.xml

    

<configuration> 
        <property> 
                <name>mapred.job.tracker</name> 
                <value>master:9001</value> 
        </property> 
</configuration>

 

      7、修改hadoop-env.sh

     在该文件中添加JAVA_HOME保存退出。如下所示，这个步骤必须要进行。

    

 

     8、修改slaves文件

    

     如果希望将namenode也作为datanode，那就写上三个。

 

     9、格式化文件系统

    

./hadoop  namenode -format

 

      10、启动hadoop

    

使用./start-all.sh启动

    如果在启动的时候报错，则要到logs目录中查看相应的日志。

   

 

仔细看图，要观察每一个节点是否显示出来，如果没有显示说明该节点存在问题。

 

      11、成功后显示如下界面：

     

 

三、搭建hbase环境

 

       1、修改hbase-site.xml配置文件

      

<configuration>
<property>
    <name>hbase.master</name>
    <value>master:60010</value>
  </property>
 <property>
        <name>dfs.support.append</name>
        <value>true</value>
</property>
 <property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
 </property>
 <property>
        <name>hbase.rootdir</name>
        <value>hdfs://master:9000/hbase</value>
 </property>
</configuration>

  hbase.cluster.distributed：这个属性是用来判断hbase是否是集群，这个需要注意，这里选择为true。

  由于在本例中没有单独安装Zookeeper使用hbase默认的，所以在另外二台服务器中该配置文件中多几个属性。如下所示：

  

<property>
        <name>hbase.zookeeper.quorum</name>
        <value>master</value>
 </property>

 

    2、修改regionservers

 

master
slave1
slave2

 

    3、修改hbase-env.sh

    添加JAVA_HOME。

   

 

    4、启动hbase集群。

   

    5、启动成功界面如下：

 

 

评论

1 楼 gezhen0525 2014-03-11  

技术贴，顶                                                                  

















奥巴蛋敬上