在Windows中使用Cygwin安装HBase

1.简介
HBase是 Hadoop 的正式子项目，它是一个面向列的分布式数据库，它在存储数据结构上并非关系型，而是疏松分布式的，持久并按多维排序并索引的map型，其思想源于Google的BigTable论文。（Google BigTable的paper: http://labs.google.com/papers/bigtable-osdi06.pdf）
由于HBase是一个分布式、大规模的平台，主要安装在类Unix平台上。但是由于其开发语言是Java，因此它同样具有跨平台的特性，同样也可以安装在Windows操作系统上。为了方便起见，使用具有类Unix特性的Cygwin来安装HBase。

2.目的
本文主要阐述在伪分布式模式（Pseudo-distributed mode）下，在Windows操作系统上使用Cygwin来安装、运行和测试HBase项目。对于真正的分布式的集群配置，可以参考本文以及HBase项目官网（http://hadoop.apache.org/hbase/）中的讲解。

3.安装与配置
软件版本：
 JDK 1.6(或以上版本)
 Cygwin 2.5
 Hadoop 0.20.x
 HBase 0.20.x
3.1 Java、Cygwin、SSH
这里的三个软件的安装过程，可以参考《Hadoop开发者》杂志创刊号中《在Windows 上安装Hadoop 教程》，在此不再赘述。
3.2 Hadoop
同样，Hadoop的安装也可以参考《Hadoop开发者》杂志创刊号中《在Windows 上安装Hadoop 教程》一文。但是根据笔者的安装过程，列出以下几点注意：
1． 在配置hadoop-env.sh中的JAVA_HOME时，Jdk往往安装在C:\Program Files\文件夹下，例如：C:\Program Files\Java\jdk1.6.0_01。JAVA_HOME应配置如下：
export JAVA_HOME=/cygdrive/c/Progra~1/Java/jdk1.6.0_01
其中，由于Cygwin无法识别“Program Files”中间的空格，如果不按照上述设置，则系统无法找到Jdk安装目录。
当然，你也可以在Cygwin的/usr/local目录下添加一个连接，从而方便配置JAVA_HOME。例如：
ln -s /cygdrive/c/Program\ Files/Java/jdk1.6.0_01 \
/usr/local/jdk1.6.0_01
export JAVA_HOME=/usr/local/jdk1.6.0_01
2． 在core-site.xml配置文件中，属性“fs.default.name”的值与《Hadoop开发者》杂志创刊号中《在Windows 上安装Hadoop 教程》一文中的值保持一致，设置为：“hdfs://localhost:8888”。同样，配置文件mapred-site.xml中的“mapred.job.tracker”属性值设置为：“localhost:9999”。
3． 在Hadoop分布式文件系统中创建两个目录hbase和tmp，这两个目录将在下面安装HBase的过程中使用，在Shell中输入命令如下：
bin/hadoop dfs –mkdir hbase tmp
Hadoop的分布式文件系统中将增加hbase和tmp两个目录，如下图所示：




3.3 HBase
假设HBASE_HOME为HBase的安装目录。
1． 在$HBASE_HOME/conf/hbase-env.sh中增加如下两个环境变量：
export JAVA_HOME=/cygdrive/c/Progra~1/Java/jdk1.6.0_01
export HBASE_IDENT_STRING=localhost
其中，JAVA_HOME的设置参照上文的说明。
2． 将$HBASE_HOME/conf/hbase-default.xml中的所有内容，拷贝到$HBASE_HOME/conf/hbase-site.xml文件中。
3． 修改hbase-site.xml配置文件中的“hbase.rootdir”属性，以及“hbase.tmp.dir”属性，如下所示：
<property>
   <name>hbase.rootdir</name>
    <value>hdfs://localhost:8888/hbase</value>
    <description>The directory shared by region servers.
    Should be fully-qualified to include the filesystem to use.
    E.g: hdfs://NAMENODE_SERVER:PORT/HBASE_ROOTDIR
    </description>
</property>
……
<property>
    <name>hbase.tmp.dir</name>
    <value>hdfs://localhost:8888/tmp</value>
<description>Temporary directory on the local filesystem.</description>
</property>
…….
注意，这里设置的两个目录正是上文中在Hadoop的分布式文件系统中建立的两个目录，此外，端口号也与前面保持一致，设置为：“8888”。
4． 修改hbase-site.xml配置文件中的“hbase.zookeeper.quorum”属性的值为“127.0.0.1”，在Cygwin中，“localhost”有时无法正确识别。如下所示：
<property>
<name>hbase.zookeeper.quorum</name>
    <value>127.0.0.1</value>
    <description>Comma separated list of servers in the ZooKeeper Quorum.
For example, "host1.mydomain.com,
host2.mydomain.com,  host3.mydomain.com".
    By default this is set to localhost for local and pseudo-distributed modes
of operation. For a fully-distributed setup, this should be set to a full
list of ZooKeeper quorum servers. If HBASE_MANAGES_ZK
is set in hbase-env.sh
    this is the list of servers which we will start/stop ZooKeeper on.
    </description>
</property>

4.测试
下面测试系统是否正确安装。
1． 打开Cygwin的终端，执行“ssh localhost”命令。
2． 在Hadoop安装目录下，执行“bin/start-all.sh”脚本，启动Hadoop。
3． 在Hbase安装目录下，执行“bin/start-hbase.sh”脚本，启动HBase。
4． 在Hbase安装目录下，执行“bin/hbase shell”命令，进入Shell命令模式。
5． 在Shell中输入“create 'test', 'data'”，执行结果通过输入“list”命令进行查看。如下图所示：




6． 在Shell中分别输入“put 'test', 'row1', 'data:1', 'value1'”，“put 'test', 'row2', 'data:2', 'value2'”，“put 'test', 'row3', 'data:3', 'value3'”三条命令，以创建三条记录。
7． 输入“scan 'test'”命令，通过执行结果来测试上述三条命令的执行情况。如下图所示。




5.总结
至此，HBase在Windows操作系统中利用Cygwin工具已经安装完成，并运行良好。用户可以在系统中存储大规模的数据，并进行海量数据处理。