准备工作
Hbase的搭建是依赖于Hadoop的,Hbase的数据文件实际上存储在HDFS文件系统中,所以我们需要先搭建hadoop环境,之前的博文中已经搭建过了(详见http://sxlkk.iteye.com/blog/2309385),这里就不在赘述。
版本选择
由于之前搭建的hadoop2.2.0社区版,hadoop和hbase之间存在版本的兼容性问题,并不是所有的版本都可以相互兼容,所以在此我选择:Hbase 0.98版本,能够完美兼容hadoop2.2.0版本。我们进入hbase的lib目录中可以看到jar包的版本:
如果不是以上的2.2.0版本的jar包,需要与hadoop的jar包版本保持一致,从hadoop的share/hadoop目录中找到相对应的jar包进行替换。
配置文件
进入hbase的conf目录下,对配置文件进行修改:
regionservers文件:
vi regionservers master slave1 slave2
hbase-env.sh文件:
export JAVA_HOME=/opt/jdk1.7 # The directory where pid files are stored. /tmp by default. export HBASE_PID_DIR=/var/hadoop/pids # Where log files are stored. $HBASE_HOME/logs by default. # export HBASE_LOG_DIR=${HBASE_HOME}/logs
hbase-site.xml文件:
<configuration> <property> <name>hbase.rootdir</name> <value>hdfs://master:9000/hbase</value> </property> <property> <name>hbase.master</name> <value>hdfs://master:60000</value> </property> <property> <name>hbase.cluster.distributed</name> <value>true</value> </property> <property> <name>hbase.zookeeper.property.clientPort</name> <value>2222</value> </property> <property> <name>hbase.zookeeper.quorum</name> <value>master, slave1, slave2</value> </property> <property> <name>hbase.zookeeper.property.dataDir</name> <value>/home/hadoop2/zookeeper</value> </property> <property> <name>hbase.regionserver.handler.count</name> <value>100</value> </property> </configuration>
分发hbase并启动
将以上配置好的hbase文件夹,整个分发到集群的各个机器中,然后使用命令启动hbase:bin/start-hbase.sh。
然后使用jps命令查看hbase启动必须的进程:
[hadoop2@master conf]$ jps 7586 DataNode 2968 HRegionServer 2728 HQuorumPeer 7894 ResourceManager 8002 NodeManager 2827 HMaster 9331 Jps 7463 NameNode 7750 SecondaryNameNode
其中,标红的3个进程为hbase启动后,master主机中会出现的进程,HMaster进程为master进程,在普通的slave机器中只会出现,HRegionServer和HQuorumPeer两个Hase相关的进程,前者为RegionServer的进程,后者则是hbase自启动的ZooKeeper的进程。当然了,启动hbase之前必须先启动hadoop,所以必然存在DataNode、NodeManager等hadoop相关的进程。
值得一提的是,hbase的运行必须依赖于Zookeeper,默认情况下,hbase启动的时候会自启动Zookeeper,其中的配置选项存在于/conf/hbase-env.sh:
# Tell HBase whether it should manage it's own instance of Zookeeper or not. export HBASE_MANAGES_ZK=true
默认为true,表示hbase自己管理Zookeeper,如果修改为false,则需要在hbase-site.xml中配置Zookeeper, 并自行安装Zookpeer集群。
出处:http://www.cnblogs.com/bxljoy/p/3939600.html
相关推荐
在集群中创建java项目调用api来操作hbase,主要涉及对hbase的创建表格,删除表格,插入数据,删除数据,查询一条数据,查询所有数据等操作。 具体流程如下: 1.创建项目 2.获取jar包到项目的lib目录下(这边试用的事...
《深入剖析HBase源代码:hbase-0.98.23》 HBase,作为Apache的一个开源项目,是构建在Hadoop之上的分布式、版本化、列族式的NoSQL数据库,它提供了高可靠性、高性能、可伸缩的数据存储解决方案。本文将基于hbase-...
Hadoop2.4、Hbase0.98、Hive集群安装配置手册
Hadoop2.6+HA+Zookeeper3.4.6+Hbase1.0.0 集群安装详细步骤
以上就是使用Java API在HBase 0.98集群中进行基本操作的基本步骤。值得注意的是,HBase 0.98已经是较旧的版本,目前的生产环境更多地使用更新的版本,例如1.x或2.x系列。尽管如此,理解这些基础操作对于理解HBase的...
首先,让我们详细了解一下Zookeeper集群的搭建步骤: 1. **环境准备**:确保你拥有 VMware 虚拟机环境,装有 CentOS7 的操作系统,并熟悉基本的Linux命令操作。 2. **Zookeeper安装**:下载并解压Zookeeper到指定...
- **ZooKeeper**:协调HBase集群,存储元数据,提供故障检测和选举功能。 - **HBase Region**:HBase数据存储的基本单元,每个region包含一个或多个列族。 - **Column Family**:逻辑上存储相关列的集合,数据按...
《HBase 0.98.12.1 on Hadoop 2:深入解析与实践》 HBase,全称为Hadoop Base,是一款基于Google Bigtable理念设计的开源分布式数据库,是Apache软件基金会的重要项目之一。它专为大规模数据集(数十亿行,百万列)...
HBase2集群配置.pdf HBase2集群配置.pdf HBase2集群配置.pdf HBase2集群配置.pdf
通过以上步骤,您已经成功在现有的Hadoop集群环境中搭建了HBase集群。这将极大地提高对存储在Hadoop上的数据的访问效率,并支持更多复杂的数据查询需求。需要注意的是,实际部署过程中可能还会遇到一些具体的配置...
用户可以通过解压这个文件来搭建自己的HBase环境,进行开发、测试或者部署。 在压缩包的文件名称列表中,"hbase-0.98.11-hadoop2"可能是HBase 0.98.11版本针对Hadoop 2.x系列的构建。这意味着这个版本的HBase已经...
本文将围绕"Hbase-0.98.12.1-hadoop1-bin.tar.gz"这一特定版本的HBase进行详细介绍,包括其特性、安装与配置、以及与Hadoop1的集成。 1. **HBase 0.98.12.1概述** HBase 0.98.12.1是HBase的早期稳定版本,提供了...
HBase集群环境搭建是大数据技术中的一个重要环节,本文将详细介绍HBase集群环境搭建的步骤和配置过程。以下是HBase集群环境搭建的详细信息: 一、集群规划 在HBase集群环境搭建中,需要首先规划集群的架构。这里,...
"hbase-0.98.17-hadoop2-bin.tar.gz"的使用涉及了Hadoop集群环境的搭建、HBase的配置与管理等多个方面,是学习和实践HBase分布式存储系统的基础。通过深入理解和熟练掌握,我们可以更好地应对大数据时代的挑战。
本文将详细介绍如何搭建Hadoop+HBase集群,包括前提准备、机器集群结构分布、硬件环境、软件准备、操作步骤等。 一、前提准备 在搭建Hadoop+HBase集群之前,需要准备以下几个组件: 1. Hadoop:Hadoop是一个基于...
搭建 HBase 完全分布式集群需要以下步骤: 1. 下载并上传 HBase 到虚拟机。 2. 解压并创建软连接。 3. 配置环境变量并生效。 4. 修改 HBase 的配置文件。 5. 启动 HBase 集群。 在搭建 HBase 集群时,我们需要注意...
搭建Hadoop2.2+Zookeeper3.4.5+HBase0.96集群环境需要完成以下步骤: 1. 安装和配置Hadoop2.2 2. 安装和配置Zookeeper3.4.5 3. 安装和配置HBase0.96 4. 配置集群环境,以便Hadoop、Zookeeper和HBase可以正常工作 ...
通过对`hbase-0.98.12.1-src.tar.gz`源码的深入研究,我们可以深入理解HBase的工作机制,这对于开发、维护和优化HBase集群,以及解决实际应用中的问题至关重要。同时,这也是对分布式系统、大数据处理等领域知识的...