`
liuxinglanyue
  • 浏览: 561366 次
  • 性别: Icon_minigender_1
  • 来自: 杭州
社区版块
存档分类
最新评论

基于Hadoop的Hbase环境搭建

阅读更多

转:http://www.tech126.com/hadoop-hbase/

基于现有的Hadoop集群,来搭建Hbase的环境

整个过程还是比较简单的

1. 下载Hbase源码,并解压

cp hbase-0.20.6.tar.gz /opt/hadoop/
cd /opt/hadoop/
tar zxvf hbase-0.20.6.tar.gz
ln -s hbase-0.20.6 hbase

2.修改hbase-env.sh,加入java环境,并修改log位置

export JAVA_HOME=/opt/java/jdk
export HBASE_LOG_DIR=/opt/log/hbase
export HBASE_MANAGES_ZK=true

3. 修改hbase-site.xml,配置hbase

<property>
    <name>hbase.rootdir</name>
    <value>hdfs://zw-hadoop-master:9000/hbase</value>
    <description>The directory shared by region servers.</description>
</property>
<property>
            <name>hbase.cluster.distributed</name>
            <value>true</value>
            <description>The mode the cluster will be in. Possible values are
              false: standalone and pseudo-distributed setups with managed Zookeeper
              true: fully-distributed with unmanaged Zookeeper Quorum (see hbase-env.sh)
            </description>
    </property>
<property>  
    <name>hbase.master</name>  
    <value>hdfs://zw-hadoop-master:60000</value>  
</property> 
<property>
    <name>hbase.zookeeper.quorum</name>        
    <value>zw-hadoop-slave225,zw-hadoop-slave226,zw-hadoop-slave227</value>
    <description>Comma separated list of servers in the ZooKeeper Quorum.      For example, "host1.mydomain.com,host2.mydomain.com,host3.mydomain.com".      By default this is set to localhost for local and pseudo-distributed modes      of operation. For a fully-distributed setup, this should be set to a full      list of ZooKeeper quorum servers. If HBASE_MANAGES_ZK is set in hbase-env.sh      this is the list of servers which we will start/stop ZooKeeper on.      
    </description>
</property>
<property>
    <name>hbase.zookeeper.property.dataDir</name>
    <value>/opt/log/zookeeper</value>
    <description>Property from ZooKeeper's config zoo.cfg.
        The directory where the snapshot is stored.
    </description>
</property>

几个配置的说明:

  • hbase.rootdir设置hbase在hdfs上的目录,主机名为hdfs的namenode节点所在的主机
  • hbase.cluster.distributed设置为true,表明是完全分布式的hbase集群
  • hbase.master设置hbase的master主机名和端口
  • hbase.zookeeper.quorum设置zookeeper的主机,官方推荐设置为3,5,7比较好

4. 编辑regionservers文件,设置regionservers的服务器,和hadoop的slaves一样即可

5. 启动Hbase

/opt/sohuhadoop/hbase/bin/start-hbase.sh 
/opt/sohuhadoop/hbase/bin/stop-hbase.sh

Hbase默认只有一个Master,我们可以也启动多个Master:

/opt/sohuhadoop/hbase/bin/hbase-daemon.sh start master

不过,其它的Master并不会工作,只有当主Master down掉后

其它的Master才会选择接管Master的工作

Hbase也有一个简单的web界面,来查看其状态

http://10.10.71.1:60010/master.jsp
http://10.10.71.1:60030/regionserver.jsp

http://10.10.71.1:60010/zk.jsp

分享到:
评论

相关推荐

    3.基于hadoop集群搭建hbase

    ### 基于Hadoop集群搭建HBase集群详解 #### 一、引言 随着大数据技术的迅猛发展,海量数据的高效存储与处理成为企业关注的重点。Hadoop作为一款能够处理大量数据的基础框架,被广泛应用于各类场景之中。然而,在...

    Hadoop hbase hive sqoop集群环境安装配置及使用文档

    该文档将分为四部分:Hadoop 集群环境搭建、HBase 集群环境搭建、Hive 集群环境搭建和 Sqoop 集成使用。 一、Hadoop 集群环境搭建 1.1 JDK 安装与配置 在开始搭建 Hadoop 集群环境前,我们需要先安装并配置 JDK。...

    hadoop+hbase集群搭建 详细手册

    2. HBase:HBase是一个基于Hadoop的分布式数据库,用于存储和处理大规模数据。 3. ZooKeeper:ZooKeeper是一个分布式协调服务,用于管理Hadoop和HBase集群。 二、机器集群结构分布 在本文中,我们将使用8台曙光...

    大数据Hadoop+HBase+Spark+Hive集群搭建教程(七月在线)1

    2. **HBase**:HBase是一个基于Hadoop的分布式数据库,适合实时读写操作,尤其适合半结构化和非结构化数据。它提供了一个高可靠性、高性能、列式存储、可伸缩的数据库。 - **HBase安装与配置**: - 在Hadoop集群...

    hadoop hbase 全jar包

    Hadoop和HBase是大数据处理领域中的重要组件,它们在分布式存储和实时数据访问...通过这个名为“hbase全jar包”的压缩文件,开发者可以获得完整的一套HBase相关jar包,从而快速搭建开发环境,进行HBase的学习和实践。

    Hadoop+Hbase搭建云存储总结

    ### Hadoop+Hbase搭建云存储的关键知识点 #### 一、Hadoop文件系统特性与应用场景 **1. 容错性与成本效益** - **关键特性:** Hadoop文件系统(HDFS)的设计核心在于其对廉价硬件的兼容性和高度的容错能力。它...

    hadoop+zookeeper+hbase集群搭建配置说明

    3. HBase:HBase是基于Hadoop的分布式列式数据库,能够提供实时读写访问,适用于大规模稀疏数据集。它将数据存储在HDFS上,但通过Zookeeper进行元数据管理和区域分配。在搭建HBase集群时,我们需要配置HBase的主...

    Hadoop+Hbase+Spark+Hive搭建

    Hbase是基于Hadoop的分布式NoSQL数据库,提供了高效的数据存储和检索能力。Spark是基于内存的数据处理引擎,能够快速处理大规模数据。Hive是基于Hadoop的数据仓库工具,提供了高效的数据处理和分析能力。本文档旨在...

    基于hadoop+hbase+springboot实现分布式网盘系统.zip

    本项目“基于hadoop+hbase+springboot实现分布式网盘系统”旨在利用这些技术搭建一个高效、可扩展的存储解决方案。 **Hadoop** 是一个开源的分布式计算框架,主要由HDFS(Hadoop Distributed File System)和...

    hadoop+hbase+zookeeper集群配置流程及文件

    接下来是HBase,一个基于Hadoop的分布式数据库,适用于半结构化数据的存储。HBase2.1.0提供了更好的性能和稳定性。配置HBase集群需要: 1. 设置Hadoop依赖:在`hbase-site.xml`中指定Hadoop的配置目录。 2. 配置...

    Hadoop2.2+Zookeeper3.4.5+HBase0.96集群环境搭建

    HBase是基于Hadoop的NoSQL数据库,用于存储和处理大规模数据。安装HBase需要下载hbase-0.96.2-hadoop2-bin.tar.gz安装包,然后解压缩并配置HBase。 集群环境搭建 搭建Hadoop2.2+Zookeeper3.4.5+HBase0.96集群环境...

    Hadoop2.7.1+Hbase1.2.1集群环境搭建(7)hbase 性能优化

    本篇将详细阐述如何在Hadoop 2.7.1环境下搭建HBase 1.2.1集群,并进行性能优化,以提升系统效率。 首先,我们需要了解Hadoop和HBase的基本概念。Hadoop是基于分布式文件系统HDFS(Hadoop Distributed File System)...

    大数据综合实验环境搭建(3个集群、Zookeeper、Hive、HBase)

    大数据综合实验环境搭建(3个集群、Zookeeper、Hive、HBase) 本资源摘要信息主要对大数据综合实验环境搭建进行了详细的介绍,涵盖了 JDK 的安装和配置、免密码登录的设置、Zookeeper 的安装、Hive 和 HBase 的安装...

    hadoop-2.x的环境搭建

    4. HBase:基于Hadoop的分布式NoSQL数据库,支持实时读写。 九、验证Hadoop安装 1. 使用hadoop fs -ls 命令查看HDFS中的文件。 2. 运行WordCount示例,体验Hadoop的MapReduce计算过程。 通过以上步骤,你已经成功...

    hadoop&hbase;高可用测试环境搭建

    Hadoop是一个开源框架,主要用于分布式存储和计算,而HBase是基于Hadoop的分布式列式数据库,适用于实时查询和大规模数据处理。本教程将详述如何搭建一个高可用的Hadoop和HBase测试环境。 首先,我们要理解高可用性...

    windows10 搭建最新的 hadoop 3.1.3 和 hbase 2.2.2 测试环境 配置文件

    HBase 2.2.2则是基于Hadoop的分布式数据库,适用于大数据的实时访问。 1. **Hadoop安装与配置**: - 解压Hadoop 3.1.3压缩包到指定目录,例如`C:\hadoop`。 - 修改`etc\hadoop\hadoop-env.cmd`,设置`HADOOP_HOME...

    基于hadoop的云盘系统

    【标题】基于Hadoop的云盘系统 在云计算领域,数据存储和管理是核心问题之一。基于Hadoop的云盘系统是一种分布式存储解决方案,利用Hadoop的可扩展性和高容错性来处理大规模数据。Hadoop是Apache软件基金会的一个...

    Hadoop云计算平台搭建最详细过程(共22页).pdf

    2. HBase:HBase是基于Hadoop的分布式NoSQL数据库,提供了高性能的数据存储和检索能力。 3. Pig:Pig是基于Hadoop的数据处理语言,提供了高效的数据处理和分析能力。 4. Hive:Hive是基于Hadoop的数据仓库工具,提供...

    Hadoop+Hbase技术使用文档(整理过的)

    Hbase是基于Hadoop的一个分布式数据库,其安装配置过程也较为复杂。 ##### 6.1 解压及重命名 将Hbase压缩包解压至指定目录,并进行必要的重命名。 ##### 6.2 配置文件修改 - **hbase-site.xml** - 设置Hbase的...

Global site tag (gtag.js) - Google Analytics