`
lookqlp
  • 浏览: 346140 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

hbase搭建

阅读更多
  • 前置条件

hadoop环境运行正常。
  • 步骤

下载hbase压缩包hbase-0.94.2.tar.gz,并解压tar -zxvf  *.gz
配置hbase-site.xml
<property>
<name>hbase.rootdir</name>
<value>hdfs://master:8020/hbase</value>
<description>The directory shared by region servers and into
which HBase persists. The URL should be 'fully-qualified'
to include the filesystem scheme. For example, to specify the
HDFS directory '/hbase' where the HDFS instance's namenode is
running at namenode.example.org on port 9000, set this value to:
hdfs://namenode.example.org:9000/hbase. By default HBase writes
into /tmp. Change this configuration else all data will be lost
on machine restart.
</description>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
<description>The mode the cluster will be in. Possible values are
false for standalone mode and true for distributed mode. If
false, startup will run all HBase and ZooKeeper daemons together
in the one JVM.
</description>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>10.200.187.77,10.200.187.78</value>
<description>Comma separated list of servers in the ZooKeeper Quorum.
For example, "host1.mydomain.com,host2.mydomain.com,host3.mydomain.com".
By default this is set to localhost for local and pseudo-distributed modes
of operation. For a fully-distributed setup, this should be set to a full
list of ZooKeeper quorum servers. If HBASE_MANAGES_ZK is set in hbase-env.sh
this is the list of servers which we will start/stop ZooKeeper on.
</description>
</property>

配置hbase-env.sh
export HBASE_OPTS="$HBASE_OPTS -Xgcprio:throughput"
export JAVA_HOME=/home/hadoop/jrockit-jdk1.6.0_29
export HBASE_MANAGES_ZK=true
export HBASE_HOME=/home/hadoop/hbase-0.94.2
export HADOOP_HOME=/home/hadoop/hadoop-1.0.3


由于我们使用jrocekit jdk版本,所有参数类似-Xgcprio:throughput,若我们使用正常jdk版本使用系统默认设置即可。

HBASE_MANAGES_ZK=true表示使用hbase内置zookeeper,即也会使用hbase-site.xml中zoopkeeper的设置,若不使用内置zookeeper,将其设成false,然后安装自己的zookeeper,并启动。
启动hbase
./start-hbase.sh
  • 遇到问题

hbase脚本中-XX:OnOutOfMemoryError="kill -9 %p"参数不识别,因为使用的jrocekit版本,然后使用jrocekit版本的-XXexitOnOutOfMemory同样不行。目前没有解决。
Unknown option or illegal argument: -XXexitOnOutOfMemory. 
Please check for incorrect spelling or review documentation of startup options.

Could not create the Java virtual machine.


Unix:
-XX:OnOutOfMemoryError="kill -9 %p"

Windows:
-XX:OnOutOfMemoryError="taskkill /F /PID %p"

JRockIT:
-XXexitOnOutOfMemory
  • 问题解决
  • Jerockit新版本参数有变动,参考:
    http://docs.oracle.com/cd/E15289_01/doc.40/e15062/optionxx.htm#BABCDAIB
    JRockIT:
    -XX:+ExitOnOutOfMemoryError


    分享到:
    评论

    相关推荐

      Hadoop+Hbase搭建云存储总结

      ### Hadoop+Hbase搭建云存储的关键知识点 #### 一、Hadoop文件系统特性与应用场景 **1. 容错性与成本效益** - **关键特性:** Hadoop文件系统(HDFS)的设计核心在于其对廉价硬件的兼容性和高度的容错能力。它...

      HBase伪分布式环境搭建及数据操作测试

      HBase伪分布式环境搭建及数据操作测试 本人成功搭建伪分布式的操作以及截图

      伪分布式的Hadoop+Hive+HBase搭建记录[收集].pdf

      总结来说,伪分布式Hadoop搭建涉及了HDFS、MapReduce、Hive、HBase和Storm等多个组件,这些技术一起构建了一个完整的数据处理生态系统。HDFS提供存储,MapReduce负责计算,Hive提供数据分析的SQL接口,HBase满足实时...

      基于虚拟机集hbase1.2.1配置文件

      在IT领域,HBase是一个分布式、面向列的开源数据库,它是构建在Apache Hadoop文件系统(HDFS)之上的,特别适合处理大规模数据。这里提到的"基于虚拟机集hbase1.2.1配置文件"是针对一个由一个Master节点和三个Slave...

      HBase配置项说明及调优建议.zip

      在大数据存储领域,HBase作为一个分布式列式数据库,被广泛应用于处理海量结构化数据。它基于Google的Bigtable设计,并由Apache基金会维护。HBase以其高并发、低延迟的特性,成为了许多大型互联网公司处理实时大数据...

      zookeeper+hbase集群搭建

      在本文中,我们将深入探讨如何搭建一个Zookeeper和HBase集群,以及在过程中可能遇到的常见问题和解决方案。Zookeeper和HBase都是大数据处理领域的关键组件,Zookeeper作为一个分布式协调服务,而HBase是一个基于...

      3.基于hadoop集群搭建hbase

      ### 基于Hadoop集群搭建HBase集群详解 #### 一、引言 随着大数据技术的迅猛发展,海量数据的高效存储与处理成为企业关注的重点。Hadoop作为一款能够处理大量数据的基础框架,被广泛应用于各类场景之中。然而,在...

      搭建HBase完全分布式数据库

      在搭建HBase分布式数据库系统时,需要注意集群中的ZooKeeper服务正常运行,它是保证集群状态一致性的重要组件。同时,需要合理配置HBase的参数,以便在性能和存储之间找到平衡。在实际操作中,还需要考虑网络带宽、...

      Hbase 高可用分布式搭建

      本篇文章将深入探讨如何进行HBase的高可用分布式搭建,以便实现数据存储和访问的稳定性与可靠性。 一、HBase概述 HBase是Google Bigtable的开源实现,是Apache Hadoop生态系统中的一个关键组件。它为海量结构化数据...

      基于HBase的车联网传感数据管理系统设计.pdf

      在构建系统时,本文采用了Hadoop与HBase搭建的分布式实验平台,使得系统具有良好的可扩展性和高容错性。Hadoop作为一个分布式存储与计算平台,能够通过其HDFS组件提供存储支持,而MapReduce组件则能够提供数据处理的...

      大数据Hadoop+HBase+Spark+Hive集群搭建教程(七月在线)1

      总的来说,搭建Hadoop、HBase、Spark和Hive集群涉及多个步骤,包括安装、配置、启动以及验证。整个过程需要对大数据处理原理有深入理解,并熟悉Linux系统的操作。完成后,这个集群可以处理大量数据,支持实时查询和...

      搭建hbase集群

      搭建hbase集群的详细操作;搭建hbase集群的详细操作;

      hbase2.0环境搭建

      hbase2.0环境搭建的知识点可以从多个维度展开,包括环境准备、软件安装、配置调整、服务启动以及性能优化等方面。 首先,环境准备是hbase2.0环境搭建的重要环节。文档中提到需要有hadoop2.7.5环境的搭建和启动,...

      hadoop_hbase从零搭建.docx

      hadoop_hbase从零搭建

      hadoop+hbase集群搭建 详细手册

      Hadoop+HBase集群搭建详细手册 本文将详细介绍如何搭建Hadoop+HBase集群,包括前提准备、机器集群结构分布、硬件环境、软件准备、操作步骤等。 一、前提准备 在搭建Hadoop+HBase集群之前,需要准备以下几个组件:...

      hbase参考文档

      搭建HBase通常涉及以下几个步骤: 1. 安装Java环境:HBase依赖于Java,因此首先需要在服务器上安装JDK。 2. 安装Hadoop:HBase运行在Hadoop的HDFS之上,需要先部署Hadoop集群。 3. 获取HBase:从Apache官网下载最新...

      Hadoop_hbase集群搭建.docx

      新手Hadoop_hbase集群搭建,3台服务器节点Centos7,Hadoop2.7.4,HBase1.3.1,jdk8,zookpeer3.4.10 安装包也将上传,亲手搭建编写文档

    Global site tag (gtag.js) - Google Analytics