`

hbase0.9.6 分布式安装

 
阅读更多
hbase 完全分布式安装,目前是3台机子,分别为:
192.168.80.101 hadoop1 (作为hbase的master节点)
192.168.80.102 hadoop2   (作为hbase的regionserver节点)
192.168.80.103 hadoop3  (作为hbase的regionserver节点)

解压hbase-0.94.2-security.tar.gz与重命名
#cd /usr/local #tar -zxvf hbase-0.94.2-security.tar.gz #
mv hbase-0.94.2-security hbase
修改/etc/profile文件。
#vi /etc/profile
增加 export HBASE_HOME=/usr/local/hbase
修改 export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HBASE_HOME/bin:$PATH
保存退出 #source /etc/profile
修改$HBASE_HOME/conf/hbase-env.sh文件
export JAVA_HOME=/usr/local/jdk
export HBASE_MANAGES_ZK=false 保存后退出
修改$HBASE_HOME/conf/hbase-site.xml
<configuration>
    <property>
  <name>hbase.rootdir</name>
  <value>hdfs://hadoop1:9000/hbase</value>
</property>
<property>
  <name>hbase.cluster.distributed</name>
  <value>true</value>
</property>
<property>
  <name>hbase.zookeeper.quorum</name>
  <value>hadoop1,hadoop2,hadoop3</value>
</property>
<property>
  <name>dfs.replication</name>
  <value>1</value>
</property>
</configuration>
修改 $HBASE_HOME/conf/regionservers  文件夹
Hadoop2
Hadoop3

  修改好后,通过如下命令复制到其他hadoop2,hadoop3三个节点。
  scp -r   hbase root@hadoop2/usr/local/
  scp  -r  hbase root@hadoop3/usr/local/

经过上面配置完后,可以通过bin/start-hbase.sh命令启动hbase集群。注意启动hbase前,先要启动hadoop和zookeeper集群。

启动成功后,可以通过http://hadoop1:60010查看hbase的管理页面。



错误表现:

SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/usr/hbase/lib/slf4j-log4j12-1.6.4.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/usr/hadoop/share/hadoop/common/lib/slf4j-log4j12-1.7.5.jar!/org/slf4j

发生jar包冲突了:
分别为:
file:/usr/hbase/lib/slf4j-log4j12-1.6.4.jar!/org/slf4j/impl/StaticLoggerBinder.class
file:/usr/hadoop/share/hadoop/common/lib/slf4j-log4j12-1.7.5.jar!/org/slf4j/impl/StaticLoggerBinder.class
移除其中一个jar包即可

hbase 安装完成后,创建表时报错
报错信息如下:

hbase(main):004:0> create 't1', {NAME => 'f1', VERSIONS => 5}
ERROR: Can't get master address from ZooKeeper; znode data == null
查看日志如下
org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.RpcServerException):
                          Unknown out of band call #-2147483647

解决方法:
hbase0.96.0中lib带的相关hadoop的jar包为hadoop-2.1.0-beta版,所以要做以下修改:
          <1>把所有节点的hbase-0.96.0中lib包中所有以hadoop开头的jar包全部删除                       
    rm -rf hadoop-*.jar
          <2>将hadoop-2.2.0相关的jar包拷贝至hbase的lib下,具体jar包有:
hadoop-annotations-2.2.0.jar
hadoop-auth-2.2.0.jar
hadoop-common-2.2.0.jar
hadoop-hdfs-2.2.0.jar
hadoop-hdfs-2.2.0-tests.jar
hadoop-mapreduce-client-app-2.2.0.jar
hadoop-mapreduce-client-common-2.2.0.jar
hadoop-mapreduce-client-core-2.2.0.jar
hadoop-mapreduce-client-jobclient-2.2.0.jar
hadoop-mapreduce-client-jobclient-2.2.0-tests.jar
hadoop-mapreduce-client-shuffle-2.2.0.jar
hadoop-yarn-api-2.2.0.jar
hadoop-yarn-client-2.2.0.jar
hadoop-yarn-common-2.2.0.jar
hadoop-yarn-server-common-2.2.0.jar
hadoop-yarn-server-nodemanager-2.2.0.jar




分享到:
评论

相关推荐

    HBase伪分布式环境搭建及数据操作测试

    HBase伪分布式环境搭建及数据操作测试 本人成功搭建伪分布式的操作以及截图

    HBase 1.2 分布式安装分享

    ### HBase 1.2 分布式安装分享 #### 一、概述 HBase是Apache Hadoop生态系统中的一个重要的组成部分,它提供了一种分布式的、面向列的存储系统,能够处理非常大量的数据,并且可以实时地进行读写操作。本文档主要...

    Hbase完全分布式集群搭建(详细+,看完就会,).docx

    HBase 完全分布式集群搭建 HBase 是一个基于 Hadoop 的分布式 Nosql 数据库,可以提供高性能、可靠的数据存储和查询服务。为了搭建一个完全分布式的 HBase 集群,我们需要了解 HBase 的架构、组件和配置。 一、...

    基于hadoop和hbase的分布式索引集群研究.pdf

    为了解决这一问题,研究人员提出了基于Hadoop和HBase的分布式索引集群方案。这一方案可以提高信息检索效率,并通过分布式计算框架对索引进行高效维护。 Hadoop是一个由Apache基金会开发的分布式系统基础架构,它由...

    HBase伪分布式安装及简单使用.pdf

    《HBase 伪分布式安装与基础使用》 HBase,作为Hadoop生态系统的一部分,是一款针对大规模数据实时读写的NoSQL数据库。它以分布式、多版本、面向列的存储模型著称,尤其适合处理海量数据的随机读写操作,且可以直接...

    【大数据211】HBase伪分布式运行环境(2023.3.27).pdf

    在开始搭建HBase伪分布式运行环境之前,需要准备以下三个安装文件:hadoop-3.3.4.tar.gz、jdk-8u341-linux-x64.tar.gz和hbase-2.4.16-bin.tar.gz。将这些文件上传至虚拟机中,并解压到任一目录,如/opt或/usr、/root...

    基于HBase的分布式空间数据库技术

    基于HBase的分布式空间数据库技术是针对大型地理信息系统(GIS)中海量空间数据存储与高效查询的问题提出的一种解决方案。随着地理信息系统技术的迅速发展,数据的时间和空间精度不断提高,同时,GIS系统面临着数据...

    Hadoop2.7.5-HBase1.2.6伪分布式安装

    本文将详细介绍如何在本地环境中进行Hadoop2.7.5与HBase1.2.6的伪分布式安装,这是一个适合初学者入门的实践教程。 Hadoop是Apache基金会的一个开源项目,主要由HDFS(Hadoop Distributed File System)和MapReduce...

    HOS:一种基于HBase的分布式存储系统设计与实现.pdf

    本篇论文介绍了一种名为HOS的分布式存储系统的设计与实现,该系统基于HBase构建。随着大数据时代的到来,数据量的增长速度前所未有,为了有效存储和管理这些数据,迫切需要创新的存储方案。HBase作为一个分布式、列...

    hbase完全分布式.docx

    HBase完全分布式安装和部署指南 HBase是一种开源的、分布式的、面向列的NoSQL数据库,基于Hadoop和HDFS构建。它提供了高性能、可扩展性强、支持大规模数据存储和处理的能力。本文将详细介绍HBase的安装和部署过程,...

    搭建HBase完全分布式数据库

    HBase是一个分布式、面向列的开源数据库,它运行在Hadoop的文件系统(HDFS)之上,利用Hadoop的MapReduce来处理HBase中的大数据,同时也使用Apache ZooKeeper作为分布式协同服务。HBase特别适合于需要快速读写访问...

    Windows7下eclipse调试Fedora虚拟机的hadoop+hbase伪分布式

    总结来说,这个过程涉及了虚拟化技术、分布式系统、Hadoop和HBase的安装配置、远程调试等多个环节,每个环节都需要细心操作,确保所有配置正确无误,才能实现Windows7下通过Eclipse对Fedora虚拟机中Hadoop+hBase伪...

    基于HBase的分布式空间数据库技术.pdf

    基于HBase的分布式空间数据库技术的知识点 1. 地理信息系统与海量数据管理 随着GIS技术的快速发展,GIS系统中包含的数据在时间和空间上的精度逐渐提高。大型GIS系统面临数据量迅速增长的压力,需要应对海量空间...

    HBase分布式事务与SQL实现

    在深入了解HBase分布式事务与SQL实现前,我们首先需要明确几个核心概念和组件,这些包括HBase基础架构、Google Percolator模型、TiDB分布式数据库,以及它们之间的关系。 HBase是一款分布式的、开源的NoSQL数据库,...

    实战Hbase群集分布式部署.pdf

    总之,Hbase集群的分布式部署涉及多个层面的配置和优化,包括网络、安全、环境变量、软件安装、配置文件设置以及监控等。只有全面考虑并细致执行每一个步骤,才能构建出稳定、高效的Hbase分布式存储系统。

    hbase分布式安装(zookeeper3.4.8+hbase2.1.0).pdf

    hbase分布式安装(zookeeper3.4.8+hbase2.1.0).pdf

    基于Hadoop和HBase的分布式索引模型的研究.pdf

    为了应对这一挑战,本文提出了一种基于Hadoop和HBase的分布式索引模型,旨在设计并实现一个能够高效、可靠地处理海量数据索引的平台模型。 二、分布式索引模型的设计与实现 该模型首先利用Solr分布式索引器生成索引...

    HBase完全分布式搭建-new.docx

    本文档详细介绍了HBase完全分布式集群的搭建过程,包括Hadoop集群的基础构建、JDK的安装、HBase的配置以及集群的启动和验证。通过遵循这些步骤,您可以轻松地在自己的环境中部署一个功能齐全的HBase集群。希望本指南...

Global site tag (gtag.js) - Google Analytics