`
youkimra
  • 浏览: 34677 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

hbase 安装经历

 
阅读更多

转载的:

 

前提是HBase-0.90.4与Hadoop-0.20.203.0

以下两行红字可以解决HBase与Hadoop的连接问题(连接需要一致性的版本)

最近打算试试Hbase,Hadoop是前几天已经装好的,三台虚拟机(机房老师看到说:“你还真敢玩”)

hadoop 版本0.20.203.0

hbase版本0.90.4

hbase按照网上文档配置完成以后总是出现(master的log文件里面)

java.io.IOException: Call to <host:port> failed on local exception

很多人说是版本问题,
我的hadoop版本是0.20.203.0,网上说版本问题多是0.21 hadoop,0.20的出问题的不多,
有人还说说是因为HIVE_HOME 下的hbase jar包和当前hbase的版本不符引起的(这比较扯,我的hive完全没有运行,两者肯定没有关系),
后来把hbase_home/lib(启动的时候会加载里面所有jar) 下的hadoop-core-0.20-append-r1056497.jar rm 掉,再cp hadoop_home下的hadoop-core-0.20.203.0.jar到lib中,
满心期待的start-hbase.sh,还是没启动起来,再次失望了(我这看国足的人,失望是常事,没什么!!),这时候开始怀疑:难道不是网上所说的版本问题?


开始继续搜索,无果,全都说是版本问题,静下来认真看看hbase的master log吧,log中写道:

2011-08-31 18:15:20,351 FATAL org.apache.hadoop.hbase.master.HMaster: Unhandled exception. Starting shutdown.
java.lang.NoClassDefFoundError: org/apache/commons/configuration/Configuration

现在NoClassDefFoundError,缺少 org/apache/commons/configuration/Configuration 果断给他加一个commons-configuration包试试,
从hadoop_home/lib下面cp一个commons-configuration-1.6.jar到hbase_home/lib下,

回忆刚才rm掉的包是 hadoop-core-0.20-append-r1056497.jar.难道它append org/apache/commons/configuration/Configuration 在包里面了,查看一下,并没有多余的类,也就是说即使版本没问题同样会有NoClassDefFoundError,
再次start-hbase.sh,jps一下,HMaster 出现,此问题搞定。内牛满面

************************************************************分割线**************************************************

貌似,第一行红字,可以解决匹配问题,但缺少一个包,所以再补充一个包

 

分享到:
评论

相关推荐

    hbase指南 英文

    自那时起,HBase 经历了多次重大更新,不断引入新的特性和改进性能。 #### 二、HBase 架构 **2.1 HBase 架构概述** HBase 的架构主要由以下几个组件构成: - **Client**:客户端负责发起读写请求,并与 HMaster ...

    HBase文档.doc

    自2006年,HBase经历了从开发到成为Apache顶级项目的历程,现在已被广泛应用于需要处理海量数据的公司和组织。 【HBase特点】 1. **海量存储**:HBase能够轻松应对PB级别的数据存储需求,即使在使用普通硬件的情况...

    hbase在淘宝的应用与优化

    淘宝在选择HBase版本时,经历了从早期版本到成熟稳定版本的过程,最终选择了0.92.1版本作为基础,进行了深度定制和优化。此版本引入了CoProcessor、HFile V2、安全特性等重要改进,提升了系统性能和功能完备性。 ##...

    Hbase框架原理和开发指导-基础篇.docx

    自2007年诞生以来,HBase经历了多个版本的迭代,逐渐成为一个成熟的、稳定的大数据存储解决方案。 HBase的核心特性包括: 1. 高可靠性:HBase通过分布式存储和复制策略确保数据的高可用性。每个数据块都有多个副本...

    大数据云计算技术系列 Hadoop之Hbase简介(共19页).pdf

    从2008年开始,Hbase经历了多个版本迭代,如0.18和0.19,持续优化和完善。 Hbase是Google BigTable的开源克隆,它构建在Hadoop的分布式文件系统(HDFS)之上,提供了一种高可靠、高性能、列式存储、可扩展且实时...

    HBase应用与发展之ApacheHBase的现状和发展.pdf

    自2006年诞生以来,HBase经历了快速的成长。最初由Powerset公司发起,随后加入Apache孵化器,并于2010年成为Apache顶级项目。目前,HBase已经成为Apache基金会中最活跃的项目之一,拥有广泛的用户群体和贡献者基础。...

    HBase数据备份与恢复.pdf

    因为社区的反馈,设计经历了重大变化,并且目前主要是由开发人员和质量保证工程师进行测试。 关于HBase备份的类型,文档中提出了全备份和增量备份的概念。全备份是增量备份的基础,而增量备份可以定期捕获数据变化...

    2018HBase技术总结

    HBase作为一款开源的分布式NoSQL数据库,自2018年以来经历了显著的技术演进和生态系统扩展。它最早是受Google BigTable论文的启发而开发的,具有分布式、多版本、面向列的特点。HBase特别适合存储非结构化数据,比如...

    ranger-2.0.0-hbase-plugin.tar.gz

    3. 在HBase集群节点上安装插件,可能涉及将插件复制到每个节点,并在HBase配置中指定Ranger插件的位置。 4. 配置Ranger客户端,这包括修改HBase的配置文件以启用Ranger审计和授权。 5. 启动Ranger服务和HBase集群,...

    第1章 HBase入门-v1.3.docx

    HBase自2006年诞生以来,经历了多次版本迭代,逐渐成为大数据领域的主流数据库之一。 1.6 HBase特点 HBase的核心特性包括:分布式、表结构、列式存储、多版本、自动分区和负载均衡。 1.7 RDBMS与HBase的对比 ...

    HBase-Administration-Cookbook.pdf

    作者的教育背景和职业经历可能为读者提供了宝贵的一线经验和知识。 综上所述,文档《HBase-Administration-Cookbook.pdf》是一本专注于HBase数据库管理的实用指南,旨在为读者提供系统配置、性能优化以及故障排除等...

    阿里云Hbase PPT

    特别是在历年双十一期间,HBase都经历了严格的考验,并且得到了进一步的优化和功能增强。 ### 总结 阿里云HBase凭借其分布式存储能力,可以满足PB级别的数据存储需求,并且在成本控制、QPS性能提升等方面对传统...

    HBase:HBase_in_Alibaba_Search(绝顶).pdf

    2. 历史和规模:HBase在阿里巴巴的应用可追溯至2010年,那时的版本仅为0.20.6,随着业务的需求和技术的发展,HBase在阿里内部经历了多个版本的迭代和升级。从0.20.6升级到0.90.3,然后升级到0.92.1,再到0.94.1等,...

    HBase 官方文档 中文版0.97.pdf

    文档中还提到了修订历史,指出文档经历了几个版本的升级,例如从0.94.x升级到0.96.x、0.92.x升级到0.94.x等。 HBase的数据模型设计包括表、行、列族(Column Families)、单元格(Cells)以及与之相关的操作和版本...

    hbase的介绍

    自2006年由Chad Walters和Jim开始研发以来,HBase经历了从最初的Hadoop贡献项目到2008年成为Apache顶级项目的转变。其0.18和0.19版本的发布标志着HBase逐渐成熟,成为一个稳定可靠的存储解决方案。 HBase被视为...

    HBase在阿里搜索推荐中的应用

    阿里巴巴集团的HBase集群从2010年开始发展,已经经历了超过10个版本的更新迭代,集群规模从最初的几十个节点成长到超过5000个节点,最大集群节点数达到2000+。在日常使用中,集群的吞吐量超过5000万次/秒,单个CPU...

Global site tag (gtag.js) - Google Analytics