`
flychao88
  • 浏览: 753297 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

Hbase安装常见问题总结

 
阅读更多

    最近这段时间因为工作需要安装了hadoop+hbase集群,在安装的过程中总结了以下一些常见的问题,供大家参考。

 

一、问题1

ERROR org.apache.hadoop.hdfs.server.namenode.FSNamesystem: FSNamesystem initialization failed. 

1.       删除/tmphadoop 有关系的东西目录及文件(如果/tmp 下没有重要东西,可以 rm –fr /tmp/*

2.       $ /home/hadoop/hadoop/bin/hadoop namenode –format

 

 

问题二、问题2

1.       请检查namenode & datanode 的配置文件conf/mapred-site.xml conf/core-site.xml 里是否出现localhost ,这样会存在解析不到地址,需要改成主机名,我这里将localhost修改master,重启服务,出现下图为正常

 

 

 

三、问题3

无法打开http://10.1.1.4:50070 页面上的Browse the filesystem,其他的正常

这是因为访问时候会跳转到node1 & node2(使用域名而不是ip访问)机器上,需要关闭node1& node2 iptables后并在本地添加hosts记录(即:要用那台机子访问就在那台机子添加)

10.1.1.3        master

10.1.1.4        node1

10.1.1.10       node2

 

四、问题4

INFO org.apache.hadoop.ipc.RPC: Server at localhost/127.0.0.1:9000 not available yet, Zzzzz...

1.先清空tmp目录下的所有文件。因为每次namenode format会重新创建一个namenodeId,tmp/dfs/data下包含了上次format下的id,namenode format清空了namenode下的数据,但是没有清空datanode下的数据,导致启动时namespaceIDs不一致

2.执行 bin/hadoop namenode -format
3.
执行 bin/start-all.sh

五、问题5

hbase 的管理页面http://10.1.1.3:60010打不开

看日志提示应该是hadoop的安全模式问题

执行/home/hadoop/hadoop/bin/hadoop  dfsadmin -safemode leave 退出安全模式,然后重启hbase即可

 

六、问题6

 

ERROR org.apache.hadoop.hbase.master.HMasterCommandLine: Failed to start master

java.lang.RuntimeException: HMaster Aborted

查看datanode的时间是否和namenode一样!

七、问题7
could only be replicated to 0 nodes, instead of 1
hosts配置文件中 namnode 对应的是127.0.0.1 datanode访问不了namenode的9000端口
 
分享到:
评论

相关推荐

    第8章 HBase组件安装配置.pdf

    HBase 组件安装配置知识点总结 ...8. HBase 组件安装的常见问题: * HBase 安装包解压缩失败 * 环境变量配置错误 * HBase 服务无法启动 本章节详细讲述了 HBase 组件的安装和配置过程,并总结了相关的知识点。

    hbase常见错误整理3年运维经验整理

    ### HBase常见错误及解决方案:3年运维经验总结 #### 一、配置第三方依赖包HADOOP_CLASSPATH和HBase问题 **问题描述** 在本地开发HBase程序时,虽然本地编译能够通过(因为在IDE中已经导入了必要的jar包),但在...

    Hadoop(Hbase)的安装部署与配置实验

    通过本次实验, 学习者掌握了Hadoop和HBase的基本安装与配置流程, 包括搭建实验环境、配置Hadoop与HBase、测试集群以及解决常见问题等关键技能。这些步骤对于理解和实践大数据处理技术至关重要, 也为后续深入学习打下...

    hbase的安装与简单操作.doc

    本文详细介绍了HBase的安装步骤和基本操作方法,包括环境准备、安装配置、启动服务以及通过HBase Shell进行的各种常见操作。通过遵循这些步骤,用户可以顺利地搭建和使用HBase数据库。需要注意的是,实际部署过程中...

    hadoop2.2+hbase0.96+hive0.12安装整合详细高可靠文档及经验总结

    综上所述,本文详细介绍了如何安装和整合Hadoop2.2、HBase0.96和Hive0.12,并提供了一些常见的问题解决方案。对于初次接触这些技术的新手来说,遵循上述步骤可以大大减少安装过程中可能出现的问题。此外,对于那些...

    Hbase总结.docx

    HBase使用中常见的问题包括: 1. 热点问题(数据倾斜):当Rowkey设计不当,如连续的时间戳,会导致数据集中在某些RegionServer,影响读写性能。解决办法是通过随机数、加盐或改进Rowkey设计来改善数据分布。 2. ...

    hadoop2.2 hbase0.96 hive0.12安装整合详细高可靠文档及经验总结

    **4.2 HBase安装常见问题** - **启动失败**: 检查HMaster和RegionServer的日志,通常是因为权限问题或配置错误。 - **数据不一致**: 检查HBase集群的配置是否正确,以及Zookeeper的服务状态。 **4.3 Hive安装常见...

    Hadoop与HBase自学笔记

    ### Hadoop与HBase自学笔记知识点总结 #### 一、Hadoop与HBase简介 - **Hadoop**:是一款能够对大量数据进行分布式处理的软件框架。它通过提供高可靠性和高扩展性的分布式计算能力,使得用户能够在廉价的硬件设备...

    最新版linux hbase-2.3.3-bin.tar.gz

    在本文中,我们将深入探讨HBase 2.3.3在Linux环境中的核心概念、安装步骤、配置要点以及常见操作。 首先,让我们了解一下HBase的基本架构。HBase是建立在Hadoop Distributed File System (HDFS)之上的,它提供了一...

    经过测试,总结出可运行成功的C#For HBase示例代码

    标题"经过测试,总结出可运行成功的C# For HBase示例代码"表明,这里包含的是一系列已经经过验证的C#代码片段,它们能够成功地与HBase进行交互,执行常见的数据操作。这些示例代码对于初学者和有经验的开发者都极具...

    Python访问Hbase的库文件

    总结起来,`Hbase.py`和`ttypes.py`是为了解决Python在访问HBase时遇到的导入问题而创建的,它们通过重构接口和引入Thrift类型定义,使Python开发者能更好地与HBase交互。尽管不是长期的解决方案,但对于快速学习和...

    hbase备份和数据恢复

    同时,HBase与其他大数据组件如Hive和HDFS的交互也是日常操作中的常见需求。 一、HBase备份和数据恢复 1. HBase的数据模型:HBase是基于列族的NoSQL数据库,数据以行键、列族、列限定符和时间戳的形式存储。理解这...

    HBase企业应用开发实战-马延辉 孟鑫

    6. **HBase监控与故障排查**:作者分享了如何使用ZooKeeper、HBase Master和RegionServer的监控工具,以及如何诊断和解决常见的运行时问题。 7. **高级特性**:书中涵盖了HBase的高级特性,如Coprocessor(协处理器...

    HBase官方文档中文版

    - **通用指引**:提供了HBase常见问题的排查思路和方法。 - **日志与资源**:说明了如何查看和分析HBase的日志文件,以及一些有用的诊断工具。 - **客户端与MapReduce**:针对客户端使用过程中的问题以及MapReduce...

    HBase视频教程下载|基于微博数据应用的HBase实战开发

    3. 掌握HBase在开发中常见的技术大坑与调优技术。 课时1:HBase简介与部署 课时2:HBase架构与索引算法剖析 课时3:HBase建库建表与CRUD实战 课时4:基于HBase Client API的CRUD实战 课时5:批处理与扫描器实战...

    Hbase完全分布式集群搭建(详细+,看完就会,).docx

    HBase 完全分布式集群搭建 ...搭建 HBase 完全分布式集群需要了解 HBase 的架构、组件和配置,并且需要注意一些常见的问题。通过本文,我们可以了解 HBase 的基本概念和搭建方法,从而更好地应用 HBase 到实际项目中。

    Hadoop之Hbase从入门到精通

    总结而言,HBase作为Hadoop生态系统中的一个重要组成部分,不仅提供了强大的数据存储功能,还集成了丰富的数据访问和处理手段。通过深入理解HBase的核心概念和技术特性,开发者能够更好地利用HBase来解决实际问题,...

    hbase 开源数据库的安装和基本操作.docx

    ### HBase 开源数据库...通过对HBase的基本安装与操作的学习,我们可以更好地利用这一工具来解决实际问题。本文介绍的操作涵盖了HBase使用中最常见的几个方面,希望能够帮助初学者快速上手并深入探索HBase的强大功能。

Global site tag (gtag.js) - Google Analytics