`
lc_koven
  • 浏览: 353300 次
  • 性别: Icon_minigender_1
  • 来自: 杭州
社区版块
存档分类
最新评论

hbase中多次加载root及meta的bug

 
阅读更多
    执行以下case可以见到root或meta被加载两次：
  • 1 kill掉root和meta表所在的rs
  • 2 start该台rs
  • 3 立即再次kill掉这台rs
  • 4 立即再次start该台rs

    原因：
    当ROOT表和META表所在的server如果挂掉了，不管是重启这台rs还是等待它自然超时，master都会触发ServerShutdownHandler。此时如果这台server再次挂掉，master将再次触发ServerShutdownHandler。而ServerShutdownHandler中会加载所有的region，其中root和meta可能被加载两次（其它region不会重复加载，因为是通过RIT管理的）
    解决办法是在ServerShutdownHandler中对root和meta在加载之前做一次检测，看是否己经被加载。可参见HBASE-3914及HBASE-4590
1
顶
1
踩
分享到：
| 两次hbase丢失数据的故障及原因分析
评论
发表评论

您还没有登录,请您登录后再发表评论

相关推荐

    hbase-meta-repair-hbase-2.0.2.jar

    HBase 元数据修复工具包。 ①修改 jar 包中的application.properties，重点是 zookeeper.address、zookeeper.nodeParent、hdfs....③开始修复 `java -jar -Drepair.tableName=表名 hbase-meta-repair-hbase-2.0.2.jar`

    hbase-0.94脚本hbase在cygwin的环境的bug

    标题中提到的“hbase-0.94脚本在cygwin的环境的bug”可能涉及到以下几个方面： 1. **路径处理**：HBase使用Unix风格的路径（/）进行操作，而Cygwin则需要适当地转换这些路径为Windows格式（\）。不正确的路径处理...

    Hbase 官方中文文档

    HBase官方中文文档概述了Apache HBase TM的基本概念、配置方法、升级策略、shell使用、数据模型、架构设计、安全机制、API接口、性能调优以及故障排除等多方面的知识。HBase是一个开源的非关系型分布式数据库（NoSQL...

    hbase安装与hbase架构说明

    Zookeeper在HBase中扮演着关键角色，它不仅存储了根表-ROOT-和元数据表.META.的位置信息，还负责协调HMaster的选举，确保没有单点故障。HBase中的多个HMaster通过Zookeeper的Master Election机制来确定主HMaster，主...

    HbaseTemplate 操作hbase

    在IT行业中，尤其是在大数据处理领域，HBase是一个广泛使用的分布式、高性能、列式存储的NoSQL数据库。HBase是建立在Hadoop文件系统（HDFS）之上，为处理大规模数据提供了一个高效的数据存储解决方案。而Spring Data...

    多线程 hbase

    本篇文章将深入探讨如何在HBase操作中有效地利用多线程。 一、HBase简介 HBase是一种列式存储的数据库，它适合存储非结构化或半结构化的海量数据。HBase基于Hadoop文件系统（HDFS）提供高可用性和容错性，其设计...

    HBase 0.97 中文文档

    HBase 0.97 中文文档 HBase 0.97 中文文档 HBase 0.97 中文文档

    java操作Hbase之从Hbase中读取数据写入hdfs中源码

    在Java编程环境中，操作HBase并将其数据写入HDFS（Hadoop Distributed File System）是一项常见的任务，特别是在大数据处理和分析的场景下。本篇将详细介绍如何使用Java API实现这一功能，以及涉及到的关键技术和...

    HBase中Coprocessor的介绍以及实际业务场景中的使用.pdf

    讲师：陈杨——快手大数据高级研发工程师 ...内容概要：(1)讲解hbase coprocessor的原理以及使用场景，(2) coprocessor整个流程实战，包括开发，加载，运行以及管理(3)结合1，2分析coprocessor在rsgroup中的具体使用

    hive和hbase整合

    总之，Hive与HBase的整合使得用户可以在Hive的SQL环境中处理和查询存储在HBase中的大数据，从而实现离线分析和实时查询的无缝对接。在实际应用中，要注意配置的正确性，确保所有依赖的服务正常运行，并且数据导入和...

    MR程序Bulkload数据到hbase

    4. **HFile移动**：使用HBase的`importtsv`命令或自定义工具，将HDFS上的HFile移动到HBase的`-ROOT-`和`.META.`表的region服务器上，或者直接将HFile路径添加到HBase的表中。 5. **数据加载**：一旦HFile被正确地...

    zookeeper及hbase安装

    ### Zookeeper及HBase安装配置详解 #### 一、Zookeeper安装配置 **目标环境**： - 三台服务器：192.168.15.5（master）、192.168.15.6（slave1）、192.168.15.7（slave2） **步骤一：主机名映射** - 在每台服务器...

    Hbase中文文档

    3.1. 从HBase 0.20.x or 0.89.x 升级到 HBase 0.90.x 3.2. 从 0.90.x 到 0.92.x 4. The HBase Shell 4.1. 使用脚本 4.2. Shell 技巧 5. 数据模型 5.1. 概念视图 5.2. 物理视图 5.3. 表 5.4. 行 5.5. 列族 5.6. Cells...

    HBase官方文档

    用户可以在MapReduce程序中访问HBase中的数据，也可以将MapReduce作为批量加载数据到HBase中的手段。 ### HBase安全 HBase的安全章节讲述了如何安全地访问HBase集群，包括安全客户端访问、访问控制和安全批量加载...

    Python-HBase中文参考指南

    本指南针对HBase的中文用户，旨在帮助读者更好地理解和使用HBase，特别是在Python环境中进行开发。 ### 一、HBase简介 HBase是Google Bigtable的开源实现，它具有高度可扩展性，能够存储海量数据，并且支持实时...

    java大数据作业_3HBase

    这可以通过修改`hbase-site.xml`文件中的`hbase.master.info.port`和`hbase.master.info.address`属性来实现，指定多个Master节点。例如： ```xml <name>hbase.master.info.address <value>master1:60010,...

    大数据HBASE考题材料

    HBase中的批量加载通常使用MapReduce实现，这种方式可以有效地处理大量的数据导入操作。 #### 多项选择题解析 1. **HBase的特性** - HBase是开源的：虽然题目中提到“不是开源的”这个选项不正确，但HBase确实...

    搭建HBase完全分布式数据库

    6. ZooKeeper：作为协调服务，负责管理ROOT表和META表，这些表存储了HBase中表的元数据信息，同时它还负责监控HBase集群中的节点状态，以及故障转移时HMaster的选举。 三、HBase数据库模型： HBase的数据模型设计为...

Magicbox
Global site tag (gtag.js) - Google Analytics