`
qindongliang1922
  • 浏览: 2184128 次
  • 性别: Icon_minigender_1
  • 来自: 北京
博客专栏
7265517b-f87e-3137-b62c-5c6e30e26109
证道Lucene4
浏览量:117538
097be4a0-491e-39c0-89ff-3456fadf8262
证道Hadoop
浏览量:125924
41c37529-f6d8-32e4-8563-3b42b2712a50
证道shell编程
浏览量:59915
43832365-bc15-3f5d-b3cd-c9161722a70c
ELK修真
浏览量:71301
社区版块
存档分类
最新评论

hbase表数据备份策略

阅读更多



Hbase的数据备份策略有:

(1)Distcp

(2)CopyTable

(3)Export/Import

(4)Replication

(5)Snapshot


下面介绍这几种方式:

(一)Distcp(离线备份)

直接备份HDFS数据,备份前需要disable表,在备份完成之前
服务不可用对在线服务类业务不友好

(二)CopyTable(热备)

执行命令前,需要创建表,支持时间区间、row区间,改变表名称,改变列簇名称,指定是否copy删除数据等功能,例如:
 hbase org.apache.hadoop.hbase.mapreduce.CopyTable --starttime=1265875194289 --endtime=1265878794289 --peer.adr= dstClusterZK:2181:/hbase --families=myOldCf:myNewCf,cf2,cf3 TestTable
 
    1、同一个集群不同表名称
 
      hbase org.apache.hadoop.hbase.mapreduce.CopyTable --new.name=tableCopy  srcTable
 
    2、跨集群copy表
 
      hbase org.apache.hadoop.hbase.mapreduce.CopyTable --peer.adr=dstClusterZK:2181:/hbase srcTable

三、Export/Import(热备+离线)

通过Export导出数据到目标集群的hdfs,再在目标集群执行import导入数据,Export支持指定开始时间和结束时间,因此可以做增量备份。


四,Replication(实时)

通过Hbase的replication机制实现Hbase集群的主从模式实时同步



五,Snapshot(备份实时,恢复需要disable)

个人觉得这里备份里面最经济划算的一个,可以每天在固定时间点对hbase表数据进行快照备份,然后如果出现问题了,可以直接恢复到某个时间点上的数据,适合修复指标计算错误的场景,然后从某个时间点上重新修复。

下面详细说下使用方式:

(1)先建立一个测试表
 create 'test','cf'
 


(2)添加数据
 > put 'test','a','cf:c1',1
> put 'test','a','cf:c2',2
> put 'test','b','cf:c1',3
> put 'test','b','cf:c2',4
> put 'test','c','cf:c1',5
> put 'test','c','cf:c2',6
 


(3)创建快照
 
  hbase snapshot  create -n test_snapshot -t test
  
  


(4)查看快照
 list_snapshots
 


(5)导出到HDFS
 hbase org.apache.hadoop.hbase.snapshot.ExportSnapshot -snapshot test_snapshot -copy-to  hdfs://user/back/xxx
 



(6)从快照恢复数据到原表中
restore _snapshot 'test_snapshot'



(7)从快照中恢复到一个新表中
clone_snapshot 'test_snapshot','test_2'


有什么问题可以扫码关注微信公众号:我是攻城师(woshigcs),在后台留言咨询。
技术债不能欠,健康债更不能欠, 求道之路,与君同行。



0
1
分享到:
评论

相关推荐

    hbase备份和数据恢复

    理解这一模型对备份策略至关重要。 2. 备份方法: - HBase的快照功能:HBase支持在线快照,通过创建快照可以在不锁定表的情况下捕获数据的即时状态,快照可以用于快速恢复。 - HLog备份:HBase的日志文件(HLog)...

    HBase数据备份与恢复.pdf

    HBase数据备份与恢复技术是在云计算环境下,为了保证大规模分布式数据库的数据安全,提供数据恢复能力的重要技术手段。HBase作为Apache开源项目Hadoop的数据库子项目,是一个分布式的、面向列的开源数据库,适用于非...

    [案例]从冷备份的hdfs数据中恢复到原来的hbase表

    ### 从冷备份的HDFS数据中恢复到原来的HBase表 #### 概述 本文档详细介绍了一种从HDFS中的冷备份数据恢复至HBase表的方法。此过程适用于使用了HBase 1.1.x 和 Hadoop 2.7.x版本的环境。通过以下步骤,可以有效地将...

    hbase备份恢复实例

    但在实际应用过程中,如何高效地进行数据备份与恢复成为了一个不容忽视的问题。本文将详细介绍HBase中的几种备份恢复方法,包括快照(Snapshots)、复制(Replication)、导出/导入(Export/Import)以及拷贝表(CopyTable)...

    hbase,mysql备份压缩springboot代码

    HBase和MySQL作为两种广泛应用的数据库系统,它们的备份策略和技术各有特点。SpringBoot作为一个轻量级的Java框架,可以方便地集成这些数据库操作。下面我们将深入探讨HBase和MySQL的备份、压缩以及如何在SpringBoot...

    Learning HBase(中文版)

    8. **备份与恢复**:讲解HBase的数据备份策略,包括快照、导出导入等方法,以及灾难恢复方案。 9. **案例研究**:提供真实应用场景,如互联网日志分析、物联网数据存储等,展示HBase的实际运用。 10. **HBase与...

    hbase-0.94.1手动数据迁移.docx

    同时,考虑到数据的安全性,建议在迁移前进行数据备份。 总的来说,HBase的数据迁移是一个涉及数据下载、传输、上传、元数据修复和数据一致性验证的复杂过程,需要谨慎操作以避免数据丢失或损坏。在进行此类操作时...

    HBase配置文件与HBase doc文档

    8. **复制和备份**:HBase支持数据复制以提高可用性,文档会解释如何配置复制和进行数据备份与恢复。 9. **安全与认证**:HBase与Kerberos的集成,实现安全的集群操作。 通过深入学习这些文档和配置文件,开发者...

    毕业设计-基于HBase实现的手机数据备份系统,实现了手机关键信息的备份,如短信、联系人、重要文件等.zip

    标题中的“基于HBase实现的手机数据备份系统”是一个典型的分布式大数据存储项目,主要目标是利用HBase这种列式数据库来实现对手机数据的有效备份。HBase是构建在Hadoop生态系统上的非关系型数据库,特别适合处理大...

    hbase 示例

    8. **备份与恢复**:HBase提供了数据备份和恢复机制,以应对数据丢失或错误。在Twitbase中,这部分可能涉及到如何备份和恢复推文数据。 9. **Zookeeper**:HBase依赖Zookeeper进行协调和服务发现,了解Zookeeper的...

    毕业设计-基于HBase实现的手机数据备份系统,实现了手机关键信息的备份,如短信、联系人、重要文件等。.zip

    作为毕业设计或课程设计的题目,这个项目涵盖了多个重要主题,包括大数据存储、数据备份策略、Java编程、分布式系统和安全性。参与这样的项目可以帮助学生巩固理论知识,提升实际开发技能,并锻炼解决问题的能力。 ...

    hbase安装包

    在实际应用中,你可能还需要学习如何创建表、插入数据、查询数据、管理表的列族和版本、进行数据的批量导入导出、监控HBase性能等操作。此外,HBase的运维也是一项重要任务,包括定期备份、恢复、优化等。理解HBase...

    HBase Design Patterns

    12. **备份与恢复**:HBase提供在线备份和恢复功能,确保数据安全。 13. **Coprocessor机制**:Coprocessor是一种扩展机制,允许用户在RegionServer端自定义逻辑,实现数据过滤、计算等功能,提高性能。 14. **表...

    hbase技术分享

    - export:将表数据写入HDFS,用于备份等。 - exportsnapshot:将特定快照导出到指定的文件系统。 - import:导入通过export命令导出的数据。 - importtsv:导入以TSV(Tab-Separated Values)格式的数据。 - ...

    精品--毕业设计-基于HBase实现的手机数据备份系统,实现了手机关键信息的备份,如短信、联系人、重要文件等。.zip

    【标题】中的“基于HBase实现的手机数据备份系统”是一个使用开源大数据存储技术HBase构建的项目,目的是为了备份手机中的关键数据,包括短信、联系人和重要文件等。这个系统可能涉及到分布式数据库管理、大数据处理...

    5-2+快手HBase在千亿级用户特征数据分析中的应用与实践.pdf

    为了确保系统的稳定性和高可用性,快手可能还构建了HBase集群,并配合Hadoop的其他组件(如HDFS和MapReduce)进行数据备份、恢复和离线处理。 在性能调优方面,文章可能涉及了HBase的Region分裂策略、Compaction...

    HBase@不睡觉书副本.rar

    此外,还讨论了HBase的索引、过滤器、MapReduce与HBase的集成、HBase的数据备份和恢复等高级主题,以满足不同层次读者的需求。 书中还特别强调了HBase在实际项目中的应用案例,例如在互联网日志分析、物联网数据...

    How-to: Use HBase Bulk Loading, and Why

    同时,应有故障恢复计划,如数据备份和重试策略。 综上所述,HBase的批量加载功能是大数据场景下快速导入大量数据的关键技术。通过合理的预处理和工具利用,可以显著提升数据处理效率,降低系统负载,从而更好地...

Global site tag (gtag.js) - Google Analytics