Hbase的数据备份策略有:
(1)Distcp
(2)CopyTable
(3)Export/Import
(4)Replication
(5)Snapshot
下面介绍这几种方式:
(一)Distcp(离线备份)
直接备份HDFS数据,备份前需要disable表,在备份完成之前
服务不可用对在线服务类业务不友好
(二)CopyTable(热备)
执行命令前,需要创建表,支持时间区间、row区间,改变表名称,改变列簇名称,指定是否copy删除数据等功能,例如:
hbase org.apache.hadoop.hbase.mapreduce.CopyTable --starttime=1265875194289 --endtime=1265878794289 --peer.adr= dstClusterZK:2181:/hbase --families=myOldCf:myNewCf,cf2,cf3 TestTable
1、同一个集群不同表名称
hbase org.apache.hadoop.hbase.mapreduce.CopyTable --new.name=tableCopy srcTable
2、跨集群copy表
hbase org.apache.hadoop.hbase.mapreduce.CopyTable --peer.adr=dstClusterZK:2181:/hbase srcTable
三、Export/Import(热备+离线)
通过Export导出数据到目标集群的hdfs,再在目标集群执行import导入数据,Export支持指定开始时间和结束时间,因此可以做增量备份。
四,Replication(实时)
通过Hbase的replication机制实现Hbase集群的主从模式实时同步
五,Snapshot(备份实时,恢复需要disable)
个人觉得这里备份里面最经济划算的一个,可以每天在固定时间点对hbase表数据进行快照备份,然后如果出现问题了,可以直接恢复到某个时间点上的数据,适合修复指标计算错误的场景,然后从某个时间点上重新修复。
下面详细说下使用方式:
(1)先建立一个测试表
create 'test','cf'
(2)添加数据
> put 'test','a','cf:c1',1
> put 'test','a','cf:c2',2
> put 'test','b','cf:c1',3
> put 'test','b','cf:c2',4
> put 'test','c','cf:c1',5
> put 'test','c','cf:c2',6
(3)创建快照
hbase snapshot create -n test_snapshot -t test
(4)查看快照
list_snapshots
(5)导出到HDFS
hbase org.apache.hadoop.hbase.snapshot.ExportSnapshot -snapshot test_snapshot -copy-to hdfs://user/back/xxx
(6)从快照恢复数据到原表中
restore _snapshot 'test_snapshot'
(7)从快照中恢复到一个新表中
clone_snapshot 'test_snapshot','test_2'
有什么问题可以扫码关注微信公众号:我是攻城师(woshigcs),在后台留言咨询。
技术债不能欠,健康债更不能欠, 求道之路,与君同行。
分享到:
相关推荐
理解这一模型对备份策略至关重要。 2. 备份方法: - HBase的快照功能:HBase支持在线快照,通过创建快照可以在不锁定表的情况下捕获数据的即时状态,快照可以用于快速恢复。 - HLog备份:HBase的日志文件(HLog)...
HBase数据备份与恢复技术是在云计算环境下,为了保证大规模分布式数据库的数据安全,提供数据恢复能力的重要技术手段。HBase作为Apache开源项目Hadoop的数据库子项目,是一个分布式的、面向列的开源数据库,适用于非...
### 从冷备份的HDFS数据中恢复到原来的HBase表 #### 概述 本文档详细介绍了一种从HDFS中的冷备份数据恢复至HBase表的方法。此过程适用于使用了HBase 1.1.x 和 Hadoop 2.7.x版本的环境。通过以下步骤,可以有效地将...
但在实际应用过程中,如何高效地进行数据备份与恢复成为了一个不容忽视的问题。本文将详细介绍HBase中的几种备份恢复方法,包括快照(Snapshots)、复制(Replication)、导出/导入(Export/Import)以及拷贝表(CopyTable)...
HBase和MySQL作为两种广泛应用的数据库系统,它们的备份策略和技术各有特点。SpringBoot作为一个轻量级的Java框架,可以方便地集成这些数据库操作。下面我们将深入探讨HBase和MySQL的备份、压缩以及如何在SpringBoot...
8. **备份与恢复**:讲解HBase的数据备份策略,包括快照、导出导入等方法,以及灾难恢复方案。 9. **案例研究**:提供真实应用场景,如互联网日志分析、物联网数据存储等,展示HBase的实际运用。 10. **HBase与...
同时,考虑到数据的安全性,建议在迁移前进行数据备份。 总的来说,HBase的数据迁移是一个涉及数据下载、传输、上传、元数据修复和数据一致性验证的复杂过程,需要谨慎操作以避免数据丢失或损坏。在进行此类操作时...
8. **复制和备份**:HBase支持数据复制以提高可用性,文档会解释如何配置复制和进行数据备份与恢复。 9. **安全与认证**:HBase与Kerberos的集成,实现安全的集群操作。 通过深入学习这些文档和配置文件,开发者...
标题中的“基于HBase实现的手机数据备份系统”是一个典型的分布式大数据存储项目,主要目标是利用HBase这种列式数据库来实现对手机数据的有效备份。HBase是构建在Hadoop生态系统上的非关系型数据库,特别适合处理大...
8. **备份与恢复**:HBase提供了数据备份和恢复机制,以应对数据丢失或错误。在Twitbase中,这部分可能涉及到如何备份和恢复推文数据。 9. **Zookeeper**:HBase依赖Zookeeper进行协调和服务发现,了解Zookeeper的...
作为毕业设计或课程设计的题目,这个项目涵盖了多个重要主题,包括大数据存储、数据备份策略、Java编程、分布式系统和安全性。参与这样的项目可以帮助学生巩固理论知识,提升实际开发技能,并锻炼解决问题的能力。 ...
在实际应用中,你可能还需要学习如何创建表、插入数据、查询数据、管理表的列族和版本、进行数据的批量导入导出、监控HBase性能等操作。此外,HBase的运维也是一项重要任务,包括定期备份、恢复、优化等。理解HBase...
12. **备份与恢复**:HBase提供在线备份和恢复功能,确保数据安全。 13. **Coprocessor机制**:Coprocessor是一种扩展机制,允许用户在RegionServer端自定义逻辑,实现数据过滤、计算等功能,提高性能。 14. **表...
- export:将表数据写入HDFS,用于备份等。 - exportsnapshot:将特定快照导出到指定的文件系统。 - import:导入通过export命令导出的数据。 - importtsv:导入以TSV(Tab-Separated Values)格式的数据。 - ...
【标题】中的“基于HBase实现的手机数据备份系统”是一个使用开源大数据存储技术HBase构建的项目,目的是为了备份手机中的关键数据,包括短信、联系人和重要文件等。这个系统可能涉及到分布式数据库管理、大数据处理...
为了确保系统的稳定性和高可用性,快手可能还构建了HBase集群,并配合Hadoop的其他组件(如HDFS和MapReduce)进行数据备份、恢复和离线处理。 在性能调优方面,文章可能涉及了HBase的Region分裂策略、Compaction...
此外,还讨论了HBase的索引、过滤器、MapReduce与HBase的集成、HBase的数据备份和恢复等高级主题,以满足不同层次读者的需求。 书中还特别强调了HBase在实际项目中的应用案例,例如在互联网日志分析、物联网数据...
同时,应有故障恢复计划,如数据备份和重试策略。 综上所述,HBase的批量加载功能是大数据场景下快速导入大量数据的关键技术。通过合理的预处理和工具利用,可以显著提升数据处理效率,降低系统负载,从而更好地...