`
wx1569578408
  • 浏览: 71535 次
最近访客 更多访客>>
文章分类
社区版块
存档分类
最新评论

Hbase 学习(十) HBase Snapshots

 
阅读更多

HBase Snapshots允许你对一个表进行快照(即可用副本),它不会对Region Servers产生很大的影响,它进行复制和 恢复操作的时候不包括数据拷贝。导出快照到另外的集群也不会对Region Servers产生影响。 下面告诉你如何使用Snapshots功能

1.开启快照支持功能,在0.95+之后的版本都是默认开启的,在0.94.6+是默认关闭  

<property>
    <name>hbase.snapshot.enabled</name>
    <value>true</value></property>

 

2.给表建立快照,不管表是启用或者禁用状态,这个操作不会进行数据拷贝

$ ./bin/hbase shell 
hbase> snapshot ,

 

3.列出已经存在的快照

$ ./bin/hbase shell 
hbase> list_snapshots

 

4.删除快照

$ ./bin/hbase shell 
hbase> delete_snapshot 'myTableSnapshot-122112'

 

5.从快照复制生成一个新表

$ ./bin/hbase shell 
hbase> clone_snapshot 'myTableSnapshot-122112', 'myNewTestTable'

 

6.用快照恢复数据,它需要先禁用表,再进行恢复

$ ./bin/hbase shell
hbase> disable 'myTable' hbase> restore_snapshot 'myTableSnapshot-122112'


提示:因为备份(replication)是系统日志级别的,而快照是文件系统级别的,当使用快照恢复之后,副本会和master出于不同的状态,如果你需要使用恢复的话,你要停止备份,并且重置bootstrap。

如果是因为不正确的客户端行为导致数据丢失,全表恢复又需要表被禁用,可以采用快照生成一个新表,然后从新表中把需要的数据用map-reduce拷贝到主表当中。

 

7.复制到别的集群当中

该操作要用hbase的账户执行,并且在hdfs当中要有hbase的账户建立的临时目录(hbase.tmp.dir参数控制)

采用16个mappers来把一个名为MySnapshot的快照复制到一个名为srv2的集群当中

$ bin/hbase class org.apache.hadoop.hbase.snapshot.tool.ExportSnapshot -snapshot MySnapshot -copy-to hdfs://srv2:8020/hbase -mappers 16


转载于:https://my.oschina.net/u/923508/blog/413938

分享到:
评论

相关推荐

    hbase-hbck2-1.1.0-SNAPSHOT.jar

    hbase-hbck2-1.1.0-SNAPSHOT.jar

    hbase-hbck2-1.2.0-SNAPSHOT.jar

    HBCK是HBase1.x中的命令,到了HBase2.x中,HBCK命令不适用,且它的写功能(-fix)已删除; HBCK2已经被剥离出HBase成为了一个单独的项目,如果你想要使用这个工具,需要根据自己HBase的版本,编译源码。其GitHub地址...

    HBase hbck 2.0 jar包下载

    该文件为hbase hbck2 jar;适用于hbase 2.x维护,hbase 1.x不适用;对于HBase跨集群HD集群迁移,当HDFS文件迁移后,...当前版本:hbase-hbck2-1.3.0.jarhbase hbck -j /opt/software/hbase-hbck2-1.3.0-SNAPSHOT.jar

    geomesa-hbase安装包

    3. 配置环境变量:在系统环境变量中添加Geomesa-HBase的路径,如`export GEOMESA_HBASE_HOME=/path/to/geomesa-hbase-2.1.0-SNAPSHOT`。 4. 链接HBase:在HBase的conf/hbase-site.xml中配置Geomesa的相关属性,如`...

    apache_hbase_reference_guide-3.0.0-SNAPSHOT

    【标题】中的 "apache_hbase_reference_guide-3.0.0-SNAPSHOT" 指出了这是一份关于 HBase 版本 3.0.0 的快照版官方参考指南。这意味着它可能包含了 3.0.0 版本即将发布的特性以及可能的不稳定因素。参考指南通常详细...

    hbase和hadoop数据块损坏处理

    * hbase org.apache.hadoop.hbase.snapshot.ExportSnapshot -snapshot 'snap_test' -copyto /data/huang_test:将快照导出到 HDFS * clone_snapshot 'snap_test', 'test':将快照恢复到 HBase 表中 五、手动修复 ...

    apache-atlas-2.0.0-SNAPSHOT-hbase-hook.tar.gz

    在描述中提到的 "atlas hbase 编译好的 hook 包" 指的是这个 `apache-atlas-hbase-hook-2.0.0-SNAPSHOT` 文件,这是一个已经编译完成的可部署组件,可以直接在运行中的 Atlas 和 HBase 集群上使用。SNAPSHOT 版本...

    ranger-2.0.0-SNAPSHOT-hbase-plugin.tar.gz

    在下载并解压“ranger-2.0.0-SNAPSHOT-hbase-plugin.tar.gz”文件后,我们得到了“ranger-2.0.0-SNAPSHOT-hbase-plugin”目录,这包含了所有必要的组件和服务。安装过程通常包括以下几个步骤: 1. **系统准备**:...

    hbase基于快照的数据迁移

    /usr/hdp/2.3.4.7-4/hbase/bin/hbase org.apache.hadoop.hbase.snapshot.ExportSnapshot snapshot 'snap_table_test1' copy-to hdfs://10.106.1.165:8020/apps/hbase/data --overwrite ``` #### 三、目标集群操作...

    Idp_S_Mysql2Hbase-1.0-SNAPSHOT-jar-with-dependencies

    参考:https://blog.csdn.net/yangbutao/article/details/12911487

    phoenix-core-4.7.0-HBase-1.1-API文档-中文版.zip

    赠送jar包:phoenix-core-4.7.0-HBase-1.1.jar; 赠送原API文档:phoenix-core-4.7.0-HBase-1.1-javadoc.jar; 赠送源代码:phoenix-core-4.7.0-HBase-1.1-sources.jar; 赠送Maven依赖信息文件:phoenix-core-4.7.0...

    HBase 官方文档

    通过以上解析可以看出,《HBase 官方文档》覆盖了 HBase 的各个方面,从基础入门到高级应用,再到故障排除,是一份非常全面的技术文档,对于学习和使用 HBase 的技术人员来说具有极高的参考价值。

    Hbase 的shell基本操作

    HBase是Apache的一个开源非关系型分布式数据库(NoSQL),它是建立在Hadoop文件系统(HDFS)之上,适用于需要快速读/写访问大量随机数据的场景。HBase采用了Google的Bigtable数据模型,底层物理存储采用了列存储的...

    hbase备份恢复实例

    hbase(main):003:0&gt; snapshot 'test', 'test_snapshot' ``` 上述命令会在几秒内完成,并且对整个集群的性能影响几乎可以忽略不计。 2. **查看快照**:使用`list_snapshots`命令可以列出当前所有的快照信息,包括...

    hbase hbck2 jar

    hbase hbck2 jar; 完整打包;...使用命令:hbase hbck -j hbase-hbck2-1.3.0-SNAPSHOT.jar fixMeta,最后两个参数分别代表 hbck2 jar包路径,维护命令(hbase-hbck2-1.3.0-SNAPSHOT.jar fixMeta)

    ranger-2.0.0-hbase-plugin.tar.gz

    它支持多种数据存储和服务,包括Hadoop、Hive、HBase等。Ranger 的一个重要功能是为这些组件提供细粒度的访问控制,确保数据的安全性。在这个场景中,我们关注的是Ranger与HBase的集成,即“ranger-2.0.0-hbase-...

    HBase权威指南中文版+官方文档

    #### 十四、HBase运营管理 - **HBase工具与实用程序**:列举常用的HBase管理工具。 - **Region管理**:介绍Region管理的相关知识。 以上内容为《HBase权威指南》中文版中的核心知识点梳理,涵盖了从HBase的基础...

    hive0.8.1和hbase0.92.0集成的hive-hbase-handler.Jar包

    hive0.8.1和hbase0.92.0集成的hive-hbase-handler.Jar包,里面包含:hbase-0.92.0.jar、hbase-0.92.0-tests.jar、hive-hbase-handler-0.9.0-SNAPSHOT.jar。经测试没有问题。

    HBase分布式事务与SQL实现

    Percolator的事务特性包括ACID(原子性、一致性、隔离性、持久性)语义和快照隔离(Snapshot Isolation),后者对于关系型数据库管理系统(RDBMS)而言可能偏弱,因此需要显式地维持锁。Percolator包括三个主要组件...

    Hbase_目录结构.pptx

    /hbase/archive (1) 进行snapshot或者升级的时候使用到的归档目录。compaction删除hfile的时 候,也会把旧的hfile归档到这里等。 /hbase/corrupt (2) splitlog的corrupt目录,以及corrupt hfile的目录。

Global site tag (gtag.js) - Google Analytics