HBase迁移数据方案1（两个集群不能通信）

前一篇文章里面介绍了 两个可以直接通信的集群之间很容易拷贝数据从而迁移HBase数据。

 

但是如果两个集群在不同的网络，没法通信呢？

 

今天测试了一个方案：

 

把某个表(table1)从集群1迁移到集群2（两个集群互相看不见），步骤如下

 

1、拷贝集群1的表文件到本地磁盘 :

/app/cloud/hadoop/bin/hadoop fs -copyToLocal /hbase/table1 /data0/hbase-backup/table1

 

2、对于文件操作，很简单吧，随便你怎么去拷贝来拷贝去

3、如果集群2中也有对应的表文件，那么删除掉，然后拷贝

/app/cloud/hadoop/bin/hadoop fs -rmr /hbase/table1
/app/cloud/hadoop/bin/hadoop fs -copyFromLocal /data0/hbase-backup/table1 /hbase/table1

 4、重置该表在.META.表中的分区信息

bin/hbase org.jruby.Main bin/add_table.rb /hbase/table1

 

另外：

1、如果表的数据量过大呢？ 那么按照该表在HDFS中的文件夹数据，分批拷贝。

2、如果两个集群可以互相通信呢？那么更爽了，直接使用distcp对拷，是并行的。