`

hbase 移植数据

 
阅读更多

1.把数据表test从hbase下拷出(hadoop dfs -get /hbase/test ./) 可借助hadoop fs -ls /hbase 查看

2.文件放到新集群的系统上。

3.文件拷入新的hadoop集群hbase下(hadoop dfs -put test /hbase/test)

4.到hbase shell下list,可以看到test表已经存在,但是你scan的时候出现未找到表错误:

TABLE
test
1 row(s) in 0.0220 seconds

hbase(main):062:0> scan 'test'
ROW                                        COLUMN+CELL
  • ERROR: Unknown table test!
  • 错误很容易理解:你只是把表放进内存,但是hbase并不清楚他的结构,也不知道有数据放进去,根据经验,这需要执行一些东西来让hbase与这些数据联系

5.先修复.META.表:

hbase hbck -fixMeta 或(hbase hbck -fix)

  这样scan'.META.'就能发现里面有test的信息,在执行scan,查看。

 

(网上很多版本说通过一个add_table.rb来实现,但是我的hbase下没有这个,所以尝试其他方式。)

6.如果依然失败:

 

hbase hbck -fixAssignments(重新分区)

 再执行test应该没有问题了。

转载 

分享到:
评论

相关推荐

    关系型数据库的数据导入Hbase

    关系型数据库(如MySQL、Oracle、SQL Server等)与非关系型数据库(如Hbase)在数据存储和处理上有着显著的区别。关系型数据库遵循ACID(原子性、一致性、隔离性和持久性)原则,适合结构化数据的存储,而Hbase作为...

    4.抽取mysql数据到hbase表中.docx

    ### 知识点详解 #### 一、HBase与MySQL数据抽取概述 1. **HBase简介**:HBase是...通过以上步骤,我们可以成功地将MySQL中的数据抽取到HBase表中,从而利用HBase的高性能和大数据处理能力来优化数据访问和分析流程。

    使用ApacheBeam和HBase进行高效数据处理.pdf

    HBase是一个分布式存储系统,它对数据进行行键(row-key)分区,以支持大数据集的随机实时读/写访问。它的结构类似于Google的Bigtable,提供了对数据的快速读写能力,适用于处理大量数据。 在Apache Beam中,数据...

    hbase-0.94脚本hbase在cygwin的环境的bug

    2. **权限问题**:Cygwin模拟的Unix权限模型可能与Windows原生的权限模型有冲突,这可能会影响到HBase的启动、停止或数据访问。 3. **文件描述符**:Unix和Windows对文件描述符的处理方式不同,可能需要特殊处理以...

    Docker hadoop zookeeper hbase 配置文件

    在这个场景中,每个服务(如 Hadoop、Zookeeper 和 HBase)都会运行在一个独立的 Docker 容器内,确保了环境的一致性和可移植性。 Hadoop 是一个分布式文件系统,是大数据处理的基础。HDFS 支持高容错性和高吞吐量...

    Hadoop云计算框架中的分布式数据库HBase研究.pdf

    HBase的数据模型是基于Google的BigTable的设计,它使用行键、列族和时间戳来定位存储的数据。在创建HBase表时,通常会自动创建一个region分区,以便于数据的存储和读取。当需要进行数据导入时,客户端可以根据需要...

    第10章Hadoop与HBase分布式集群安装与配置.pdf

    Hadoop和HBase是大数据领域中两个非常重要的开源分布式存储与处理系统,通常被广泛应用于大规模数据集的存储和处理。Hadoop3.x是Hadoop项目的一个主要版本,它对Hadoop进行了许多重要的改进和优化,包括对资源管理、...

    HareDB Data Model Management:用于将模式转换以及将数据从RDB迁移到HBase的GUI工具-开源

    将RDB数据转换为HBase时,非规范化是重要的一步。 HareDB数据模型管理是如上所述的GUI工具。 该工具提供了合并表功能,可以帮助您合并在RDB中具有关系的表。... 该工具可以减少从RDB到HBase的移植项目的时间成本。

    java DMS数据采集系统

    Java作为一种跨平台的编程语言,以其强大的稳定性和可移植性成为开发数据采集系统的首选。它提供了丰富的类库和API,支持多线程、网络通信和数据库连接,使得数据的获取、处理和存储变得更加便捷。 二、数据采集 1....

    accumulo-opentsdb:异步hbase的实现,该实现使用累积后端将opentsdb移植到累积

    此自述文件为您提供了在opentsdb安装的顶部添加accumulo-opentsdb的步骤的概述,以将时间序列数据而不是HBase放入accumulo。 依赖 在添加此补丁之前,我们假设您已经安装了以下软件: Maven 3.1.0(有关下载和安装...

    HDP 3.1 Tez 移植指南(CentOS 7.6).docx

    HDP(Hortonworks Data Platform)是 Hortonworks 的开源大数据平台,其中包含了 Hadoop、HBase、Hive、Spark 等多个大数据组件,是一个完整的大数据解决方案。 知识点2:什么是 Tez? Tez 是一个 Apache 项目,...

    大数据分析技术基础教学课件3-大数据处理平台Hadoop.pptx

    Hadoop的创始人Doug Cutting受到Google技术的启发,开发了NDFS,后来在Google MapReduce论文发布后,将其主要算法移植到了NDFS之上,进一步演变成Hadoop。 Hadoop的名称源于Doug Cutting的儿子的黄色大象玩具,这个...

    浅谈Hadoop在移动云计算中的应用.pdf

    其核心包括分布式文件系统Hadoop Distributed File System(HDFS)、MapReduce引擎、数据仓库工具Hive和分布式数据库HBase等关键组件。HDFS能够存储超大数据集并提供高吞吐量,适合部署在廉价硬件上,并支持以流的...

    springboot469基于大数据的心脏病患者数据分析.zip

    4. **医疗数据处理**:处理医疗数据需要遵循严格的隐私法规,如HIPAA(美国健康保险可移植性和责任法案)。项目可能涉及到数据脱敏、匿名化技术以保护患者隐私。 5. **微服务架构**:Spring Boot非常适合构建微服务...

    毕业设计-基于HBase实现的手机数据备份系统,实现了手机关键信息的备份,如短信、联系人、重要文件等。.zip

    它由Sun Microsystems(现在是Oracle Corporation)的James Gosling等人在1995年推出,被设计为一种简单、健壮、可移植、多线程、动态的语言。Java的主要特点和优势包括以下几个方面: 跨平台性(Write Once, Run ...

    基于云计算的大数据处理技术.pdf

    Google的BigTable数据管理技术和Hadoop团队开发的开源数据管理模块HBase是当前云计算系统中主要的数据管理技术。 虚拟化技术是云计算、云存储服务的基础和关键技术,它将运行在真实环境中的计算机系统或组件移植到...

    基于大数据平台数据分析技术选型调研.pdf

    然而,HBase不支持复杂的查询操作,如条件查询、多表join等,这可能影响到某些类型的数据分析任务。 Spark作为当前流行的数据处理引擎,其支持三种部署方式,包括standalone、Mesos和YARN。Spark相比MapReduce具有...

    大型机(HPC)构建 hadoop

    计划在未来几个月内逐步完成大数据平台的建设和软件组件的部署,包括MapReduce算法的移植,基因组HBase数据库的建设,以及应用软件的开发和移植。 在这个过程中,HDFS作为Hadoop的基础,用于存储海量数据,而HBase...

    大数据技术分享 Hadoop技术分享 基于Hadoop的阿里搜索计算平台 共21页.pdf

    例如,全网商品库存储在HBase中,通过Dump Job从XML文件中提取数据,然后通过iStreamService进行增量数据处理,最后由Index Build Job构建索引,这些索引文件供iSearch搜索引擎使用,实现快速、精准的搜索服务。...

    大数据面试汇总

    HBase是基于Hadoop的分布式列式数据库,适用于存储半结构化和非结构化数据。它提供了高并发读写能力,适合实时查询。HBase的表结构设计灵活,可以适应数据模式的变化。 面试中可能会涉及的问题包括数据加工处理的...

Global site tag (gtag.js) - Google Analytics