`
书音棋
  • 浏览: 144212 次
  • 性别: Icon_minigender_1
  • 来自: 哈尔滨
社区版块
存档分类
最新评论

hbase提供了导出表(转载)

    博客分类:
  • java
阅读更多

hbase提供了导出表的方案,将指定的表导出到HDFS或本地,这样方便了备份或数据转移。 
    最快的方式是通过mapreduce来完成这件事,需要在hbase的conf中添加mapred-site.xml: 
Java代码  收藏代码
  1. <property>  
  2.   <name>mapred.job.tracker</name>  
  3.   <value>192.168.0.1:9001</value>  
  4. </property>  
  5. <property>  
  6.   <name>hadoop.tmp.dir</name>  
  7.   <value>/tmp/hadoop-${user.name}</value>  
  8. </property>  

    然后执行: 
Java代码  收藏代码
  1. hbase org.apache.hadoop.hbase.mapreduce.Export backup_table hdfs://192.168.0.1:9000/user/test/backup_table  

    数据被写到了相应的目录,一个region一个文件。默认为sequencefile。当然还可以选择对输出进行压缩等。 
    要将输出的数据导入某个hbase的表,需执行以下命令: 
Java代码  收藏代码
  1. hbase org.apache.hadoop.hbase.mapreduce.Import backup_table hdfs://192.168.0.1:9000/user/test/backup_table  

    此时再看对应的表,己经有数据了。
分享到:
评论

相关推荐

    hbase导出csv,文本,html文件

    标题“hbase导出csv,文本,html文件”指的是从HBase中导出数据并转换为常见的文本格式,如CSV、文本和HTML,以便于进一步的分析或报告生成。这个过程通常涉及到多个步骤,包括HBase与Hive的交互,以及数据的迁移和...

    HDFS 通过mapreduce 进行 HBase 导入导出

    HDFS 用于存储大量数据,而 HBase 提供了高效的数据读写和查询能力,尤其适合实时或近实时的数据访问。因此,通过 MapReduce 这种并行计算框架,可以从 HDFS 中将数据导入到 HBase,或者将 HBase 中的数据导出到 ...

    Hbase应用开发实验报告及代码

    (1) 列出HBase所有的表的相关信息,例如表名、创建时间等;(2) 在终端打印出指定的表的所有记录数据;(3) 向已经创建好的表添加和删除指定的列族或列;(4) 清空指定的表的所有记录数据(5) 统计表的行数。2...

    hbase-exporter:HBase Prometheus导出器

    exporterHBase Prometheus导出器收集指标并中继JMX指标以供Prometheus使用由于JMX中一些重要的指标缺失或为空,因此我们另外分析了HBase主界面,例如“过渡中的过时区域” 解析“ hbase hbck”命令的输出以检查HBase...

    java操作Hbase之实现表的创建删除源码

    本教程将详细介绍如何使用Java API来创建和删除HBase表,并针对不使用Maven的初学者提供必要的jar包支持。 首先,你需要在项目中引入HBase的客户端库。由于这里没有使用Maven,你需要手动下载并添加以下jar包到项目...

    HBase多表关联查找资料

    本文将详细介绍 HBase 多表关联查找的知识点,涵盖了 HBase 表结构设计、rowkey 设计、columnfamily 设计、column 设计等方面的内容,并结合实际应用场景,提供了一些实用的设计方法和思路。 1. 表的属性 HBase 表...

    scala API 操作hbase表

    HBase是一个分布式、面向列的NoSQL数据库,它构建于Hadoop之上,提供实时访问大量数据的能力。Scala是一种强大的函数式编程语言,与Java虚拟机(JVM)兼容,因此非常适合编写HBase的客户端程序。 首先,确保你的...

    关于hbase表结构的知识点

    hbase表结构设计,新建表,查询表语句,删除表数据,删除表的例子。

    HbaseTemplate 操作hbase

    HBase是建立在Hadoop文件系统(HDFS)之上,为处理大规模数据提供了一个高效的数据存储解决方案。而Spring Data Hadoop是Spring框架的一部分,它提供了与Hadoop生态系统集成的工具,包括对HBase的操作支持。本篇文章...

    Java SpringBoot 连接 Hbase Demo

    Java SpringBoot 连接 Hbase Demo 创建表 插入数据 列族 列 查询:全表、数据过滤 删除数据 删除表 Hbase 集群搭建:https://blog.csdn.net/weixin_42176639/article/details/131796472

    基于Mysql的表转HBase小Demo

    本示例“基于Mysql的表转HBase小Demo”提供了一个简单的解决方案,将Mysql中的数据转换并存储到HBase这种分布式列式数据库中。这个过程对于那些希望从传统的关系型数据库迁移到NoSQL数据库,尤其是对大规模数据进行...

    Hbase实验报告.pdf

    HBase Shell是HBase提供的命令行界面,用户可以通过它来与HBase集群交互。在开始实验之前,确保已经正确安装并配置了Hadoop和HBase环境。 ### 2. 创建表 实验要求创建一个名为`student`的表,字段包括`Row Key`、`...

    hadoop中安装hbase及创建表等.docx

    在大数据领域,分布式数据库HBase是处理海量结构化半结构化数据的重要工具,尤其是在与Hadoop结合使用时,能够提供高效、可扩展的数据存储和查询能力。本文将详细讲解如何在Hadoop环境中安装HBase以及如何使用Java ...

    hbase存储csv数据的代码实现

    HBase是构建在Hadoop之上的NoSQL数据库,它以行键、列族、列和时间戳的形式存储数据,提供实时读写操作。HBase的数据模型非常适合处理大规模稀疏数据集。 在将CSV数据导入HBase之前,我们通常需要进行预处理,这...

    java代码将mysql表数据导入HBase表

    本文将详细介绍如何使用Java代码实现这一过程,包括样例MySQL表和数据,以及HBase表的创建。 首先,我们需要了解MySQL和HBase的基本概念。MySQL是一种关系型数据库管理系统,它基于ACID(原子性、一致性、隔离性和...

    Java操作Hbase进行建表、删表以及对数据进行增删改查

    Hbase 提供了高性能、可扩展性和高可用性的数据存储解决方案。 二、Java 操作 Hbase ### 1. 搭建环境 要使用 Java 操作 Hbase,首先需要搭建环境。新建一个 Java 项目,然后添加相关的 jar 包,包括 hadoop-core-...

    hbase用于查询客户端工具

    通过编写MapReduce作业,可以对HBase表进行大规模的数据导入和导出,或者执行复杂的数据分析任务。 在实际使用中,选择哪个客户端工具取决于具体的需求和使用场景。例如,如果需要快速原型开发或简单的数据操作,...

    hbase 表设计

    HBase表中的数据按行键的字典顺序存储,它提供了一种快速查找行键的机制。 在设计HBase表时,一个重要的概念是列族(Column Family)。列族是表中列的集合,而列则是在列族之下的,对于每一个列族,HBase都会为每个...

    一款强大的HBase表管理系统.zip

    一款强大的HBase表管理系统,目前系统集成的功能有,命名空间管理,表管理,列簇管理,标签机制,快照管理,以及一些常见的统计指标展示等,另外,系统还内置了HBaseSQL的功能,欢迎大家下载。 一款强大的HBase表...

Global site tag (gtag.js) - Google Analytics