`
rq2_79
  • 浏览: 239813 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

文本文件导入到Hbase中

 
阅读更多

创建表

sudo su -
su - hadoop
./hbase shell
create 'table1',{NAME => 'DF', VERSIONS => 5}

 

配置环境

1.修改hadoop环境

vi /opt/hadoop-1.0.0/conf/hadoop-env.sh
增加如下信息

export HBASE_HOME=/opt/hbase-0.92.0
export HADOOP_CLASSPATH=$HBASE_HOME/hbase-0.92.0.jar:$HBASE_HOME/hbase-0.92.0-test.jar:$HBASE_HOME/conf:${HBASE_HOME}/lib/zookeeper-3.4.2.jar:${HBASE_HOME}/lib/guava-r09.jar

2.拷贝配置文件和jar包

cp /opt/hbase-0.92.0/hbase-0.92.0.jar /opt/hadoop-1.0.0/lib/
cp /opt/hbase-0.92.0/hbase-0.92.0-tests.jar /opt/hadoop-1.0.0/lib/
cp /opt/hbase-0.92.0/conf/hbase-site.xml /opt/hadoop-1.0.0/conf/

然后重启
/opt/hadoop-1.0.0/bin/stop-all.sh 
/opt/hadoop-1.0.0/bin/start-all.sh 

文件导入

3. 把文件导入到hadoop
hadoop fs -put test1.txt /test1

4.把文件导入到hbase
hadoop jar /opt/hbase-0.92.0/hbase-0.92.0.jar importtsv -Dimporttsv.columns=DF:rowNo,HBASE_ROW_KEY table1 /test1

分享到:
评论

相关推荐

    将hdfs上的文件导入hbase的源代码

    要将HDFS上的文件导入HBase,通常会涉及以下几个步骤: 1. **数据预处理**:HDFS上的文件可能是CSV、JSON或自定义格式,需要先进行解析和转换,使其符合HBase的表结构。这可能涉及到使用MapReduce或者Spark等工具...

    java从本地读文件并上传Hbase

    这里假设文件是文本文件,每行代表一个记录: ```java File file = new File("path_to_your_file.txt"); try (BufferedReader br = new BufferedReader(new FileReader(file))) { String line; while ((line = br...

    hbase导出csv,文本,html文件

    标题“hbase导出csv,文本,html文件”指的是从HBase中导出数据并转换为常见的文本格式,如CSV、文本和HTML,以便于进一步的分析或报告生成。这个过程通常涉及到多个步骤,包括HBase与Hive的交互,以及数据的迁移和...

    nosql实验五-HBase数据迁移与数据备份&恢复.docx

    在本实验中,我们使用 Python 将文本文件转换为 TSV 文件,然后使用 HBase 提供的工具包将 TSV 文件导入到 HBase 中。具体步骤如下: 1. 利用 Python 将文本文件转换为 TSV 文件。 2. 利用 HBase 提供的工具包将 ...

    mysql导入hbase所需要的jar

    首先,标题中提到的"mysql导入hbase所需要的jar",主要涉及到的是Sqoop工具。Sqoop是一个用于在Hadoop和传统关系型数据库之间传输数据的工具。当尝试使用Sqoop从MySQL导入数据到HBase时,可能需要特定的JAR文件来...

    大数据综合大作业和数据集

    1.对文本文件形式的原始数据集进行预处理 2.把文本文件的数据集导入到数据仓库Hive 中 3.对数据仓库Hive 中的数据进行查询分析...6.使用HBase Java API把数据从本地导入到HBase中 7.使用R对MySQL中的数据进行可视化分析

    使用spark对网站用户行为分析

    1.对文本文件形式的原始数据集进行预处理 2.把文本文件的数据集导入到...6.使用HBase Java API把数据从本地导入到HBase中 7.使用R对MySQL中的数据进行可视化分析 内含三份报告和数据集,报告中有源码,是用spark做的

    hadoop mr file2hfile2hbase

    1. **数据预处理**:首先,你需要准备要导入到HBase的数据,这些数据通常是以文本文件的形式存在。确保数据格式符合HBase的列族和列限定符的规范,例如,每行数据应包含行键、列族、列限定符和值。 2. **编写Mapper...

    下载ftp文件,读取内容通过Phoenix JDBC连接往Hbase数据库中建表插入数据。

    在这个案例中,可能是一个包含数据的文本文件或CSV文件,这些数据将被用于后续的数据库操作。 Phoenix是一个开源的SQL层,它允许通过JDBC(Java Database Connectivity)接口与Hbase进行交互。Phoenix将SQL语句转换...

    thrift1 查询hbase

    5. **博客配套文件**:提供的压缩包文件可能包含详细的代码示例、解释性文本和可能的配置文件,用于辅助理解如何在Python中使用Thrift1接口查询HBase。这些文件对于初学者尤其有用,因为他们可以直观地看到实际操作...

    hive与hbase整合经验谈.pdf

    在整合后的使用方法中,Hive主要用于数据的批量操作,例如将数据从文本文件批量导入HBase。具体操作包括在Hive中创建一个表(通常称为“pokes”),这个表用于临时存储数据,之后使用Hive的INSERT OVERWRITE TABLE...

    HBaseBulkLoad:使用 MapReduce 作业从文本文件加载 HBase

    本篇文章将详细探讨如何使用MapReduce作业从文本文件批量加载数据到HBase。 首先,理解HBaseBulkLoad的基本原理。批量加载的过程通常包括预处理数据、将数据转换为HFile格式以及最后将HFile上传到HBase表的HDFS目录...

    spark大作业.zip

    使用Spark框架进行网站用户购物分析 目的 1、熟悉Linux系统、MySQL、Spark、HBase、Hive、Sqoop、R、Eclipse、IntelliJ Idea...6、使用HBase Java API把数据从本地导入到HBase中 7、使用R对MySQL中的数据进行可视化分析

    实验4 HBase_Hive1

    - **停用词过滤**:首先将提供的停用词表导入到HBase中,然后在Map阶段查询这些停用词,并在后续的处理过程中排除它们。 - **倒排索引构建**:在Reduce阶段生成倒排索引,并将每个词语及其对应的“平均出现次数”...

    Hadoop数据迁移--使用importtsv独步载入数据

    例如,可以指定将哪些列导入到HBase中,可以指定输出的HFile文件存储路径,也可以指定如何处理格式错误的行,等等。 使用importtsv需要遵循特定的命令格式,例如: ``` $hadoop jar $HBASE_HOME/hbase-0.94.4.jar ...

    基于Hadoop、HBase的wordcount代码.zip

    然后,我们将讨论如何将WordCount的结果存储到HBase中。HBase提供了高效的随机读写能力,适合处理大规模数据的实时查询。在Hadoop完成WordCount计算后,可以将结果导入到HBase的表中,通过创建合适的列族和列,以便...

    Hadoop数据迁移--使用importtsv两步载入数据

    2. 第二步是将第一步生成的HFile数据移动并加载到HBase中。在数据准备好后,importtsv工具会将HFile文件移动到HBase的相应表目录中,这个过程是自动进行的,从而完成数据的最终导入。 整个数据迁移过程适合于处理...

    Windows7下eclipse调试Fedora虚拟机的hadoop+hbase伪分布式

    在Eclipse中编写或导入一个简单的WordCount示例项目,该程序是MapReduce的典型应用,用于统计文本中单词出现的次数。配置项目的主类,指定运行在Fedora虚拟机的Hadoop集群上。执行时,Eclipse将通过SSH连接到Fedora...

    hbase,mysql备份压缩springboot代码

    1. **mysqldump**:这是最常用的全量备份方法,通过执行SQL语句将数据库结构和数据导出为文本文件。 2. **binlog备份**:配合`mysqldump`进行增量备份,通过读取MySQL的二进制日志(binlog)获取自上次备份以来的...

    apache_hbase_reference_guide.pdf

    对于MapReduce作业中HBase的使用,文档从HBase, MapReduce和CLASSPATH的配置到HBase作为MapReduce作业的数据源和数据接收器,再到批量导入期间直接写入HFiles,以及MapReduce作业中访问其他HBase表,还包括了推测...

Global site tag (gtag.js) - Google Analytics