`

如何用hive api导入数据

    博客分类:
  • hive
 
阅读更多

Class.forName("org.apache.hadoop.hive.jdbc.HiveDriver");

Connection con = DriverManager.getConnection("jdbc:hive://192.168.191.17:10000/default", "", "");

Statement stmt = con.createStatement();

String sql = "LOAD DATA LOCAL INPATH '/data/mf/hzip/tmp/gamecoins' INTO TABLE gamecoins_stream";

ResultSet rs = stmt.executeQuery(sql);

while(rs.next()) {

System.out.println(rs.getInt(0));

}

rs.close();

stmt.close();

con.close();

 

注意:这个文件的路径是要在开启以下命令的机器上

[hadoop@Hadoop-10-1 hive]$ bin/hive --service hiveserver &

 

否则,执行时会出现文件路径不存在的情况:

HiveServerException(message:Query returned non-zero code: 40000, cause: 

FAILED: SemanticException Line 1:23 Invalid path ''/data/mf/hzip/tmp/gamecoins'': 

No files matching path file:/data/mf/hzip/tmp/gamecoins, errorCode:40000, SQLState:42000)

 

分享到:
评论

相关推荐

    java解决hive快速导数据到Hbase代码

    本文将详细讨论如何使用Java编程语言实现从Hive到HBase的快速数据导入方案。 首先,Hive是一个基于Hadoop的数据仓库工具,它可以将结构化的数据文件映射为一张数据库表,并提供SQL查询功能,适合大规模数据的离线...

    项目实战——Spark将Hive表的数据写入ElasticSearch(Java版本)

    在本项目实战中,我们将探讨如何使用Java编程语言,结合Spark和Hive,将Hive中的数据高效地导入到ElasticSearch(ES)中,并利用ES的别名机制实现数据更新的平滑过渡。以下是对这个流程的详细解析: 1. **Hive数据...

    idea 集成使用 hive 需要导入的jar包.rar

    5. **Thrift库**:如`thrift-*.jar`,Hive的元数据服务使用Thrift进行跨语言通信。 6. **Zookeeper库**:如`zookeeper-*.jar`,Hadoop和Hive可能依赖Zookeeper进行集群协调。 7. **SLF4J和Log4j日志库**:如`slf4j-...

    使用javaJDBC连接hive数据,实现简单的操作!

    在本教程中,我们将深入探讨如何使用Java JDBC连接到Hive数据库,并执行基本的数据操作。Hive是一个基于Hadoop的数据仓库工具,它允许我们对大规模数据集进行SQL-like查询。 首先,我们需要在Java项目中引入Hive ...

    java访问hive数据库所需全部jar包

    - `protobuf`: Google的协议缓冲区库,用于数据序列化,Hive可能用它来传递元数据信息。 6. **集成到Java项目**:在不使用Maven的情况下,你需要将这些jar包添加到项目的类路径(classpath)中,确保运行时能够...

    Hive、MySQL、HBase数据互导

    使用HBase Java API把数据从本地导入到HBase中**: - 创建Java项目,导入HBase相关依赖库。 - 使用HBase的Admin API创建HBase表。 - 编写代码,使用Table和Put对象将数据从本地文件读取并写入到HBase表中。 - ...

    用jest客户端将数据从hive导入elasticsearch

    为了将Hive查询结果导入Elasticsearch,你需要遍历ResultSet,将每一行数据转化为JSON格式,然后使用JestClient的索引API。下面是一个简单的示例: ```java JestClient jestClient = ... // 初始化JestClient ...

    使用spark对网站用户行为分析

    1.对文本文件形式的原始数据集进行预处理 2.把文本文件的数据集导入到...6.使用HBase Java API把数据从本地导入到HBase中 7.使用R对MySQL中的数据进行可视化分析 内含三份报告和数据集,报告中有源码,是用spark做的

    java jdbc连接hive所需要所有jar包,请测有效。

    Java JDBC(Java Database Connectivity)是Java编程语言中与数据库交互的一种标准接口,它允许Java...确保正确配置Hadoop和Hive环境,理解JDBC的工作原理,以及如何在Java中使用JDBC API,是成功实现这一目标的关键。

    Hive数据分析和定时任务调度,也是Flask-Hive项目的大数据处理部分.zip

    - **数据加载**:从不同来源(如日志、数据库)导入数据到HDFS,然后创建Hive表并加载数据。 - **数据清洗**:使用Hive进行数据预处理,如去除异常值、填充缺失值等。 - **数据分析**:使用HQL进行数据探索,生成...

    hive jdbc必用jar包

    Hive JDBC允许Java应用通过标准的JDBC API与Hive服务器进行通信,从而实现对Hive的数据读取、写入和管理。在Hive 1.2.1版本中,提供了相应的JDBC驱动,使得开发者无需安装Hive客户端,只需在Java项目中引入对应的JAR...

    Hive用户指南 Hive user guide 中文版

    **2.5 导入数据** - `LOAD DATA INPATH 'path' [OVERWRITE] INTO TABLE table_name [PARTITION (partition_spec)]`用于将HDFS中的数据加载到Hive表中。 **2.6 插入数据** - **将数据插入到Hive表**:可以使用`...

    spark-2.4.0-hive-hbase-Api.7z

    Spark与HBase的结合,通过Spark的HBase连接器,可以实现高效的数据导入导出和实时分析。 在这个压缩包中,"spark-2.4.0-old"可能指的是Spark的旧版本库,可能是为了兼容性或者回滚目的而保留的。这个文件可能包含了...

    HIVE数据库解析vc编写

    8. **数据导入导出**:VC程序可能需要与Hive之间进行数据交换,理解如何将本地数据加载到Hive,或者从Hive导出数据到本地文件系统,是另一个重要的方面。 通过深入理解以上知识点,VC程序员可以有效地编写代码来...

    kittle连接hive需要的jar包

    "mysql-*" JAR包是MySQL的JDBC驱动,因为Hive经常使用MySQL作为其Metastore的后端存储,用于存储元数据。因此,Kettle需要这个驱动来连接到存储Hive元数据的MySQL数据库,以便获取表定义和其他相关信息。 5. **lib...

    大数据综合大作业和数据集

    1.对文本文件形式的原始数据集进行预处理 2.把文本文件的数据集导入到数据仓库Hive 中 3.对数据仓库Hive 中的数据进行查询分析...6.使用HBase Java API把数据从本地导入到HBase中 7.使用R对MySQL中的数据进行可视化分析

    hive远程连接工具和jar.zip

    在大数据处理领域,Apache Hive是一个基于Hadoop的数据仓库工具,它允许用户使用SQL类查询语言(HQL)来处理存储在Hadoop分布式文件系统(HDFS)中的大规模数据集。本压缩包“hive远程连接工具和jar.zip”包含了用于...

    apache-hive-2.3.7-bin.tar.gz

    2. **加载数据**:将数据从外部源导入到 Hive 表中,可以是静态加载或动态加载。 3. **查询分析**:使用 HQL 编写查询语句,进行数据筛选、聚合、关联等操作。 4. **结果导出**:将查询结果导出到本地文件或其他数据...

    注册表HIVE操作

    一旦数据被导入Hive,用户就可以使用HQL来查询和分析。例如,你可以创建一个Hive表,指定列名和类型来对应注册表中的键和值,然后执行SELECT语句来获取特定信息。 4. **安全与权限**: 在处理注册表数据时,必须...

    hive进阶强化必备

    Hive支持多种数据导入方式,包括直接加载文件、插入查询结果以及追加分区等。 1. **直接加载文件**: - 使用`load data inpath '/path/to/data' into table tablename [partition(partcol=val)]`命令,其中`/path/...

Global site tag (gtag.js) - Google Analytics