`

java连接Hive的几种方式

    博客分类:
  • hive
 
阅读更多
http://blog.csdn.net/jackfor001/article/details/7031943


测试环境 Hadoop 0.20.2版本、Hive-0.5.0版本、JDK1.6



1、一般来说我们对hive的操作都是通过cli来进行,也就是Linux的控制台,但是,这样做本质上是每个连接都存放一个元数据,各个之间都不相同,所以,对于这样的模式我建议是用来做一些测试比较合适,并不适合做产品的开发和应用。



2、JDBC连接的方式,当然还有其他的连接方式,比如ODBC等, 这种方式很常用,可以在网上随便找到,就不再累赘了。

不稳定,经常会被大数据量冲挂,不建议使用。



3、这种方式是直接利用Hive的 Driver class 来直接连接,感觉这种方式不通过JDBC,应该速度会比较快一点(未经验证)。我只是在local模式下测试过。



import org.apache.hadoop.hive.conf.HiveConf;
import org.apache.hadoop.hive.ql.Driver;
import org.apache.hadoop.hive.ql.session.SessionState;



public class Test {

    public static void main(String args[]) {
        Vector<String> res = new Vector<String>();
        String sql = "SELECT * from test";
        Driver driver = new Driver(new HiveConf(SessionState.class));
        int ret = driver.run(sql);
        try {
            driver.getResults(res);
        } catch(IOException e) {
            e.printStackTrace();
        }
        driver.close();
        System.out.println(driver.getMaxRows());
        try {
            System.out.println(driver.getSchema());
            //System.out.println(driver.getThriftSchema());
        } catch(Exception e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }      
//        System.out.println(res);
//        System.out.println(ret);
    }
}
分享到:
评论

相关推荐

    Hive_JDBC.zip_hive java_hive jdbc_hive jdbc pom_java hive_maven连

    Hive JDBC(Java Database Connectivity)是Hive提供的一种接口,使得其他编程语言,如Java,能够通过JDBC驱动程序与Hive进行交互,实现数据查询、分析和操作。本教程将深入讲解如何使用Hive JDBC在Java项目中建立与...

    hive 三种启动方式及用途

    这篇博客主要探讨了Hive的三种启动方式及其用途,这对于我们理解如何有效管理和操作Hive系统至关重要。 1. **独立模式(Standalone Mode)** 在独立模式下,Hive运行在本地模式,不与任何Hadoop集群交互。这种模式...

    hive连接 hive驱动大集合

    1. **Hive JDBC Driver**:这是Java应用程序连接Hive的首选方式。Hive官方提供了实现JDBC规范的驱动,使得Java应用可以通过JDBC API执行HQL、获取结果等。JDBC驱动通常包含在`hiveserver2`服务中,开发者需要在项目...

    大数据java操作hive

    2. **加载 Hive JDBC 驱动**:在 Java 代码中,使用以下方式加载 Hive 的 JDBC 驱动: ```java Class.forName("org.apache.hive.jdbc.HiveDriver"); ``` 3. **建立连接**:获取与 Hive 服务器的连接,需要提供...

    HIVE文件读写

    在Linux环境下,Hive的使用通常涉及到以下几个步骤: 1. 安装和配置Hadoop和Hive:在Linux服务器上安装Hadoop集群和Hive,确保所有依赖项正确配置,如Java环境、HDFS配置等。 2. 创建Hive表:使用HQL创建表结构,...

    hive驱动包hive-jdbc-uber-2.6.5.0-292.jar(用户客户端连接使用)

    **Hive JDBC驱动**是Apache Hive提供的一种Java数据库连接(JDBC)驱动,遵循Java的JDBC规范,使得Java应用程序可以如同操作关系型数据库一样操作Hive。这个驱动允许用户通过编写SQL语句或者使用类似JDBC的API来连接...

    hive建立JDBC连接需要的驱动jar包

    这可以通过以下几种方式实现: 1. **命令行运行**: 在执行Java程序时,使用`-cp`或`-classpath`参数指定驱动jar的位置。 2. **IDE配置**: 如果你使用的是Eclipse、IntelliJ IDEA等集成开发环境,可以在项目设置中...

    Hive2.x系列驱动,

    标题 "Hive2.x系列驱动" 指的是Hive版本2.x的客户端连接器,这些驱动程序使得应用程序能够与Hive服务器进行交互,执行SQL查询并获取数据。Hive是一个基于Hadoop的数据仓库工具,它允许用户使用SQL语言处理存储在HDFS...

    hivesql语句练习

    Hive几种使用方式: 1.Hive交互shell bin/hive 2.Hive JDBC服务(参考java jdbc连接mysql) 3.hive启动为一个服务器,来对外提供服务 bin/hiveserver2 nohup bin/hiveserver2 1&gt;/var/log/hiveserver.log 2&gt;/...

    hive的驱动

    Hive驱动是连接Hive服务器与应用程序之间的桥梁,它使得应用程序能够通过ODBC(Open Database Connectivity)或JDBC(Java Database Connectivity)接口与Hive进行通信。 标题中提到的“Hive的驱动”主要指的是Hive...

    hive jdbc必用jar包

    当需要在Java应用中远程连接到Hive进行数据操作时,Hive JDBC就扮演了关键角色。 Hive JDBC允许Java应用通过标准的JDBC API与Hive服务器进行通信,从而实现对Hive的数据读取、写入和管理。在Hive 1.2.1版本中,提供...

    hive3.1.2+mysql驱动.zip

    在Hive中,元数据(如表的结构、分区信息等)的存储通常有两种方式:本地元数据存储和远程元数据存储。本地元数据存储将元数据保存在运行Hive Metastore服务的同一台服务器上,而远程元数据存储则允许在独立的数据库...

    Hive用户指南 Hive user guide 中文版

    Hive作为构建在Hadoop之上的数据仓库系统,其主要功能是提供一种简单易用的方式来处理存储在Hadoop HDFS中的大量数据。通过Hive,用户可以使用类似于SQL的查询语言(HiveQL)来查询数据,而不需要深入了解底层的...

    建立Hive和Hbase的映射关系,通过Spark将Hive表中数据导入ClickHouse

    1. **配置Spark连接Hive**:在Spark中,需要设置`hive.metastore.uris`等相关配置,以连接到Hive Metastore,获取Hive表的信息。 2. **读取Hive表**:使用Spark SQL的`spark.read.format("hive").load()`语句加载...

    简单的spark 读写hive以及mysql

    Spark 提供了高效的数据处理能力,而 Hive 则是基于 Hadoop 的数据仓库工具,MySQL 是一种广泛使用的开源关系型数据库。本篇文章将深入探讨如何使用 Spark 与 Hive 和 MySQL 进行数据交互。 首先,`SparkToHive....

    数据分析系统Hive

    其中 CLI 是最常用的交互方式之一,它支持多种命令选项,例如 `-d` 或 `--define` 用于变量替换,`-e` 用于直接执行 SQL 查询字符串,`-f` 用于从文件中读取 SQL 命令,`-h` 用于连接远程的 Hive Server,等等。...

    基于虚拟机hadoop集群hive2.1.1配置文件

    在构建大数据处理平台时,Hadoop集群是基础,而Hive则是在此基础上提供了一种方便的数据仓库工具。本文将详细探讨如何在虚拟机环境中配置基于Hadoop集群的Hive 2.1.1,以及涉及的相关配置文件。 首先,我们要理解...

    大数据Hive.pdf

    1. **用户连接接口**:包括命令行接口(CLI)、JDBC/ODBC接口和WebUI,提供了多种方式供用户访问Hive。 2. **Thrift Server**:作为远程访问Hive的接口,支持多种编程语言。 3. **元数据**:存储在数据库(如MySQL或...

    apache-hive-2.1.0-bin.tar.zip

    Hive 提供了一种结构化的数据模型,使得非结构化的海量数据可以通过SQL-like 的查询语言(HQL,Hive Query Language)进行分析。在"apache-hive-2.1.0-bin.tar.zip"这个压缩包中,我们找到了 Apache Hive 2.1.0 版本...

    大数据入门HIVE和MySQL安装包

    Hive主要由以下几个组件构成: 1. **Hive Metastore**:存储元数据,包括表名、列名、分区信息等,通常与MySQL或PostgreSQL等RDBMS集成。 2. **Hive Driver**:处理用户提交的HQL查询,解析并转化为MapReduce任务。...

Global site tag (gtag.js) - Google Analytics