http://blog.csdn.net/jackfor001/article/details/7031943
测试环境 Hadoop 0.20.2版本、Hive-0.5.0版本、JDK1.6
1、一般来说我们对hive的操作都是通过cli来进行,也就是Linux的控制台,但是,这样做本质上是每个连接都存放一个元数据,各个之间都不相同,所以,对于这样的模式我建议是用来做一些测试比较合适,并不适合做产品的开发和应用。
2、JDBC连接的方式,当然还有其他的连接方式,比如ODBC等, 这种方式很常用,可以在网上随便找到,就不再累赘了。
不稳定,经常会被大数据量冲挂,不建议使用。
3、这种方式是直接利用Hive的 Driver class 来直接连接,感觉这种方式不通过JDBC,应该速度会比较快一点(未经验证)。我只是在local模式下测试过。
import org.apache.hadoop.hive.conf.HiveConf;
import org.apache.hadoop.hive.ql.Driver;
import org.apache.hadoop.hive.ql.session.SessionState;
public class Test {
public static void main(String args[]) {
Vector<String> res = new Vector<String>();
String sql = "SELECT * from test";
Driver driver = new Driver(new HiveConf(SessionState.class));
int ret = driver.run(sql);
try {
driver.getResults(res);
} catch(IOException e) {
e.printStackTrace();
}
driver.close();
System.out.println(driver.getMaxRows());
try {
System.out.println(driver.getSchema());
//System.out.println(driver.getThriftSchema());
} catch(Exception e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
// System.out.println(res);
// System.out.println(ret);
}
}
分享到:
相关推荐
Hive JDBC(Java Database Connectivity)是Hive提供的一种接口,使得其他编程语言,如Java,能够通过JDBC驱动程序与Hive进行交互,实现数据查询、分析和操作。本教程将深入讲解如何使用Hive JDBC在Java项目中建立与...
这篇博客主要探讨了Hive的三种启动方式及其用途,这对于我们理解如何有效管理和操作Hive系统至关重要。 1. **独立模式(Standalone Mode)** 在独立模式下,Hive运行在本地模式,不与任何Hadoop集群交互。这种模式...
1. **Hive JDBC Driver**:这是Java应用程序连接Hive的首选方式。Hive官方提供了实现JDBC规范的驱动,使得Java应用可以通过JDBC API执行HQL、获取结果等。JDBC驱动通常包含在`hiveserver2`服务中,开发者需要在项目...
2. **加载 Hive JDBC 驱动**:在 Java 代码中,使用以下方式加载 Hive 的 JDBC 驱动: ```java Class.forName("org.apache.hive.jdbc.HiveDriver"); ``` 3. **建立连接**:获取与 Hive 服务器的连接,需要提供...
在Linux环境下,Hive的使用通常涉及到以下几个步骤: 1. 安装和配置Hadoop和Hive:在Linux服务器上安装Hadoop集群和Hive,确保所有依赖项正确配置,如Java环境、HDFS配置等。 2. 创建Hive表:使用HQL创建表结构,...
**Hive JDBC驱动**是Apache Hive提供的一种Java数据库连接(JDBC)驱动,遵循Java的JDBC规范,使得Java应用程序可以如同操作关系型数据库一样操作Hive。这个驱动允许用户通过编写SQL语句或者使用类似JDBC的API来连接...
这可以通过以下几种方式实现: 1. **命令行运行**: 在执行Java程序时,使用`-cp`或`-classpath`参数指定驱动jar的位置。 2. **IDE配置**: 如果你使用的是Eclipse、IntelliJ IDEA等集成开发环境,可以在项目设置中...
标题 "Hive2.x系列驱动" 指的是Hive版本2.x的客户端连接器,这些驱动程序使得应用程序能够与Hive服务器进行交互,执行SQL查询并获取数据。Hive是一个基于Hadoop的数据仓库工具,它允许用户使用SQL语言处理存储在HDFS...
Hive几种使用方式: 1.Hive交互shell bin/hive 2.Hive JDBC服务(参考java jdbc连接mysql) 3.hive启动为一个服务器,来对外提供服务 bin/hiveserver2 nohup bin/hiveserver2 1>/var/log/hiveserver.log 2>/...
Hive驱动是连接Hive服务器与应用程序之间的桥梁,它使得应用程序能够通过ODBC(Open Database Connectivity)或JDBC(Java Database Connectivity)接口与Hive进行通信。 标题中提到的“Hive的驱动”主要指的是Hive...
当需要在Java应用中远程连接到Hive进行数据操作时,Hive JDBC就扮演了关键角色。 Hive JDBC允许Java应用通过标准的JDBC API与Hive服务器进行通信,从而实现对Hive的数据读取、写入和管理。在Hive 1.2.1版本中,提供...
在Hive中,元数据(如表的结构、分区信息等)的存储通常有两种方式:本地元数据存储和远程元数据存储。本地元数据存储将元数据保存在运行Hive Metastore服务的同一台服务器上,而远程元数据存储则允许在独立的数据库...
Hive作为构建在Hadoop之上的数据仓库系统,其主要功能是提供一种简单易用的方式来处理存储在Hadoop HDFS中的大量数据。通过Hive,用户可以使用类似于SQL的查询语言(HiveQL)来查询数据,而不需要深入了解底层的...
1. **配置Spark连接Hive**:在Spark中,需要设置`hive.metastore.uris`等相关配置,以连接到Hive Metastore,获取Hive表的信息。 2. **读取Hive表**:使用Spark SQL的`spark.read.format("hive").load()`语句加载...
Spark 提供了高效的数据处理能力,而 Hive 则是基于 Hadoop 的数据仓库工具,MySQL 是一种广泛使用的开源关系型数据库。本篇文章将深入探讨如何使用 Spark 与 Hive 和 MySQL 进行数据交互。 首先,`SparkToHive....
其中 CLI 是最常用的交互方式之一,它支持多种命令选项,例如 `-d` 或 `--define` 用于变量替换,`-e` 用于直接执行 SQL 查询字符串,`-f` 用于从文件中读取 SQL 命令,`-h` 用于连接远程的 Hive Server,等等。...
在构建大数据处理平台时,Hadoop集群是基础,而Hive则是在此基础上提供了一种方便的数据仓库工具。本文将详细探讨如何在虚拟机环境中配置基于Hadoop集群的Hive 2.1.1,以及涉及的相关配置文件。 首先,我们要理解...
1. **用户连接接口**:包括命令行接口(CLI)、JDBC/ODBC接口和WebUI,提供了多种方式供用户访问Hive。 2. **Thrift Server**:作为远程访问Hive的接口,支持多种编程语言。 3. **元数据**:存储在数据库(如MySQL或...
Hive 提供了一种结构化的数据模型,使得非结构化的海量数据可以通过SQL-like 的查询语言(HQL,Hive Query Language)进行分析。在"apache-hive-2.1.0-bin.tar.zip"这个压缩包中,我们找到了 Apache Hive 2.1.0 版本...
Hive主要由以下几个组件构成: 1. **Hive Metastore**:存储元数据,包括表名、列名、分区信息等,通常与MySQL或PostgreSQL等RDBMS集成。 2. **Hive Driver**:处理用户提交的HQL查询,解析并转化为MapReduce任务。...