Hive使用MySQL存放元数据
可以参考一下这篇文章
http://www.mazsoft.com/blog/post/2010/02/01/Setting-up-HadoopHive-to-use-MySQL-as-metastore.aspx
别忘了下载 MySQL 的JDBC驱动,推荐下载 mysql-connector-java-5.1.11.tar.gz
Hive 与 JDBC
导入hive\lib下的所有jar包到IDE的classpath里面,还有hadoop中的 hadoop-0.20.2-core.jar包,即可运行下列代码:
package com.javabloger.hive;
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.ResultSet;
import java.sql.Statement;
public class HiveTestCase {
public static void main(String[] args) throws Exception {
Class.forName("org.apache.hadoop.hive.jdbc.HiveDriver");
String dropSQL="drop table javabloger";
String createSQL="create table javabloger (key int, value string)";
String insterSQL="LOAD DATA LOCAL INPATH '/work/hive/examples/files/kv1.txt' OVERWRITE INTO TABLE javabloger";
String querySQL="SELECT a.* FROM javabloger a";
Connection con = DriverManager.getConnection("jdbc:hive://192.168.20.213:10000/default", "", "");
Statement stmt = con.createStatement();
stmt.executeQuery(dropSQL); // 执行删除语句
stmt.executeQuery(createSQL); // 执行建表语句
stmt.executeQuery(insterSQL); // 执行插入语句
ResultSet res = stmt.executeQuery(querySQL); // 执行查询语句
while (res.next()) {
System.out.println("Result: key:"+res.getString(1) +" –> value:" +res.getString(2));
}
}
}
分享到:
相关推荐
"hive相关jar包"指的是为了与Hive交互、执行Hive查询所必需的Java库文件。这些jar包包含了Hive的执行引擎、元数据存储以及SQL解析等组件。 在描述中提到的"最新3.1.1版本",意味着这些jar包对应的是Hive 3.1.1这个...
这个压缩包文件“HIVE相关的jar包”包含了不同版本的Hive库文件,这些文件对于在Java环境下开发和运行Hive应用程序至关重要。下面我们将详细讨论Hive jar包及其在IT领域的应用。 首先,Hive jar包是Hive服务的核心...
本篇将详细介绍如何在DBeaver和Java应用中使用JDBC连接Hive,以及涉及到的相关Jar包。 DBeaver是一款跨平台的数据库管理工具,支持多种数据库类型,包括Hive。要连接到Hive,我们需要在DBeaver中配置合适的JDBC驱动...
这里提到的"jdbc hive相关jar包"是一组必要的库文件,它们提供了连接、查询和操作Hive数据库的功能。以下是这些jar包可能包含的一些关键组件和知识点: 1. **Hive JDBC驱动**: 这是核心的jar包,包含了实现JDBC规范...
本资源"hive相关练习的数据data.rar"提供的是一个用于Hive练习的数据集,其中包含了关于YouTube视频信息和用户信息的文本文件。 首先,我们来了解一下Hive的基本概念。Hive的核心是元数据,它定义了数据的结构,...
当尝试在Kettle中执行与Hive相关的.ktr(Transformation)文件时,可能会遇到一些错误。以下将深入探讨可能导致这种问题的一些关键知识点和解决方案。 首先,报错可能源于Hive连接配置问题。确保在Kettle中正确设置...
java代码执行hive相关ktr时报错: database type with plugin id [HIVE2] couldn't be found! 解决:kettle-core-7.1.0.0-12.jar适配hive后的包。具体步骤请查看...
解决方法是替换Spark环境中的Hive相关库,使用与达梦数据库兼容的版本。 总结起来,将Hive metastore迁移到达梦数据库涉及创建数据库用户和表空间、修改Hive配置文件以及初始化元数据等步骤。这个过程不仅可以提升...
从压缩包中的文件名列表,我们可以看出以下几个关键的Hadoop和Hive相关的组件和依赖: 1. hadoop-hdfs-2.6.1.jar:这是Hadoop HDFS(分布式文件系统)的客户端库,包含了与HDFS交互所需的类和方法,比如读取和写入...
本压缩包"impala依赖cdh版本的hadoop-hbase-hive相关jar包.zip"提供了Ambari集成Impala 3.0.0时所需的依赖库,主要用于处理Hive外部表,这些表的数据存储在HBase之上。 首先,Impala是Cloudera开发的一个高性能、低...
- 开发过程包括创建Java工程,添加Hive相关的依赖,编写UDF类,打包成jar文件,然后将jar文件上传到集群,并在Hive中注册这个函数。 6. **Hive调优策略**: - 虽然实验报告中没有详细列出遇到的问题和解决方案,...
现在来看标签 "hive",它强调了讨论的主题是Hive相关的技术,这可能涉及到数据存储、查询、分析和管理等方面。 在提供的压缩包子文件中,我们有以下四个文件: 1. `hive-jdbc-1.1.0-cdh5.5.0-standalone.jar`:这是...
此外,SQuirreL SQ Client需要Hive相关的JAR文件才能正确识别和处理Hive的数据类型和函数。这些JAR包通常包括Hive的元存储库服务(Hive Metastore)、Hive驱动程序(Hive Driver)以及可能的Hadoop相关库,如Hadoop ...
下面,我们将深入探讨如何使用这些jar包以及与Hive相关的知识点。 首先,我们需要理解Hive的核心功能。Hive是基于Hadoop的数据仓库工具,它允许用户使用SQL(称为HQL,Hive Query Language)语言对存储在HDFS...
Yanagishima(やなぎしマ)是另一个与Hive相关的开源项目,它提供了一个Web界面,用于在Kerberized Hadoop集群上进行即席查询。Yanagishima不仅简化了对Hive、Presto和Trino等查询引擎的接口,还提供了权限控制,...
在大数据处理领域,Apache Flink 和 Apache Hive 是两个非常重要的组件。Flink 是一个用于处理大规模流数据的开源流...同时,确保你的开发环境和生产环境都正确配置了 Hive 的相关服务和依赖,以保证系统的稳定运行。
在这个场景中,我们关注的是与Hive相关的JAR包,特别是用于在DbVisualizer中建立Hive连接的那些。 DbVisualizer是一款强大的数据库管理工具,支持多种数据库系统,包括Hive。为了在DbVisualizer中连接到Hive,我们...
- **hiveconf**: 存储Hive相关的配置属性,支持读写操作。 - **system**: Java系统定义的配置属性,支持读写操作。 - **env**: Shell环境中定义的环境变量,只支持读取。 变量的使用对于动态数据处理非常有用。用户...
hive-anttasks.jar hive-cli.jar hive-common.jar hive-contrib.jar hive-hbaseec.jar hive-hbase-handler.jar hive-hwi.jar hive-jdbc.jar hive-metastorejar hive-serde.jar hive-service.jar hive-shims.jar ...