http://www.tech126.com/hive-mysql-metastore/
Hive默认是采用Derby来存储其Meta信息的,如下:
<
property>
<
name>
javax.
jdo.
OPTION
.
ConnectionURL</
name>
<
value>
jdbc:derby://
zw-
hadoop-
master:1527
/
metastore_db;create=
true</
value>
<
description>
JDBC connect string FOR
a JDBC metastore</
description>
</
property>
<
property>
<
name>
javax.
jdo.
OPTION
.
ConnectionDriverName</
name>
<
value>
org.
apache.
derby.
jdbc.
ClientDriver</
value>
<
description>
Driver class name FOR
a JDBC metastore</
description>
</
property>
我们可以修改一下配置,让Mysql来存储其Meta信息
首先,在Mysql服务器上建立相应的库,并赋权限
create database hivedb;
grant all privileges on hivedb.* to hiveuser@'%' identified by 'hiveuser';
grant all privileges on hivedb.* to hiveuser@'localhost' identified by 'hiveuser';
然后,把mysql-connector-java-5.1.12-bin.jar拷贝到/cq/hive/lib下 //注意这里要从mysql官网下connector的包,不然可能出错
再修改hive-default.xml配置
<
property>
<
name>
javax.
jdo.
OPTION
.
ConnectionURL</
name>
<
value>
jdbc:mysql://
192.
168.
95.
25:3306
/
hivedb?createDatabaseIfNotExist=
true</
value>
<
description>
JDBC connect string FOR
a JDBC metastore</
description>
</
property>
<
property>
<
name>
javax.
jdo.
OPTION
.
ConnectionDriverName</
name>
<
value>
com.
mysql.
jdbc.
Driver</
value>
<
description>
Driver class name FOR
a JDBC metastore</
description>
</
property>
<
property>
<
name>
javax.
jdo.
OPTION
.
ConnectionUserName</
name>
<
value>
hiveuser</
value>
<
description>
username TO
USE
against metastore database</
description>
</
property>
<
property>
<
name>
javax.
jdo.
OPTION
.
ConnectionPassword</
name>
<
value>
hiveuser</
value>
<
description>
password TO
USE
against metastore database</
description>
</
property>
分享到:
相关推荐
Spark 提供了高效的数据处理能力,而 Hive 则是基于 Hadoop 的数据仓库工具,MySQL 是一种广泛使用的开源关系型数据库。本篇文章将深入探讨如何使用 Spark 与 Hive 和 MySQL 进行数据交互。 首先,`SparkToHive....
本教程将详细介绍如何安装Hive,并配置使用MySQL作为其元数据库。 首先,我们来理解元数据库的作用。元数据库存储了关于Hive表、分区、列等对象的元数据,这些元数据是执行Hive查询的关键。通常,Hive默认使用Derby...
通常,Hive元数据默认存储在MySQL或Derby等关系型数据库中。然而,为了适应更复杂的业务需求和更高的性能,我们可以选择将Hive元数据存储在达梦数据库中。本文将详细介绍如何配置Hive metastore以使用达梦数据库。 ...
使用MySQL驱动,Hive可以连接到MySQL服务器来获取和存储元数据。这提供了更强大的元数据管理功能,比如高可用性、数据备份和恢复,同时也便于多用户环境下的权限管理和访问控制。在Hive 3.1.2中,正确配置MySQL驱动...
Hive 通常用于存储海量数据并进行批处理分析,而 MySQL 则用于存储结构化数据并提供快速查询服务。为了实现两者之间的数据交换,DataX 作为一种开源的数据同步工具被广泛应用。 #### 问题描述 在使用 DataX 将数据...
在使用MySQL作为Hive元数据存储时,需要配置Hive-site.xml文件,设置`javax.jdo.option.ConnectionURL`、`javax.jdo.option.ConnectionDriverName`、`javax.jdo.option.ConnectionUserName`和`javax.jdo.option....
【Hive、MySQL、HBase数据互导】是大数据领域常见的数据处理操作,涉及三个不同的数据存储系统。Hive是一个基于Hadoop的数据仓库工具,它允许使用类SQL的查询语言HiveQL对大规模数据进行批处理和分析。MySQL是一种...
1. **Hive Metastore**:存储元数据,包括表名、列名、分区信息等,通常与MySQL或PostgreSQL等RDBMS集成。 2. **Hive Driver**:处理用户提交的HQL查询,解析并转化为MapReduce任务。 3. **Hive执行器**:执行实际的...
【标题】"springboot+mybatisplus+druid+hive+mysql.zip" 是一个整合了多种技术的项目压缩包,其中包含Spring Boot、MyBatisPlus、Druid、Hive和MySQL等关键组件。这些技术在现代软件开发,尤其是大数据处理和Web...
本文将详细讨论如何使用Spring Boot、MyBatis和Druid来实现MySQL与Hive之间的多数据源切换,以满足不同业务场景的需求。 首先,Spring Boot是Spring框架的一种轻量级实现,它简化了配置并提供了快速开发新应用的...
默认情况下,Hive使用 Derby 或 MySQL 作为其元数据存储,管理表、分区、列等信息。这里使用MySQL作为元数据存储,因为MySQL具有更好的并发性和可扩展性。 3. **准备环境**: - 安装并配置好Hadoop集群,确保Hive...
Hive使用MySQL作为元数据存储数据库(元数据库)是一个常见的做法,这有利于管理Hive中表的结构和属性等信息。元数据库主要存储了表结构、分区信息、表属性等元数据。 在安装Hive时,一般情况下仅需要在单个节点...
上述配置指定了Hive元数据存储所需的数据库连接字符串以及驱动程序名称,以MySQL为例。 综上所述,Hive通过灵活的数据存储模式和元数据管理机制,为大规模数据分析提供了强大的支持。理解Hive的数据存储模式对于...
2. **解析表结构**:查询MySQL的元数据信息,如字段名、字段类型、字段长度、是否为主键等。 3. **映射数据类型**:将MySQL的数据类型映射到Hive支持的数据类型。例如,MySQL的INT映射为Hive的INT,VARCHAR映射为...
在Cloudera Manager中配置Hive使用MySQL数据库涉及多个步骤,从卸载CentOS默认MySQL到配置完毕,下面详细说明每一步的知识点。...完成所有步骤后,Hive就可以使用MySQL作为后端数据库来进行元数据存储和管理了。
在Hive与MySQL集成的场景中,MySQL通常作为元数据存储,用于保存Hive表的信息,如表名、列名、分区等。 集成步骤如下: 1. **安装准备**:确保已安装了Linux操作系统,同时安装好Hadoop环境,因为Hive依赖于Hadoop...
在Hive中,我们通常会配置MySQL作为元数据存储,用来保存表信息、分区信息等元数据,因此这个驱动程序是搭建Hive环境的必要组件。 `apache-hive-3.1.2-bin.tar.gz`是Apache Hive 3.1.2的二进制发行版,包含了运行...
此外,Hive通过Hive Metastore服务来管理和存储元数据,包括表的定义、分区信息等,这些元数据通常会存储在关系型数据库中,如MySQL。 “mysql-connector-java-5.1.49.jar”是MySQL数据库的Java连接器,它是MySQL ...
在Hive中,MySQL连接器(JDBC驱动)用于与MySQL数据库交互,因为Hive经常需要将元数据(如表名、列名、分区信息等)存储在一个关系型数据库中,MySQL就是常见的选择之一。这个JAR文件包含了Java编程语言中与MySQL...
1.数据迁移的过程中,由于hive的Null值存储为"\N",Mysql存储为NULL值,二者转换时需要注意,再数据迁移json模板中,"nullFormat": "\\N", 该配置信息就是解决了数据迁移是存在的Null值。 2.如果hive中没有数值DataX...