`
samuschen
  • 浏览: 407633 次
  • 性别: Icon_minigender_2
  • 来自: 北京
社区版块
存档分类
最新评论

hive 用mysql存储元信息

    博客分类:
  • hive
阅读更多

http://www.tech126.com/hive-mysql-metastore/

Hive默认是采用Derby来存储其Meta信息的,如下:

< property>
 
< name> javax. jdo. OPTION . ConnectionURL</ name>
 
< value> jdbc:derby:// zw- hadoop- master:1527 / metastore_db;create= true</ value>
 
< description> JDBC connect string FOR a JDBC metastore</ description>
 
</ property>
 
 
< property>
 
< name> javax. jdo. OPTION . ConnectionDriverName</ name>
 
< value> org. apache. derby. jdbc. ClientDriver</ value>
 
< description> Driver class name FOR a JDBC metastore</ description>
 
</ property>



我们可以修改一下配置,让Mysql来存储其Meta信息

首先,在Mysql服务器上建立相应的库,并赋权限

create database hivedb;

grant all privileges on hivedb.* to hiveuser@'%' identified by 'hiveuser';

grant all privileges on hivedb.* to hiveuser@'localhost' identified by 'hiveuser';

然后,把mysql-connector-java-5.1.12-bin.jar拷贝到/cq/hive/lib下  //注意这里要从mysql官网下connector的包,不然可能出错

再修改hive-default.xml配置

< property>
 
< name> javax. jdo. OPTION . ConnectionURL</ name>
 
< value> jdbc:mysql:// 192. 168. 95. 25:3306 / hivedb?createDatabaseIfNotExist= true</ value>
 
< description> JDBC connect string FOR a JDBC metastore</ description>
 
</ property>
 
< property>
 
< name> javax. jdo. OPTION . ConnectionDriverName</ name>
 
< value> com. mysql. jdbc. Driver</ value>
 
< description> Driver class name FOR a JDBC metastore</ description>
 
</ property>
 
< property>
 
< name> javax. jdo. OPTION . ConnectionUserName</ name>
 
< value> hiveuser</ value>
 
< description> username TO USE against metastore database</ description>
 
</ property>
 
< property>
 
< name> javax. jdo. OPTION . ConnectionPassword</ name>
 
< value> hiveuser</ value>
 
< description> password TO USE against metastore database</ description>
 
</ property>

 

分享到:
评论

相关推荐

    简单的spark 读写hive以及mysql

    Spark 提供了高效的数据处理能力,而 Hive 则是基于 Hadoop 的数据仓库工具,MySQL 是一种广泛使用的开源关系型数据库。本篇文章将深入探讨如何使用 Spark 与 Hive 和 MySQL 进行数据交互。 首先,`SparkToHive....

    Hive安装,使用MySQL作为元数据库

    本教程将详细介绍如何安装Hive,并配置使用MySQL作为其元数据库。 首先,我们来理解元数据库的作用。元数据库存储了关于Hive表、分区、列等对象的元数据,这些元数据是执行Hive查询的关键。通常,Hive默认使用Derby...

    Hive metastore 使用达梦数据库存储元数据

    通常,Hive元数据默认存储在MySQL或Derby等关系型数据库中。然而,为了适应更复杂的业务需求和更高的性能,我们可以选择将Hive元数据存储在达梦数据库中。本文将详细介绍如何配置Hive metastore以使用达梦数据库。 ...

    hive3.1.2+mysql驱动.zip

    使用MySQL驱动,Hive可以连接到MySQL服务器来获取和存储元数据。这提供了更强大的元数据管理功能,比如高可用性、数据备份和恢复,同时也便于多用户环境下的权限管理和访问控制。在Hive 3.1.2中,正确配置MySQL驱动...

    datax数据从hive导入mysql数据缺失解决

    Hive 通常用于存储海量数据并进行批处理分析,而 MySQL 则用于存储结构化数据并提供快速查询服务。为了实现两者之间的数据交换,DataX 作为一种开源的数据同步工具被广泛应用。 #### 问题描述 在使用 DataX 将数据...

    hive1.2.1-mysql-connector.rar

    在使用MySQL作为Hive元数据存储时,需要配置Hive-site.xml文件,设置`javax.jdo.option.ConnectionURL`、`javax.jdo.option.ConnectionDriverName`、`javax.jdo.option.ConnectionUserName`和`javax.jdo.option....

    Hive、MySQL、HBase数据互导

    【Hive、MySQL、HBase数据互导】是大数据领域常见的数据处理操作,涉及三个不同的数据存储系统。Hive是一个基于Hadoop的数据仓库工具,它允许使用类SQL的查询语言HiveQL对大规模数据进行批处理和分析。MySQL是一种...

    大数据入门HIVE和MySQL安装包

    1. **Hive Metastore**:存储元数据,包括表名、列名、分区信息等,通常与MySQL或PostgreSQL等RDBMS集成。 2. **Hive Driver**:处理用户提交的HQL查询,解析并转化为MapReduce任务。 3. **Hive执行器**:执行实际的...

    springboot+mybatisplus+druid+hive+mysql.zip

    【标题】"springboot+mybatisplus+druid+hive+mysql.zip" 是一个整合了多种技术的项目压缩包,其中包含Spring Boot、MyBatisPlus、Druid、Hive和MySQL等关键组件。这些技术在现代软件开发,尤其是大数据处理和Web...

    spring-boot集成mybtis+druid实现hive/mysql多数据源切换

    本文将详细讨论如何使用Spring Boot、MyBatis和Druid来实现MySQL与Hive之间的多数据源切换,以满足不同业务场景的需求。 首先,Spring Boot是Spring框架的一种轻量级实现,它简化了配置并提供了快速开发新应用的...

    java操作Hive源码之HiveJDBC实例(mysql数据库)

    默认情况下,Hive使用 Derby 或 MySQL 作为其元数据存储,管理表、分区、列等信息。这里使用MySQL作为元数据存储,因为MySQL具有更好的并发性和可扩展性。 3. **准备环境**: - 安装并配置好Hadoop集群,确保Hive...

    hive1.2.1用mysql作为元数据库搭建DT-大数据.pdf

    Hive使用MySQL作为元数据存储数据库(元数据库)是一个常见的做法,这有利于管理Hive中表的结构和属性等信息。元数据库主要存储了表结构、分区信息、表属性等元数据。 在安装Hive时,一般情况下仅需要在单个节点...

    hive数据存储模式

    上述配置指定了Hive元数据存储所需的数据库连接字符串以及驱动程序名称,以MySQL为例。 综上所述,Hive通过灵活的数据存储模式和元数据管理机制,为大规模数据分析提供了强大的支持。理解Hive的数据存储模式对于...

    mysql数据抽取,自动生成hive建表语句

    2. **解析表结构**:查询MySQL的元数据信息,如字段名、字段类型、字段长度、是否为主键等。 3. **映射数据类型**:将MySQL的数据类型映射到Hive支持的数据类型。例如,MySQL的INT映射为Hive的INT,VARCHAR映射为...

    cloudera manager中添加hive数据库使用mysql的配置步骤

    在Cloudera Manager中配置Hive使用MySQL数据库涉及多个步骤,从卸载CentOS默认MySQL到配置完毕,下面详细说明每一步的知识点。...完成所有步骤后,Hive就可以使用MySQL作为后端数据库来进行元数据存储和管理了。

    Hive_mysql教学安装视频.zip

    在Hive与MySQL集成的场景中,MySQL通常作为元数据存储,用于保存Hive表的信息,如表名、列名、分区等。 集成步骤如下: 1. **安装准备**:确保已安装了Linux操作系统,同时安装好Hadoop环境,因为Hive依赖于Hadoop...

    apache-hive-3.1.2+mysql-connector-java-5.1.32-bin.jar

    在Hive中,我们通常会配置MySQL作为元数据存储,用来保存表信息、分区信息等元数据,因此这个驱动程序是搭建Hive环境的必要组件。 `apache-hive-3.1.2-bin.tar.gz`是Apache Hive 3.1.2的二进制发行版,包含了运行...

    hive-mysqlconnector.rar

    此外,Hive通过Hive Metastore服务来管理和存储元数据,包括表的定义、分区信息等,这些元数据通常会存储在关系型数据库中,如MySQL。 “mysql-connector-java-5.1.49.jar”是MySQL数据库的Java连接器,它是MySQL ...

    Hive安装所需软件文件压缩包(包括Hive,Mysql以及依赖包).rar

    在Hive中,MySQL连接器(JDBC驱动)用于与MySQL数据库交互,因为Hive经常需要将元数据(如表名、列名、分区信息等)存储在一个关系型数据库中,MySQL就是常见的选择之一。这个JAR文件包含了Java编程语言中与MySQL...

    DataX数据的迁移(MySQL、HDFS,Hive)

    1.数据迁移的过程中,由于hive的Null值存储为"\N",Mysql存储为NULL值,二者转换时需要注意,再数据迁移json模板中,"nullFormat": "\\N", 该配置信息就是解决了数据迁移是存在的Null值。 2.如果hive中没有数值DataX...

Global site tag (gtag.js) - Google Analytics