`

hive配置mysql数据源作为元数据库

 
阅读更多

1.install mysql

       yum install mysql

yum install mysql-server

yum install mysql-devel

chgrp -R mysql /var/lib/mysql

chmod -R 770 /var/lib/mysql

service mysqld start 

mysql

SET PASSWORD FOR 'root'@'localhost' = PASSWORD('secret_password');

2.安装hive

          1,下载wget http://labs.renren.com/apache-mirror//hive/stable/hive-0.8.1.tar.gz

            

            2,解压tar -zxvf hive-0.7.0.tar.gz(注意文件用户权限,和hadoop不一致要修改)

 

            3,配置conf/hive-env.sh.template

               export HADOOP_HOME=/usr/local/hadoop-0.20.203.0

               export HIVE_HOME =/usr/local/hadoop-0.20.203.0/hive-0.8.1

               export JAVA_HOME=/usr/local/jdk1.6.0_25

            4,在hive目录下执行bin/hive测试成功是否

               Hive history file=/tmp/tmg/hive_job_log_tmg_201105241042_506926685.txt
               hive>

               执行show tables;

               OK
               Time taken: 1.482 seconds

        安装完成,是不是很easy!

3.配置hive元数据库

  修改配置文件hive-site.xml

        <property>

  <name>javax.jdo.option.ConnectionURL</name>

 <!-- <value>jdbc:derby:;databaseName=metastore_db;create=true</value>-->

  <value>jdbc:mysql://172.16.80.19:3306/hive?createDatabaseIfNotExist=true</value>

  <description>JDBC connect string for a JDBC metastore</description>

</property>

 

<property>

  <name>javax.jdo.option.ConnectionDriverName</name>

  <!--<value>org.apache.derby.jdbc.EmbeddedDriver</value>-->

  <value>com.mysql.jdbc.Driver</value>

  <description>Driver class name for a JDBC metastore</description>

</property>

<property>

  <name>javax.jdo.option.ConnectionUserName</name>

  <value>root</value>

  <description>username to use against metastore database</description>

</property>

 

<property>

  <name>javax.jdo.option.ConnectionPassword</name>

  <value>zone2009</value>

  <description>password to use against metastore database</description>

</property>

  下载mysql driver到hive-home/lib目录下

 

   启动hive --service hwi

执行

   http://ip:9999/hwi

   能正常看到如下:

     

User

Authorize
Browse Schema
Create Session
Diagnostics
List Sessions

Database List

default

 

后台会提示mysql数据库创建成功。

分享到:
评论

相关推荐

    spring-boot集成mybtis+druid实现hive/mysql多数据源切换

    要实现多数据源切换,我们需要在Spring Boot的配置文件(如application.properties或application.yml)中定义两个数据源,分别对应MySQL和Hive。然后,我们可以创建两个DataSource bean,分别对应这两个数据源,利用...

    简单的spark 读写hive以及mysql

    Spark 提供了高效的数据处理能力,而 Hive 则是基于 Hadoop 的数据仓库工具,MySQL 是一种广泛使用的开源关系型数据库。本篇文章将深入探讨如何使用 Spark 与 Hive 和 MySQL 进行数据交互。 首先,`SparkToHive....

    springboot +hive+mysql 德鲁伊特 实现 多数据源切换

    springboot +hive+mysql 多数据源切换 个人写了一个demo 并测试通过 下载地址

    springboot多数据源代码

    本项目涉及的主题是“springboot多数据源代码”,这意味着我们将探讨如何在SpringBoot应用中配置和管理多个数据源,包括Hive和MySQL数据库。 Hive是一个基于Hadoop的数据仓库工具,可以将结构化的数据文件映射为...

    springboot+mybatisplus+druid+hive+mysql.zip

    3. **Druid数据源的配置**:初始化参数设置、监控配置、连接池的健康检查、性能优化等。 4. **Hive的JDBC连接**:在Java代码中如何使用Hive JDBC驱动建立与Hadoop集群的连接,执行HQL语句。 5. **Hive与MySQL的交互*...

    hive+mysql-connector-java-5.1.38.zip

    3. **创建外部表**: 定义一个Hive外部表,其表结构对应于MySQL中的表结构,并指定MySQL作为数据源。 4. **查询数据**: 现在可以像操作普通Hive表一样,对MySQL数据库中的数据进行SQL查询和分析。 这个压缩包的用途...

    Hive数据仓库之垃圾分类数据分析系统

    (3)sqoop数据迁移,完成HIve与MySQL数据库中的数据交互 (4)Echarts搭建动态可视化大屏 (5)SpringBoot搭建可视化后台系统,完成前端与后台的数据传递与交互。 (6)基于Cenots7 搭建虚拟机,配置Hadoop、HDFS、...

    JEECG切换数据库方法

    在企业级应用开发和部署过程中,数据库作为数据存储的中心,其重要性不言而喻。JEECG(Java EE Code Generation platform)作为一个领先的代码生成平台,提供了方便快捷的数据库切换方法。在进行JEECG切换数据库时,...

    Hive数据库的安装及基本使用

    通过上述步骤,可以成功安装Hive,并且将其配置为使用MySQL作为元数据库,之后就可以开始使用Hive进行数据查询和分析了。需要注意的是,Hive对于MySQL的支持在内部实现良好,使得用户可以专注于数据处理而不是底层...

    mysql_hive_jar.zip

    Hive通过JDBC(Java Database Connectivity)接口与外部数据源(如MySQL)通信。JDBC驱动是Java应用程序连接到数据库的桥梁。在`mysql_hive_jar`中,可能包含了MySQL的JDBC驱动 jar 文件,例如`mysql-connector-...

    sqoop 从 hive 导到mysql遇到的问题.docx

    Sqoop 的核心概念是将数据从一个数据源(如 MySQL)传输到另一个数据源(如 Hive),或者从 Hive 导出数据到 MySQL 等关系数据库管理系统。Sqoop 使用 JDBC 连接器来连接不同类型的数据库,实现数据的传输和映射。 ...

    hadoop集群配置之———hive安装与配置(超详细)

    在安装Hive之前,一般需要先安装和配置好MySQL数据库,因为Hive会使用MySQL来存储其元数据。元数据是关于数据的数据,例如表结构定义、表之间关系、数据字段等。Hive依赖MySQL存储这些重要的元数据信息,是Hive正常...

    dbeaver安装包+该软件的hive驱动包

    2. 添加Hive数据源:在DBeaver中,选择“数据库” -&gt; “新连接”,在弹出的“新建数据库连接”窗口中,选择“其他” -&gt; “Hive (JDBC)”。 3. 配置连接参数:输入Hive服务器的主机名、端口、用户名和密码。在“JDBC...

    SpringBoot整合mybatis-plus实现多数据源的动态切换且支持分页查询.pdf

    为了处理数据源上下文,创建`DynamicDataSourceContextHolder`配置类,用于设置和获取当前线程的数据源: ```java public class DynamicDataSourceContextHolder { public static final ThreadLocal&lt;String&gt; ...

    从任意hive单表读取并计算数据写入任意mysql单表的hive工具

    标题中的“从任意hive单表读取并计算数据写入任意mysql单表的hive工具”指的是一款专门用于数据迁移的工具,它能够帮助用户从Hive数据仓库中提取数据,进行必要的计算处理,然后将结果存储到MySQL数据库中。...

    一个简单的Hive项目,使用了Sqoop、Hadoop、Hive、MySQL,对电商数据进行分析-BI_project.zip

    在这个项目中,MySQL可能扮演数据源的角色,提供原始的电商交易数据,这些数据随后通过Sqoop导入到Hadoop集群进行分析。 项目文件"BI_project-master"可能包含了项目源代码、配置文件、README文档等资源。源代码...

    基于Sqoop+Hive+Spark+MySQL+AirFlow+Grafana的工业大数据离线数仓项目

    最后,Grafana是一个强大的可视化工具,它可以连接多种数据源(如Hive、Spark或MySQL),并将数据转化为直观的图表和仪表盘。在本项目中,Grafana可以帮助用户实时监控数据处理的状态,展示关键性能指标,如处理速度...

    scribe+hadoop+log4j+hive+mysql

    综上所述,通过结合使用 Scribe、Hadoop、Log4j、Hive 和 MySQL 这些工具和技术,可以构建一套完整的日志数据采集、存储、处理和分析的解决方案。这对于深入理解用户行为、提升系统性能等方面都具有重要意义。

    hive1.2.2源代码

    1. Hive Metastore:存储元数据,如表结构、分区信息等,通常与数据库(如MySQL)交互,为Hive提供元数据服务。 2. Hive Server:接收客户端请求,处理查询并返回结果,有两种主要的服务模式:HiveServer(HS1)和...

    利用Flume将MySQL表数据准实时抽取到HDFS、MySQL、Kafka

    Flume可以将MySQL的数据写入HDFS,以便进行后续的批处理分析或者作为其他Hadoop服务(如Hive、Pig等)的数据源。 4. **Kafka**: Kafka是一个高吞吐量的分布式消息系统,通常用作实时数据管道,将数据从一个位置传输...

Global site tag (gtag.js) - Google Analytics