`
k_lb
  • 浏览: 843120 次
  • 性别: Icon_minigender_1
  • 来自: 郑州
社区版块
存档分类
最新评论
  • kitleer: 据我所知,国内有款ETL调度监控工具TaskCTL,支持ket ...
    kettle调度

HIVE 通过 MYSQL 保存元数据

 
阅读更多

1.安装hadoop(1.0以上)

2.安装hive安装(0.9.0以上版本)

4.当然你还得安装jdk

4. mysql,同时准备个可访问的账号,这里采用root,最好配上远程访问权限。

修改hive下的conf文件夹中将hive-default.xml.template 复制并改名成hive-site.xml

这里是我的文件

<property>
           <name>hive.metastore.local</name>
           <value>true</value>
</property>

<property>
           <name>javax.jdo.option.ConnectionURL</name>
           <value>
            jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true
           </value>
</property>
<property>
           <name>javax.jdo.option.ConnectionDriverName</name>
           <value>com.mysql.jdbc.Driver</value>
</property>
<property>
           <name>javax.jdo.option.ConnectionUserName</name>
           <value>Username</value><!-- In my case UserName is hadoop-->
</property>
<property>
           <name>javax.jdo.option.ConnectionPassword</name>
           <value>UserPassword</value><!-- In my case password is hadoop-->
</property>


其中标红的都是需要修改的,并改成自己的设置,同时将mysql的jdbc驱动拷贝到hive的lib目录下,然后启动hive看到如下界面

  1. WARNING:org.apache.hadoop.metrics.jvm.EventCounterisdeprecated.Pleaseuseorg.apache.hadoop.log.metrics.EventCounterinallthelog4j.propertiesfiles.
  2. Logginginitializedusingconfigurationinjar:file:/usr/local/hadoop/hive/lib/hive-common-0.9.0.jar!/hive-log4j.properties
  3. Hivehistoryfile=/tmp/root/hive_job_log_root_201206141444_1788273672.txt
  4. hive>

当输入show tables;没有报错时,证明配置成功

hive> show tables;

OK

invites

Time taken: 3.688 seconds

hive>

然后大家可以登录到mysql查看是否创建了数据库hive(跟你配置的名字相同)

mysql> show databases;

+--------------------+

| Database |

+--------------------+

| information_schema |

| hive |

| mysql |

| performance_schema |

| test |

+--------------------+

5 rows in set (0.00 sec)

这时一切搞定~~~~~~~~~~

分享到:
评论

相关推荐

    hive3.1.2+mysql驱动.zip

    本地元数据存储将元数据保存在运行Hive Metastore服务的同一台服务器上,而远程元数据存储则允许在独立的数据库服务器上管理元数据。MySQL作为流行的开源关系型数据库管理系统,常被用作Hive的远程元数据存储。 ...

    Hive_mysql教学安装视频.zip

    在Hive与MySQL集成的场景中,MySQL通常作为元数据存储,用于保存Hive表的信息,如表名、列名、分区等。 集成步骤如下: 1. **安装准备**:确保已安装了Linux操作系统,同时安装好Hadoop环境,因为Hive依赖于Hadoop...

    apache-hive-3.1.2+mysql-connector-java-5.1.32-bin.jar

    在Hive中,我们通常会配置MySQL作为元数据存储,用来保存表信息、分区信息等元数据,因此这个驱动程序是搭建Hive环境的必要组件。 `apache-hive-3.1.2-bin.tar.gz`是Apache Hive 3.1.2的二进制发行版,包含了运行...

    hive数据存储模式

    ### Hive数据存储模式详解 #### 一、Hive的数据存储 ...综上所述,Hive通过灵活的数据存储模式和元数据管理机制,为大规模数据分析提供了强大的支持。理解Hive的数据存储模式对于高效利用Hive进行数据处理至关重要。

    生成hive建表语句

    7. **外部表**:如果数据由其他系统生成或管理,可以创建外部表,仅保存元数据,数据文件位于HDFS的特定路径。 8. **SerDe(序列化/反序列化)**:Hive使用SerDe来处理数据的读取和写入,如`ROW FORMAT SERDE 'org....

    Hadoop数据仓库--hive介绍

    - 元数据存储:Hive 有一个元数据存储服务(Metastore),保存关于表结构、分区等信息,通常存储在关系数据库中,如 MySQL 或 PostgreSQL。 1.2 Hive 架构 Hive 的架构包括以下部分: - 操作界面:用户可以通过...

    hive等配置文档

    Hive通常依赖于一个外部的元数据存储来保存表和分区的信息,MySQL是常见的选择。在安装MySQL时,首先需要卸载旧版本,然后安装新版本,并确保MySQL服务器正常启动。配置Hive与MySQL的连接,需要在Hive的`conf/hive-...

    基于hadoop的hive数据仓库的配置

    以上步骤详细介绍了如何在Linux环境下搭建基于Hadoop的Hive数据仓库,包括Hive的安装、MySQL作为Hive元数据存储的配置以及Hive的初始化等关键步骤。通过这些配置,你可以利用Hive对Hadoop中的大规模数据进行高效的...

    hive影评案例.rar

    元数据存储通常使用MySQL或Derby,保存表名、列名等信息;Hive服务器解析并优化查询,生成执行计划;执行器负责在Hadoop MapReduce上运行任务。 2. **HQL与SQL的区别**:HQL与SQL语法相似,但HQL是针对分布式环境...

    Hive-基于hadoop的数据仓库.pptx

    元数据存储通常使用关系数据库(如MySQL、Derby)保存表名、列、分区等信息。解释器、编译器、优化器则负责HQL的解析、编译、优化,最终生成的查询计划由MapReduce执行。 Hive与Hadoop紧密关联,依赖HDFS进行数据...

    hive配置相关文件.zip

    Hive通常使用MySQL(或其他兼容的数据库如Derby或PostgreSQL)作为元数据存储,用来保存表的定义、分区信息等。此驱动文件用于连接Hive与MySQL服务器,确保Hive可以正确地读写元数据。 5. **hive-site.xml**:这是...

    Hive用户指南(Hive_user_guide)_中文版.pdf

    2、 Hive 将元数据存储在数据库中,如 mysql 、 derby 。 Hive 中的元数据包括表的名字, 表的列和分区及其属性,表的属性(是否为外部表等),表的数据所在目录等。 3、 解释器、编译器、优化器完成 HQL 查询语句...

    关于Hive自学视频的对照数据(全).zip

    元数据存储通常在MySQL中,保存表信息、分区信息等;驱动器解析并优化SQL查询;执行器则负责执行查询计划,与Hadoop MapReduce或Tez、Spark等计算框架协同工作。 2. **Hive表和分区**:Hive表可以被划分为多个分区...

    hive sql详解 经典

    客户端是用户交互的接口,元数据存储通常在MySQL或Derby数据库中,保存表和分区的信息。驱动器解析SQL查询并生成执行计划,执行器负责在Hadoop集群上执行这些计划。 2. **HiveQL**: HiveQL是Hive的SQL方言,支持...

    Hive是一个基于Hadoop的数据仓库平台.zip

    1.我们采用MySQL数据库保存Hive的元数据,而不是采用Hive自带的derby来存储元数据,因此需要在Ubuntu里安装MySQL 使用以下命令即可进行mysql安装: 2.MySQL安装完成之后,可用以下命令启动和关闭mysql服务器

    hive Linux安装和配置

    确保已经安装了 MySQL 并且创建了一个名为 `hive` 的数据库用于存储 Hive 的元数据。此外,还需要在 MySQL 中创建用户,并赋予相应的权限。 ##### 2.5 安装 MySQL 驱动 为了使 Hive 能够通过 JDBC 连接 MySQL ...

    apache-hive-3.1.2-bin.tar.gz

    1. **元数据存储**:Hive存储关于表、列、分区等的元数据,这些信息通常保存在MySQL或Derby这样的关系型数据库中。 2. **编译器**:将HQL转换为MapReduce或Tez任务,对于Hive 3.1.2,它也支持Spark执行引擎。 3. **...

    hive安装包Linux包

    Client与用户交互,MetaStore保存元数据,Driver解析和编译SQL查询,Compiler生成执行计划,Executor负责执行,而HDFS则是数据的存储层。 2. **HQL(Hive Query Language)**: Hive提供了一种类似于SQL的查询语言,...

    hive官方文档整理

    客户端是用户交互的接口,元数据存储通常在MySQL中,保存表名、列名等信息;驱动器解析查询并生成执行计划;执行器则负责将任务分发到Hadoop集群执行。 3. **HQL**:HQL是Hive的核心,它的语法与SQL类似,但有一些...

    hive技术分享文档

    客户端用于提交查询,元数据存储(通常使用MySQL或Derby)保存表和分区的信息,Hive Server处理客户端请求并解析HQL,执行引擎负责运行实际的MapReduce任务。 三、HQL与SQL Hive查询语言(HQL)与SQL非常相似,但有...

Global site tag (gtag.js) - Google Analytics