`
sunasheng
  • 浏览: 122832 次
  • 性别: Icon_minigender_1
  • 来自: 北京
文章分类
社区版块
存档分类
最新评论

Hive的安装(常用的是独立模式安装)

阅读更多

Hive的安装(常用的是独立模式)

 

1.内嵌模式安装

这样安装的话元数据保存在Derby数据库中,只能允许一个会话连接,只适合用于简单的测试。

<1>.解压

tar -xzvf hive-0.10.0

<2>.配置环境

/etc/profileexport HIVE_HOME={$hive_install}PATH中加入$HIVE_HOME 并保证有HADOOP_HOME的配置

也可以在hive-site.xml中配置

<3>.新建Hive所需要的目录

在HDFS上建立tmp和/user/hive/warehouse

命令:hadoop目录下

bin/hadoop fs -mkdir /tmp

bin/hadoop fs -mkdir /user/hive/warehouse

bin/hadoop fs -chmod g+w /tmp

bin/hadoop fs -chnod g+w /user/hive/warehouse

也可以在hive-site.xml中配置

<4>.启动Hive

在命令行下输入hive,如果能够进入hive的shell界面并能够浏览,表明Hive能够使用啦

2.独立模式安装

<1>安装好mysql服务器端和mysql客户端,并启动mysql服务

<2>为Hive建立相应的mysql帐号,并赋予足够的权限

create user 'hive' identified by '123456'; 

( 如果出现提示信息ERROR 1396 (HY000): Operation CREATE USER failed for 'hive'@'%'mysql中已经有该账户【可以使用drop user进行删除】)

grant all privileges on *.* to 'hive'@'%' with grant option;

flush privileges;                 强制写出

 

为了使远程用户可以访问到mysql,修改/etc/mysql/my.cnf  文件,将bind-address注释掉

重启mysql

sudo /etc/ini.d/mysql restart

然后Hive帐号测试远程登录mysqlmysql -h 192.168.10.241-u hive -p

<3>建立Hive专用的元数据库

create database hive

<4>在本地安装mysql客户端

<5>配置/conf/hive-site.xml(自己新建或者拷贝hive-default.xml.template进行修改)

<property>
        <name>hive.metastore.local</name>
        <value>true</value>
        <description>controls whether to connect to remove metastore server or open a new metastore server in Hive Client JVM</description>
</property>
 <property>
        <name>javax.jdo.option.ConnectionURL</name> <!--Hive连接数据库的URL-->
        <value>jdbs:mysql:192.168.10.241:3306/hive>createDatabaseIfNotExist=true</value>
        <description>JDBC connect string for a JDBC metastore</description>
</property>
 <property>
        <name>javax.jdo.option.ConnectionDriverName</name><!--Hive连接数据库的驱动名-->
        <value>com.mysql.jdbc.Driver</value>
        <description>Driver class name for a JDBC metastore</description>
</property>
 <property>
        <name>javax.jdo.option.ConnectionUserName</name><!--Hive连接数据库的username-->
        <value>root</value>
        <description>username to use against metastore database</description>
</property>
 <property>
        <name>javax.jdo.option.ConnectionPassword</name><!--Hive连接数据库的password-->
        <value>123456</value>
        <description>password to use against metastore database</description>
</property>
 <property>
        <name>hive.metastore.warehouse.dir</name><!--Hive在HDFS上的数据存储目录-->
        <value>/hive/warehouse</value>
        <description>the hive data save localtion with hdfs</description>
</property>
 <property>
        <name>hive.exec.scratchdir</name> <!--Hive的数据临时文件目录-->
        <value>/tmp/hive-asheng</value>
        <description>the hive data tmp save localtion</description>
</property>

<6>把mysql的jdbc驱动包放到Hive/lib下

<7>启动Hive

启动hive shell: 

           hive目录下执行命令bin/hive

           执行命令show tables 

如果不报错 则安装成功  那么进入Hive的新建表则可以在mysql的Hive的数据库中看到相应的元数据信息啦~

3.远程模式安装

远程模式安装是把metastore配置到远程的机器上,可以配置多个,在独立模式的基础上需要在hive-site.xml中增加配置信息

<!--用于远程模式安装的附加信息-->

       

<property>
        <name>hive.metastore.local</name>
        <value>false</value>
        <description>controls whether to connect to remove metastore server or open a new metastore server in Hive Client JVM</description>
</property>
 <property>
        <name>hive.metastore.uris</name>
        <value>uri1,uri2</value><!--可以配置多个uri,他们之间用分号隔开即可-->
        <description>JDBC connect string for a JDBC metastore</description>
</property>

 

分享到:
评论

相关推荐

    hive常用的开发规范

    以下是一些常用的 Hive 开发规范: 1. **数据开发规范** - **Hive 数据目录规范** - **分区键命名**:月分区键应命名为 `month`,日分区键应命名为 `day`。创建分区时,分区键不应与表字段名称相同。 - **HDFS ...

    Hive简介及安装

    Facebook在2008年将Hive贡献给了Apache软件基金会,使其成为一个独立的开源项目。Hive在Facebook内部得到了广泛应用,并在处理大规模数据集方面展现了其价值,尤其是在对网络日志进行批量分析的任务中。 Hive的主要...

    hive原理1介绍

    - Parquet (虽然在提供的部分内容中未提及,但它是Hive常用的另一种存储格式) #### Hive的元数据管理 Hive使用元数据服务组件(Hive Metastore)来存储表和其他对象的元数据。元数据通常包括表的定义、列的信息、...

    华为大数据认证: Hive分布式数据仓库.pptx

    华为大数据认证:Hive分布式数据仓库课程目标是让学员掌握Hive应用场景与基本原理、掌握FusionInsight中Hive增强特性、熟悉常用Hive SQL语句。课程目录包括Hive概述、Hive功能与架构、Hive基本操作等。 Hive是大...

    第7讲Hive数据仓库.pptx

    在安装Hive时,有三种模式可以选择:内嵌模式、本地独立模式和远程模式。内嵌模式使用内嵌的Derby数据库,只允许单个会话;本地独立模式将元数据存储在本地安装的MySQL中;远程模式则将元数据放在远程MySQL服务器上...

    Hive语法详解.docx (排版清晰,覆盖全面,含目录)

    #### 二、Hive常用函数总结 - **字符串操作函数**:如CONCAT、SUBSTR等。 - **正则匹配函数**:如REGEXP_EXTRACT等。 - **解析函数**:用于从复杂数据类型中提取数据。 - **聚合函数**:如COUNT、SUM等。 - **开窗...

    零基础学习Hadoop

    搭建Hadoop集群时,桥接模式通常是最常用的选择,因为它可以保证虚拟机既可以与外部网络通信,也可以与其他虚拟机和宿主机通信。 搭建集群的过程还包括了安装和配置Hadoop。Hadoop的安装方式分为单机安装、伪分布式...

    大数据技术开发环境搭建.docx

    安装Spark后,可以使用Spark Shell编写代码,或者通过Scala和Java编写独立应用。Eclipse结合sbt或maven,为编写Spark应用程序提供了便利。 此外,教程还涵盖了其他数据存储和处理工具,如MySQL(关系型数据库)、...

    大数据课程体系.pdf

    Hadoop的安装与配置包括独立模式、伪分布式和完全分布式,其中HDFS的datanode和namenode、Hadoop的启动与停止、SSH配置等是重点。MapReduce的编程模型中,理解InputSplit和OutputSplit、BlockSize以及如何编写Mapper...

    大数据课程体系 (2).pdf

    Hadoop的集群结构包括独立模式、伪分布式和完全分布式,安装和配置过程需要理解HDFS的工作原理,如DataNode和NameNode的作用,以及BlockSize和副本数的配置。MapReduce作业流程包括Mapper和Reducer的编写,理解...

    大数据课程体系(20210925082704).pdf

    学生将学会Hadoop的独立模式、伪分布式和完全分布式安装配置,理解HDFS的工作原理,如DataNode和NameNode的功能,以及HDFS的Shell和Java API的使用。 4. **MapReduce**:MapReduce是Hadoop的数据处理模型,课程将...

    大数据课程体系.docx

    - **Hadoop独立模式安装与测试**:指导如何在独立模式下安装配置Hadoop,并进行简单的功能验证。 - **SSH安装与配置**:讲解SSH服务的安装步骤及基本配置方法。 - **Hadoop伪分布式和完全分布式安装配置**:介绍两种...

    大数据课程体系

    - **Hadoop独立模式安装与测试**:演示如何安装并测试Hadoop独立模式。 - **Hadoop启动与停止**:介绍Hadoop集群的启动和停止流程。 - **SSH安装与配置**:指导SSH服务的安装和配置。 - **Hadoop伪分布式和完全...

    大数据课程体系 (3).pdf

    学员将学习如何在独立模式、伪分布式和完全分布式环境下安装和配置Hadoop,理解HDFS的工作原理,包括DataNode和NameNode,以及如何使用HDFS的Shell和Java API。MapReduce的作业流程分析、Mapper和Reducer的编写,...

Global site tag (gtag.js) - Google Analytics