`

HIVE环境搭建(HIVE连接 MYSQL)

 
阅读更多

同前几篇文章一样,这里不打算介绍任何关于HIVE的文章。

HIVE配置

做一只勤劳地小蜜蜂,幸福才能揽入怀中——黄渤。

为了让这只勤劳地小蜜蜂飞翔起来,我们需要

  1. 搭建Hadoop环境.
  2. 下载并解压hive到/home/hadoop下。

    tar -zxf /mnt/hgfs/PublicData/hive-0.6.0-bin.tar.gz -C /tmp

    cp –R /tmp/hive-0.6.0-bin ~/hive-0.6.0

  3. 配置环境变量及HIVE。
    1. 修改~/.bashrc,最末尾加入(具体值根据实际情况确定):

      export JAVA_HOME=/usr/java/jdk1.7.0_51

      export HADOOP_HOME=/home/hadoop/hadoop-0.20.2

      export HIVE_HOME=/home/hadoop/hive-0.6.0

      export PATH=$HIVE_HOME/bin/:$PATH

    2. 修改$HIVE_HOME/bin/hive-config.env,加入(或修改):

      export HIVE_LIB=$HIVE_HOME/lib

      export HIVE_CONF_DIR=$HIVE_HOME/conf

      export HIVE_AUX_JARS_PATH=$HIVE_AUX_JARS_PATH

      export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$HBASE_HOME/hbase/hbase-0.20.3.jar:$HABSE_HOME/hbase-config:$ZOOKEEPER/zookeeper-3.2.2.jar

    3. 在$HIVE_HOME/conf下新建hive-site.xml,内容如下:

      <?xml version="1.0"?>

      <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

      <configuration>

      <property>

      <name>hive.metastore.local</name>

      <value>true</value>

      </property>

      <property>

      <name>javax.jdo.option.ConnectionURL</name>

      <value>jdbc:mysql://192.100.1.213:3306/hive_test?createDatabaseIfNotExist=true;characterEncoding=UTF-8</value>

      </property>

      <property>

      <name>javax.jdo.option.ConnectionDriverName</name>

      <value>com.mysql.jdbc.Driver</value>

      </property>

      <property>

      <name>javax.jdo.option.ConnectionUserName</name>

      <value>root</value>

      </property>

      <property>

      <name>javax.jdo.option.ConnectionPassword</name>

      <value>root</value>

      </property>

      <property>

      <name>datanucleus.fixedDatastore</name>

      <value>false</value>

      </property>

      <property>

      <name>hive.metastore.warehouse.dir</name>

      <value>/home/hadoop/hadoop-data/data/hive</value>

      </property>

      <property>

      <name>hive.exec.scratchdir</name>

      <value>/home/hadoop/hadoop-data/temp</value>

      </property>

      <property>

      <name>datanucleus.fixedDatastore</name>

      <value>false</value>

      </property>

      </configuration>

      说明:细心的你想必已经看出来了:上面配置了HIVE的数据存放目录和元数据库( MYSQL)的连接信息。Mysql安装略,我的实在win上面呢。

    4. 在HDFS中创建HIVE的数据目录,并且设置权限为777。

      ~/hadoop-0.20.2/bin/hadoop fs -mkdir ~/hadoop-data/data/hive

      ~/hadoop-0.20.2/bin/hadoop fs -chmod -R 777 ~/hadoop-data/data/hive

    5. 复制mysql驱动jar到$HIVE_HOME/lib下。
    6. 重启linux,启动Hadoop,启动HIVE:

      hive

      如果你没有看到异常,并且终端提示:

      开启你奇妙的HIVE之旅吧- -

分享到:
评论

相关推荐

    hive介绍和hive环境搭建

    hive介绍和hive环境搭建。。一、 安装mysql 1. 使用root用户: su root 2. 安装 yum install mysql yum install mysql-server yum install mysql-devel(可选) 3. 修改配置信息,添加: vim /etc/my.cnf ...

    hive环境搭建和建表加载数据

    标题“Hive环境搭建和建表加载数据”涉及了几个关键的知识点,包括Hive环境的...需要注意的是,在操作时,系统环境、Hadoop集群状态、数据库服务状态、网络连接等都必须正常,否则Hive环境搭建和数据处理任务可能失败。

    大数据综合实验环境搭建(3个集群、Zookeeper、Hive、HBase)

    大数据综合实验环境搭建(3个集群、Zookeeper、Hive、HBase) 本资源摘要信息主要对大数据综合实验环境搭建进行了详细的介绍,涵盖了 JDK 的安装和配置、免密码登录的设置、Zookeeper 的安装、Hive 和 HBase 的安装...

    hive-mysql安装包,HIVE连接mysql驱动

    新手学习大数据搭建环境所需要安装资料包,其中包括hive-mysql安装包,HIVE连接mysql驱动。其中包括 apache-hive-1.2.1-bin.tar.gz MySQL-client-5.6.24-1.el6.x86_64.rpm mysql-connector-java-5.1.27.tar.gz MySQL-...

    Mac 搭建 Hadoop和hive环境.pdf

    ### Mac环境下Hadoop与Hive搭建详解 #### 标题:Mac 搭建 Hadoop和hive环境 #### 描述:手把手教你进行mac搭建hadoop和hive环境 #### 标签:hadoop, hive, mac, mysql #### 详细知识点解析: ##### 一、前言 ...

    Hive环境搭建及基本操作指南

    本文档介绍了Hive环境的具体构建步骤及其常规操作演示。从软件安装、配置、测试直到最终的运行都进行了详细的说明。重点讲解如何正确设置Hive的相关参数避免冲突,如因jar包引起的兼容性故障,确保能够顺利完成Hive...

    springboot+mybatisplus+druid+hive+mysql.zip

    【标题】"springboot+mybatisplus+druid+hive+mysql.zip" 是一个整合了多种技术的项目压缩包,其中包含Spring Boot、MyBatisPlus、Druid、Hive和MySQL等关键组件。这些技术在现代软件开发,尤其是大数据处理和Web...

    大数据Hadoop+HBase+Spark+Hive集群搭建教程(七月在线)1

    - 创建Hive的metastore_db数据库,并配置Hive连接MySQL的用户和密码。 - 初始化Hive Metastore,执行Hive的`schematool`命令。 5. **集群搭建**: - 将上述所有组件安装在每台服务器上,包括Master和Slave节点。...

    apache-hive-3.1.2+mysql-connector-java-5.1.32-bin.jar

    在Hive中,我们通常会配置MySQL作为元数据存储,用来保存表信息、分区信息等元数据,因此这个驱动程序是搭建Hive环境的必要组件。 `apache-hive-3.1.2-bin.tar.gz`是Apache Hive 3.1.2的二进制发行版,包含了运行...

    hadoop上搭建hive成功后,连接mysql.pdf

    通过以上步骤,你就成功地在Hadoop上的Hive环境中搭建了一个与MySQL连接的系统,实现了Hive元数据的存储以及数据的交互。这种方式使得Hive能够利用MySQL的稳定性和成熟性,同时也保留了Hadoop处理大数据的能力。

    win10下搭建Hadoop环境(jdk+mysql+hadoop+scala+hive+spark) 3.docx

    在Windows 10环境下搭建Hadoop生态系统,包括JDK、MySQL、Hadoop、Scala、Hive和Spark等组件,是一项繁琐但重要的任务,这将为你提供一个基础的大数据处理平台。下面将详细介绍每个组件的安装与配置过程。 **1. JDK...

    从VMware中安装CentOS到Hadoop集群+ Hive+ MySQL搭建

    适合新手,详细 01-Java环境安装 02- Eclipse下载与安装 03-VMware虚拟机的安装 04-在VMware中安装CentOS 05- Hadoop集群+ Hive+ MySQL搭建

    Hive的三种方式安装与搭建

    对于不同的应用场景,可以选择合适的方式来搭建Hive环境。内嵌Derby方式适用于简单的测试或开发场景;而Remote方式则更适合于生产环境,能够提供更好的性能和可靠性。希望本文能够帮助读者更好地理解和掌握Hive的...

    大数据技术基础实验报告-Hive安装配置与应用.doc

    修改MySQL配置文件,允许远程连接: ``` vim /etc/mysql/mysql.conf.d/mysqld.cnf ``` 将`bind-address`改为`0.0.0.0`,然后重启MySQL服务。 2. **安装Hive** 在`/install-package`目录下解压Hive安装包到`/...

    hive1.2.1用mysql作为元数据库搭建DT-大数据.pdf

    接下来,需要创建一个拥有足够权限的MySQL用户,并允许该用户从任何主机连接至数据库,这样做是为了让Hive能够通过该用户连接到MySQL服务器。使用GRANT ALL PRIVILEGES语句为hive用户授权,并且FLUSH PRIVILEGES立即...

    Hadoop和Hive的安装配置

    4. **配置Hive的MySQL依赖**(可选):如果使用外部元存储,需要配置MySQL连接参数,并在MySQL中创建对应的Hive元数据表。 5. **启动Hive**:启动Hive的服务,包括Metastore Server(默认端口9083)和Hive CLI,...

    hive实验报告.docx

    - Hive需要依赖JDK和Hadoop环境,同时实验中还涉及了MySQL数据库的连接,因此需要安装JDBC驱动,如`mysql-connector-java-5.1.42-bin.jar`。 2. **启动Hadoop集群**: - 启动Zookeeper服务,它是Hadoop分布式协调...

    Hive总结.docx

    与传统的数据库(如MySQL、Oracle)相比,Hive更侧重于分析操作,存储大量历史数据,响应时间相对较慢,但适合大规模数据的离线分析。 1.2 Hive原理 Hive的工作流程主要包括以下步骤: - 用户通过各种接口(CLI、...

    第7集-Hadoop环境搭建 - linux(centos7) - 安装配置hive2.1.1.pdf

    ### Hadoop环境搭建之Hive 2.1.1配置详解 #### 一、概述 在构建大数据处理环境时,Apache Hive 是一个重要的组件,它提供了SQL查询功能,使用户能够方便地对存储在Hadoop文件系统(HDFS)中的大规模数据集进行数据...

Global site tag (gtag.js) - Google Analytics