同前几篇文章一样,这里不打算介绍任何关于HIVE的文章。
HIVE配置
做一只勤劳地小蜜蜂,幸福才能揽入怀中——黄渤。
为了让这只勤劳地小蜜蜂飞翔起来,我们需要
-
搭建Hadoop环境.
-
tar -zxf /mnt/hgfs/PublicData/hive-0.6.0-bin.tar.gz -C /tmp
cp –R /tmp/hive-0.6.0-bin ~/hive-0.6.0
-
配置环境变量及HIVE。
-
修改~/.bashrc,最末尾加入(具体值根据实际情况确定):
export JAVA_HOME=/usr/java/jdk1.7.0_51
export HADOOP_HOME=/home/hadoop/hadoop-0.20.2
export HIVE_HOME=/home/hadoop/hive-0.6.0
export PATH=$HIVE_HOME/bin/:$PATH
-
修改$HIVE_HOME/bin/hive-config.env,加入(或修改):
export HIVE_LIB=$HIVE_HOME/lib
export HIVE_CONF_DIR=$HIVE_HOME/conf
export HIVE_AUX_JARS_PATH=$HIVE_AUX_JARS_PATH
export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$HBASE_HOME/hbase/hbase-0.20.3.jar:$HABSE_HOME/hbase-config:$ZOOKEEPER/zookeeper-3.2.2.jar
-
在$HIVE_HOME/conf下新建hive-site.xml,内容如下:
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>hive.metastore.local</name>
<value>true</value>
</property>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://192.100.1.213:3306/hive_test?createDatabaseIfNotExist=true;characterEncoding=UTF-8</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>root</value>
</property>
<property>
<name>datanucleus.fixedDatastore</name>
<value>false</value>
</property>
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/home/hadoop/hadoop-data/data/hive</value>
</property>
<property>
<name>hive.exec.scratchdir</name>
<value>/home/hadoop/hadoop-data/temp</value>
</property>
<property>
<name>datanucleus.fixedDatastore</name>
<value>false</value>
</property>
</configuration>
说明:细心的你想必已经看出来了:上面配置了HIVE的数据存放目录和元数据库( MYSQL)的连接信息。Mysql安装略,我的实在win上面呢。
-
在HDFS中创建HIVE的数据目录,并且设置权限为777。
~/hadoop-0.20.2/bin/hadoop fs -mkdir ~/hadoop-data/data/hive
~/hadoop-0.20.2/bin/hadoop fs -chmod -R 777 ~/hadoop-data/data/hive
- 复制mysql驱动jar到$HIVE_HOME/lib下。
-
重启linux,启动Hadoop,启动HIVE:
hive
如果你没有看到异常,并且终端提示:
开启你奇妙的HIVE之旅吧- -
分享到:
相关推荐
hive介绍和hive环境搭建。。一、 安装mysql 1. 使用root用户: su root 2. 安装 yum install mysql yum install mysql-server yum install mysql-devel(可选) 3. 修改配置信息,添加: vim /etc/my.cnf ...
标题“Hive环境搭建和建表加载数据”涉及了几个关键的知识点,包括Hive环境的...需要注意的是,在操作时,系统环境、Hadoop集群状态、数据库服务状态、网络连接等都必须正常,否则Hive环境搭建和数据处理任务可能失败。
大数据综合实验环境搭建(3个集群、Zookeeper、Hive、HBase) 本资源摘要信息主要对大数据综合实验环境搭建进行了详细的介绍,涵盖了 JDK 的安装和配置、免密码登录的设置、Zookeeper 的安装、Hive 和 HBase 的安装...
新手学习大数据搭建环境所需要安装资料包,其中包括hive-mysql安装包,HIVE连接mysql驱动。其中包括 apache-hive-1.2.1-bin.tar.gz MySQL-client-5.6.24-1.el6.x86_64.rpm mysql-connector-java-5.1.27.tar.gz MySQL-...
### Mac环境下Hadoop与Hive搭建详解 #### 标题:Mac 搭建 Hadoop和hive环境 #### 描述:手把手教你进行mac搭建hadoop和hive环境 #### 标签:hadoop, hive, mac, mysql #### 详细知识点解析: ##### 一、前言 ...
本文档介绍了Hive环境的具体构建步骤及其常规操作演示。从软件安装、配置、测试直到最终的运行都进行了详细的说明。重点讲解如何正确设置Hive的相关参数避免冲突,如因jar包引起的兼容性故障,确保能够顺利完成Hive...
【标题】"springboot+mybatisplus+druid+hive+mysql.zip" 是一个整合了多种技术的项目压缩包,其中包含Spring Boot、MyBatisPlus、Druid、Hive和MySQL等关键组件。这些技术在现代软件开发,尤其是大数据处理和Web...
- 创建Hive的metastore_db数据库,并配置Hive连接MySQL的用户和密码。 - 初始化Hive Metastore,执行Hive的`schematool`命令。 5. **集群搭建**: - 将上述所有组件安装在每台服务器上,包括Master和Slave节点。...
在Hive中,我们通常会配置MySQL作为元数据存储,用来保存表信息、分区信息等元数据,因此这个驱动程序是搭建Hive环境的必要组件。 `apache-hive-3.1.2-bin.tar.gz`是Apache Hive 3.1.2的二进制发行版,包含了运行...
通过以上步骤,你就成功地在Hadoop上的Hive环境中搭建了一个与MySQL连接的系统,实现了Hive元数据的存储以及数据的交互。这种方式使得Hive能够利用MySQL的稳定性和成熟性,同时也保留了Hadoop处理大数据的能力。
在Windows 10环境下搭建Hadoop生态系统,包括JDK、MySQL、Hadoop、Scala、Hive和Spark等组件,是一项繁琐但重要的任务,这将为你提供一个基础的大数据处理平台。下面将详细介绍每个组件的安装与配置过程。 **1. JDK...
适合新手,详细 01-Java环境安装 02- Eclipse下载与安装 03-VMware虚拟机的安装 04-在VMware中安装CentOS 05- Hadoop集群+ Hive+ MySQL搭建
对于不同的应用场景,可以选择合适的方式来搭建Hive环境。内嵌Derby方式适用于简单的测试或开发场景;而Remote方式则更适合于生产环境,能够提供更好的性能和可靠性。希望本文能够帮助读者更好地理解和掌握Hive的...
修改MySQL配置文件,允许远程连接: ``` vim /etc/mysql/mysql.conf.d/mysqld.cnf ``` 将`bind-address`改为`0.0.0.0`,然后重启MySQL服务。 2. **安装Hive** 在`/install-package`目录下解压Hive安装包到`/...
接下来,需要创建一个拥有足够权限的MySQL用户,并允许该用户从任何主机连接至数据库,这样做是为了让Hive能够通过该用户连接到MySQL服务器。使用GRANT ALL PRIVILEGES语句为hive用户授权,并且FLUSH PRIVILEGES立即...
4. **配置Hive的MySQL依赖**(可选):如果使用外部元存储,需要配置MySQL连接参数,并在MySQL中创建对应的Hive元数据表。 5. **启动Hive**:启动Hive的服务,包括Metastore Server(默认端口9083)和Hive CLI,...
- Hive需要依赖JDK和Hadoop环境,同时实验中还涉及了MySQL数据库的连接,因此需要安装JDBC驱动,如`mysql-connector-java-5.1.42-bin.jar`。 2. **启动Hadoop集群**: - 启动Zookeeper服务,它是Hadoop分布式协调...
与传统的数据库(如MySQL、Oracle)相比,Hive更侧重于分析操作,存储大量历史数据,响应时间相对较慢,但适合大规模数据的离线分析。 1.2 Hive原理 Hive的工作流程主要包括以下步骤: - 用户通过各种接口(CLI、...
### Hadoop环境搭建之Hive 2.1.1配置详解 #### 一、概述 在构建大数据处理环境时,Apache Hive 是一个重要的组件,它提供了SQL查询功能,使用户能够方便地对存储在Hadoop文件系统(HDFS)中的大规模数据集进行数据...