首先根据http://cp1985chenpeng.iteye.com/blog/1328541中配置好hadoop分布式。
然后在master上下载hive
安装hive很简单,首先解压缩。
然后配置环境变量以ubuntu为例
$sudo vim /etc/environment
添加
JAVA_HOME="/usr/lib/jvm/java-6-sun"
HADOOP_HOME="/home/hadoop/hadoop"
HBASE_HOME="/home/hadoop/hbase"
HIVE_HOME="/home/hadoop/hive"
在$HIVE_HOME/conf目录下,新建一个hive-site.xml,配置Hive元数据的存储方式(我用的是mysql存储)
注意下面配置的是hive默认的是mysql的hive数据库,用户名是hive,密码是hive。所以在进行下列操作前要用root登录mysql创建hive数据库并且分配给用户hive。
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>hive.aux.jars.path</name>
<value>file:///home/hadoop/hive/lib/hive-hbase-handler-0.7.1-cdh3u2.jar,file:///home/hadoop/hive/lib/hbase-0.90.4-cdh3u2.jar,file:///home/hadoop/hive/lib/zookeeper-3.3.1.jar </value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>hostname(zookeeper配置主机名)</value>
</property>
<property>
<name>hive.metastore.local</name>
<value>true</value>
</property>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost:3306/hive</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>hive</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>hive</value>
</property>
<property>
<name>datanucleus.fixedDatastore</name>
<value>false</value>
</property>
</configuration>
在执行hive前,要把mysql-connector-java-5.1.18-bin.jar加到${HIVE_HOME}/lib中。
到此hive安装完成
$HIVE_HOME/bin/hive
hive> CREATE TABLE temp (info INT);
OK
Time taken: 0.251 seconds
OK
Time taken: 0.251 seconds
hive> CREATE TABLE test(content STRING);
OK
Time taken: 0.251 seconds
Time taken: 0.251 seconds
hive> SHOW TABLES;
OK
temp
test
Time taken: 3.612 seconds
temp
test
Time taken: 3.612 seconds
然后登录mysql验证
mysql> show tables;
+-----------------+
| Tables_in_hive |
+-----------------+
| BUCKETING_COLS |
| COLUMNS |
| DATABASE_PARAMS |
| DBS |
| PARTITION_KEYS |
| SDS |
| SD_PARAMS |
| SEQUENCE_TABLE |
| SERDES |
| SERDE_PARAMS |
| SORT_COLS |
| TABLE_PARAMS |
| TBLS |
+-----------------+
13 rows in set (0.00 sec)
+-----------------+
| Tables_in_hive |
+-----------------+
| BUCKETING_COLS |
| COLUMNS |
| DATABASE_PARAMS |
| DBS |
| PARTITION_KEYS |
| SDS |
| SD_PARAMS |
| SEQUENCE_TABLE |
| SERDES |
| SERDE_PARAMS |
| SORT_COLS |
| TABLE_PARAMS |
| TBLS |
+-----------------+
13 rows in set (0.00 sec)
mysql> select * from COLUMNS;
+-------+---------+-------------+-----------+-------------+
| SD_ID | COMMENT | COLUMN_NAME | TYPE_NAME | INTEGER_IDX |
+-------+---------+-------------+-----------+-------------+
| 1 | NULL | info | int | 0 |
| 2 | NULL | content | string | 0 |
+-------+---------+-------------+-----------+-------------+
2 rows in set (0.04 sec)
+-------+---------+-------------+-----------+-------------+
| SD_ID | COMMENT | COLUMN_NAME | TYPE_NAME | INTEGER_IDX |
+-------+---------+-------------+-----------+-------------+
| 1 | NULL | info | int | 0 |
| 2 | NULL | content | string | 0 |
+-------+---------+-------------+-----------+-------------+
2 rows in set (0.04 sec)
到此hive配置成功!
相关推荐
在搭建Hive时,需要设置Hive metastore、配置数据库连接以及配置Hadoop环境。 HBase是一个分布式的、面向列的开源数据库,运行在Hadoop之上,适合存储半结构化数据。安装HBase时,需要考虑集群的Zookeeper配置,...
- **Hive配置**: - 创建Hive的metastore_db数据库,并配置Hive连接MySQL的用户和密码。 - 初始化Hive Metastore,执行Hive的`schematool`命令。 5. **集群搭建**: - 将上述所有组件安装在每台服务器上,包括...
7. 系统设计:介绍了基于Hadoop和Hive的系统设计,涵盖了系统架构、部署和配置等方面的知识点。 本文提供了基于Hadoop和Hive的数据查询优化设计与实现的详细介绍,涵盖了大数据处理的需求、Hadoop和Hive的工作原理...
jdk1.8.0_131、apache-zookeeper-3.8.0、hadoop-3.3.2、hbase-2.4.12 mysql5.7.38、mysql jdbc驱动mysql-connector-java-8.0.8-dmr-bin.jar、 apache-hive-3.1.3 2.本文软件均安装在自建的目录/export/server/下 ...
### Centos+Hadoop+Hive+HBase 环境搭建详解 #### 一、Centos基础环境搭建 ##### 1.1 软件准备 为了搭建一个基于Centos的操作系统,需要准备以下软件: - **VMware-workstation-full-8.0.4-744019.exe**:这是...
本资源中的源码都是经过本地编译过可运行的,下载后按照文档配置好环境就可以运行。资源项目的难度比较适中,内容都是经过助教老师审定过的,应该能够满足学习、使用需求,如果有需要的话可以放心下载使用。有任何...
在Windows 10环境下搭建Hadoop生态系统,包括JDK、MySQL、Hadoop、Scala、Hive和Spark等组件,是一项繁琐但重要的任务,这将为你提供一个基础的大数据处理平台。下面将详细介绍每个组件的安装与配置过程。 **1. JDK...
在大数据处理领域,Hadoop、HBase和Hive是三个重要的组件,它们分别扮演着不同的角色,共同构建了一个高效、可扩展的数据处理生态系统。本文将详细介绍这三个组件的整合工程和相关文档,帮助读者理解如何在实际项目...
在Windows操作系统中,Eclipse是一款广泛使用的Java集成开发环境(IDE),它对于开发分布式计算框架如Hadoop、Spark以及数据仓库工具Hive来说,是非常有用的。本教程将深入讲解如何在Eclipse中集成这些组件,以创建...
设置Hive的 metastore数据库(通常使用MySQL或Derby),以及Hadoop相关配置,确保与Hadoop的配置一致。 3. **创建metastore数据库**:根据配置的数据库,创建Hive的metastore数据库和表。 4. **设置环境变量**:在...
从零开始hadoop+zookeeper+hbase+hive集群安装搭建,内附详细配置、测试、常见error等图文,按照文档一步一步搭建肯定能成功。(最好用有道云打开笔记)
7. 安装Zeppelin,配置其与Hadoop、Hive的连接。 8. 编写启动和停止脚本,方便管理和监控服务状态。 通过这种方式,用户无需逐个手动安装和配置组件,节省了大量的时间和精力,尤其适用于测试、学习或快速搭建实验...
构建Hadoop+HBase+Hive集群是一项复杂而细致的工作,涉及到时间同步、网络配置、用户管理、软件安装与配置等多个方面。每一环节都需精心设计和实施,才能确保集群的高效、稳定运行。上述步骤涵盖了从基础设施搭建到...
综合以上信息,该文档是一个详细的Hadoop+Hive+Mysql安装和配置指南,适用于Red Hat Enterprise Server 5.5系统环境。文档指导用户如何下载和解压相应的软件包,配置用户权限,设置SSH无密码登录以及设置和导出环境...
"虚拟机Ubuntu+Hadoop+hive安装教程" 本文档旨在指导用户安装 Ubuntu 操作系统、Hadoop 分布式计算框架和 Hive 数据仓库管理系统于虚拟机中。整个过程分为三个部分:安装 Ubuntu 操作系统、安装 Hadoop 分布式计算...
大数据平台搭建之 ...大数据平台搭建需要经过多个步骤,包括环境准备、Hadoop 安装和配置、Zookeeper 部署、Hbase 部署和 Hive 部署。通过本文档,我们可以了解大数据平台搭建的整个过程,并掌握相关的技术和经验。
- 配置Hive与Hadoop之间的连接,确保Hive能够访问HDFS。 综上所述,本文详细介绍了如何安装和整合Hadoop2.2、HBase0.96和Hive0.12,并提供了一些常见的问题解决方案。对于初次接触这些技术的新手来说,遵循上述步骤...
本文件包含hadoop集群搭建的详细步骤,包含基础环境搭建,Hadoop集群搭建,Hive搭建。小白放心食用,无坑。 其中基础环境搭建包括虚拟机安装、centos7、网络配置、xshell、notepad等环境的安装。注:本文里安装的...