`
cp1985chenpeng
  • 浏览: 44143 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

hadoop+hive配置

阅读更多

 

 

首先根据http://cp1985chenpeng.iteye.com/blog/1328541中配置好hadoop分布式。

然后在master上下载hive

安装hive很简单,首先解压缩。

然后配置环境变量以ubuntu为例

$sudo vim /etc/environment

添加

JAVA_HOME="/usr/lib/jvm/java-6-sun"
HADOOP_HOME="/home/hadoop/hadoop"
HBASE_HOME="/home/hadoop/hbase"
HIVE_HOME="/home/hadoop/hive"

 

在$HIVE_HOME/conf目录下,新建一个hive-site.xml,配置Hive元数据的存储方式(我用的是mysql存储)

注意下面配置的是hive默认的是mysql的hive数据库,用户名是hive,密码是hive。所以在进行下列操作前要用root登录mysql创建hive数据库并且分配给用户hive。
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>

<property>
  <name>hive.aux.jars.path</name>
  <value>file:///home/hadoop/hive/lib/hive-hbase-handler-0.7.1-cdh3u2.jar,file:///home/hadoop/hive/lib/hbase-0.90.4-cdh3u2.jar,file:///home/hadoop/hive/lib/zookeeper-3.3.1.jar </value>
</property>

<property>
  <name>hbase.zookeeper.quorum</name>
  <value>hostname(zookeeper配置主机名)</value>
</property>

<property>
  <name>hive.metastore.local</name>
  <value>true</value>
</property>
<property>
  <name>javax.jdo.option.ConnectionURL</name>
  <value>jdbc:mysql://localhost:3306/hive</value>
</property>
<property>
  <name>javax.jdo.option.ConnectionDriverName</name>
  <value>com.mysql.jdbc.Driver</value>
</property>
<property>
  <name>javax.jdo.option.ConnectionUserName</name>
  <value>hive</value>
</property>
<property>
  <name>javax.jdo.option.ConnectionPassword</name>
  <value>hive</value>
</property>
<property>
  <name>datanucleus.fixedDatastore</name>
  <value>false</value>
</property>
</configuration>
 
在执行hive前,要把mysql-connector-java-5.1.18-bin.jar加到${HIVE_HOME}/lib中。
到此hive安装完成
$HIVE_HOME/bin/hive
 
hive> CREATE TABLE temp (info INT); 
OK 
Time taken: 0.251 seconds 
hive> CREATE TABLE test(content STRING);
OK 
Time taken: 0.251 seconds
hive> SHOW TABLES;
OK
temp
test
Time taken: 3.612 seconds
 
然后登录mysql验证
mysql> show tables;
+-----------------+
| Tables_in_hive  |
+-----------------+
| BUCKETING_COLS  |
| COLUMNS         |
| DATABASE_PARAMS |
| DBS             |
| PARTITION_KEYS  |
| SDS             |
| SD_PARAMS       |
| SEQUENCE_TABLE  |
| SERDES          |
| SERDE_PARAMS    |
| SORT_COLS       |
| TABLE_PARAMS    |
| TBLS            |
+-----------------+
13 rows in set (0.00 sec)
 
mysql> select * from COLUMNS;
+-------+---------+-------------+-----------+-------------+
| SD_ID | COMMENT | COLUMN_NAME | TYPE_NAME | INTEGER_IDX |
+-------+---------+-------------+-----------+-------------+
|     1 | NULL    | info        | int       |           0 |
|     2 | NULL    | content     | string    |           0 |
+-------+---------+-------------+-----------+-------------+
2 rows in set (0.04 sec)
 
到此hive配置成功!
分享到:
评论

相关推荐

    Hadoop+Spark+Hive+HBase+Oozie+Kafka+Flume+Flink+ES+Redash等详细安装部署

    在搭建Hive时,需要设置Hive metastore、配置数据库连接以及配置Hadoop环境。 HBase是一个分布式的、面向列的开源数据库,运行在Hadoop之上,适合存储半结构化数据。安装HBase时,需要考虑集群的Zookeeper配置,...

    大数据Hadoop+HBase+Spark+Hive集群搭建教程(七月在线)1

    - **Hive配置**: - 创建Hive的metastore_db数据库,并配置Hive连接MySQL的用户和密码。 - 初始化Hive Metastore,执行Hive的`schematool`命令。 5. **集群搭建**: - 将上述所有组件安装在每台服务器上,包括...

    基于Hadoop+Hive的数据查询优化设计与实现

    7. 系统设计:介绍了基于Hadoop和Hive的系统设计,涵盖了系统架构、部署和配置等方面的知识点。 本文提供了基于Hadoop和Hive的数据查询优化设计与实现的详细介绍,涵盖了大数据处理的需求、Hadoop和Hive的工作原理...

    zookeeper+hadoop+hbase+hive(集成hbase)安装部署教程(超详细).docx

    jdk1.8.0_131、apache-zookeeper-3.8.0、hadoop-3.3.2、hbase-2.4.12 mysql5.7.38、mysql jdbc驱动mysql-connector-java-8.0.8-dmr-bin.jar、 apache-hive-3.1.3 2.本文软件均安装在自建的目录/export/server/下 ...

    Centos+Hadoop+Hive+HBase

    ### Centos+Hadoop+Hive+HBase 环境搭建详解 #### 一、Centos基础环境搭建 ##### 1.1 软件准备 为了搭建一个基于Centos的操作系统,需要准备以下软件: - **VMware-workstation-full-8.0.4-744019.exe**:这是...

    毕业设计,采用Hadoop+Hive数据仓库,使用django+echarts构建前端web对业务指标进行可视化呈现.zip

    本资源中的源码都是经过本地编译过可运行的,下载后按照文档配置好环境就可以运行。资源项目的难度比较适中,内容都是经过助教老师审定过的,应该能够满足学习、使用需求,如果有需要的话可以放心下载使用。有任何...

    win10下搭建Hadoop环境(jdk+mysql+hadoop+scala+hive+spark) 3.docx

    在Windows 10环境下搭建Hadoop生态系统,包括JDK、MySQL、Hadoop、Scala、Hive和Spark等组件,是一项繁琐但重要的任务,这将为你提供一个基础的大数据处理平台。下面将详细介绍每个组件的安装与配置过程。 **1. JDK...

    HADOOP+HBASE+HIVE整合工程和文档

    在大数据处理领域,Hadoop、HBase和Hive是三个重要的组件,它们分别扮演着不同的角色,共同构建了一个高效、可扩展的数据处理生态系统。本文将详细介绍这三个组件的整合工程和相关文档,帮助读者理解如何在实际项目...

    eclipse集成hadoop+spark+hive开发源码实例

    在Windows操作系统中,Eclipse是一款广泛使用的Java集成开发环境(IDE),它对于开发分布式计算框架如Hadoop、Spark以及数据仓库工具Hive来说,是非常有用的。本教程将深入讲解如何在Eclipse中集成这些组件,以创建...

    hadoop+hive环境安装包.rar

    设置Hive的 metastore数据库(通常使用MySQL或Derby),以及Hadoop相关配置,确保与Hadoop的配置一致。 3. **创建metastore数据库**:根据配置的数据库,创建Hive的metastore数据库和表。 4. **设置环境变量**:在...

    hadoop+zookeeper+hbase+hive集群安装配置

    从零开始hadoop+zookeeper+hbase+hive集群安装搭建,内附详细配置、测试、常见error等图文,按照文档一步一步搭建肯定能成功。(最好用有道云打开笔记)

    一键安装jdk+mysql+hadoop+hive+zeppelin.rar

    7. 安装Zeppelin,配置其与Hadoop、Hive的连接。 8. 编写启动和停止脚本,方便管理和监控服务状态。 通过这种方式,用户无需逐个手动安装和配置组件,节省了大量的时间和精力,尤其适用于测试、学习或快速搭建实验...

    hadoop+hbase+hive集群搭建

    构建Hadoop+HBase+Hive集群是一项复杂而细致的工作,涉及到时间同步、网络配置、用户管理、软件安装与配置等多个方面。每一环节都需精心设计和实施,才能确保集群的高效、稳定运行。上述步骤涵盖了从基础设施搭建到...

    Hadoop+Hive+Mysql安装文档.pdf

    综合以上信息,该文档是一个详细的Hadoop+Hive+Mysql安装和配置指南,适用于Red Hat Enterprise Server 5.5系统环境。文档指导用户如何下载和解压相应的软件包,配置用户权限,设置SSH无密码登录以及设置和导出环境...

    虚拟机Ubuntu+Hadoop+hive安装教程.pdf

    "虚拟机Ubuntu+Hadoop+hive安装教程" 本文档旨在指导用户安装 Ubuntu 操作系统、Hadoop 分布式计算框架和 Hive 数据仓库管理系统于虚拟机中。整个过程分为三个部分:安装 Ubuntu 操作系统、安装 Hadoop 分布式计算...

    Hadoop+Zookeeper+Hbase+Hive部署.doc

    大数据平台搭建之 ...大数据平台搭建需要经过多个步骤,包括环境准备、Hadoop 安装和配置、Zookeeper 部署、Hbase 部署和 Hive 部署。通过本文档,我们可以了解大数据平台搭建的整个过程,并掌握相关的技术和经验。

    hadoop2.2+hbase0.96+hive0.12安装整合详细高可靠文档及经验总结

    - 配置Hive与Hadoop之间的连接,确保Hive能够访问HDFS。 综上所述,本文详细介绍了如何安装和整合Hadoop2.2、HBase0.96和Hive0.12,并提供了一些常见的问题解决方案。对于初次接触这些技术的新手来说,遵循上述步骤...

    hadoop全套配置详细步骤(基础环境搭建+hadoop集群搭建+hive搭建)

    本文件包含hadoop集群搭建的详细步骤,包含基础环境搭建,Hadoop集群搭建,Hive搭建。小白放心食用,无坑。 其中基础环境搭建包括虚拟机安装、centos7、网络配置、xshell、notepad等环境的安装。注:本文里安装的...

Global site tag (gtag.js) - Google Analytics