`
samwalt
  • 浏览: 285573 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

hive配置

 
阅读更多
hive本身的配置还是很简单的,关键在于需要一些前提条件。

1)hadoop必须配置成伪分布模式或者集群模式
2)必须启动hadoop


hive的数据仓库路径不是本机文件系统路径,而是hdfs的路径
<property>
  <name>hive.metastore.warehouse.dir</name>
  <value>/home/hadoop/hive/warehouse</value>
  <description>location of default database for the warehouse</description>
</property>


创建表
create table visit_record(code string, created_at string, phone string, ip string)    row  format delimited fields terminated by ' ';


向hive数据仓库中加载数据
load data local inpath '/home/hadoop/hive.txt' into table visit_record;

这里的inpath是本机文件系统路径



采用mysql存储metadata

hive-site.xml文件添加如下配置:
<property>
           <name>hive.metastore.local</name>
           <value>true</value>
</property>

<property>
           <name>javax.jdo.option.ConnectionURL</name>
           <value>
            jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true
           </value>
</property>
<property>
           <name>javax.jdo.option.ConnectionDriverName</name>
           <value>com.mysql.jdbc.Driver</value>
</property>
<property>
           <name>javax.jdo.option.ConnectionUserName</name>
           <value>这里是mysql的用户名</value>
</property>
<property>
           <name>javax.jdo.option.ConnectionPassword</name>
           <value>这里是mysql的密码</value>
</property>


把mysql的java版本的jdbc驱动复制到hive的Lib目录下,启动hive。
当输入show tables;没有报错时,配置成功。登录到mysql查看是否创建了
名为hive的数据库。

分享到:
评论

相关推荐

    Hive配置(Oracle数据库为元数据)

    ### Hive配置(Oracle数据库为元数据) #### 一、概述 Apache Hive 是一个基于 Hadoop 的数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的 SQL 查询功能,可以将 SQL 语句转换为 MapReduce ...

    hive 配置文件

    - **`HIVE_CONF_DIR`**: Hive配置文件的目录,通常包含`hive-site.xml`。 - **`JAVA_HOME`**: Java的安装目录,Hive是用Java编写的,所以需要Java环境。 - **`HIVE_AUX_JARS_PATH`**: 用于指定额外的JAR文件路径,...

    hive配置相关文件.zip

    这个"hive配置相关文件.zip"压缩包包含了构建和配置Hive环境所需的几个关键组件,以及一个配置文件,这对于初次接触或者需要调整Hive环境的人来说非常有用。接下来,我们将详细探讨这些组件和配置文件的作用。 1. *...

    大数据管理与优化——Hive配置文件

    本文件内容适用于学习Hadoop时所需配置Hive的所有文件,包括以下内容: apache-hive-2.0.0-bin.tar.gz ...Hive配置文件收集不易,有部分配置内容已单独复制出来! 希望大家点个收藏点个赞,谢谢大家!

    hive配置参数及含义

    hive配置参数及含义, 在大数据维护中对hive的优化参数的配置明细

    Hive配置和基本操作 (2).pdf

    【Hive配置详解】 Hive是基于Hadoop的数据仓库工具,它允许通过SQL-like语言对大规模数据进行查询、分析和管理。在Hive的配置过程中,我们需要关注以下几个关键步骤: 1. **安装与环境配置**: - 首先,你需要将...

    Hive配置和基本操作 (2).docx

    【Hive配置与基本操作详解】 Hive是Apache Hadoop生态系统中的一个数据仓库工具,它允许用户使用SQL-like语句(HQL,Hive Query Language)来查询、管理和处理存储在Hadoop分布式文件系统(HDFS)上的大规模数据集...

    hive配置文件信息修改

    虽然DataX的配置通常在JSON格式的配置文件中完成,但与Hive、Hadoop和Spark的集成可能会涉及上述组件的配置调整,以确保数据传输的效率和正确性。 总的来说,理解和灵活调整这些组件的配置文件信息对于优化大数据...

    spark下安装hive配置文件hive-site.xml

    spark下安装hive标准配置文档。Ubuntu安装hive,并配置mysql作为元数据库时候需要的标准hive-site.xml配置文件,可以根据这个文件联系我的博文内容就行修改,避免入坑。实现快捷启动hive。

    hive参数配置说明大全

    Hive参数配置说明大全 Hive是一款基于Hadoop的数据仓库工具,用于数据的存储、查询和分析。在Hive中,参数配置起着非常重要的作用,它可以影响Hive的性能、安全性和执行效率。本文将对Hive的参数配置进行详细的解释...

    hive配置说明

    ### Hive配置参数详解 #### 一、概述 Hive 是一款基于 Hadoop 的数据仓库工具,可以帮助对在存储在 Hadoop 文件系统中的数据集进行数据整理、特殊查询和分析存储。为了更好地管理和优化Hive查询的性能,了解并合理...

    hive的安装与配置头歌.zip

    在本压缩包中,"文档.pdf" 和 "资料必看.zip" 可能包含了关于 Hive 安装与配置的详细步骤和指南。现在,我们将深入探讨 Hive 的安装与配置过程。 首先,安装 Hive 需要先确保你已经安装了 Hadoop 环境,因为 Hive ...

    Hive安装与配置

    **hive-env.sh**文件则包含了Hive配置文件的路径以及Hadoop的安装路径,例如: ```bash # 设置Hive配置文件的路径 export HIVE_CONF_DIR=/home/test/Desktop/hive/conf # 设置Hadoop的安装路径 export HADOOP_HOME...

    hive等配置文档

    【Hadoop与Hive配置详解】 Hadoop是一个开源框架,主要用于分布式存储和处理大量数据,而Hive是基于Hadoop的数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供SQL查询功能,适合大数据量的离线分析...

    cloudera manager中添加hive数据库使用mysql的配置步骤

    在Cloudera Manager中配置Hive使用MySQL数据库涉及多个步骤,从卸载CentOS默认MySQL到配置完毕,下面详细说明每一步的知识点。 首先,确保在添加Hive数据库前,系统中不存在先前安装的MySQL版本。使用命令rpm -qa |...

    hadoop&hive安装配置

    hive配置 在hadoop集群搭建完成后,我们可以开始配置hive。hive是hadoop集群中的一种数据仓库,可以对hadoop集群中的数据进行查询和分析。 首先,我们需要下载hive的安装包,并将其上传到master机器的/home/hadoop...

    基于CDH 6.3.0 搭建 Hive on Spark 及相关配置和调优

    ### 基于CDH 6.3.0 搭建 Hive on Spark 及相关配置和调优 #### 概述 随着大数据技术的发展,Hadoop生态系统不断成熟与完善,其中Apache Hive作为数据仓库工具,支持通过SQL语句进行查询、分析存储在Hadoop文件系统...

    Hive配置和基本操作.pdf

    在实验中,配置了包括 `hive.exec.local.scratchdir`、`hive.exec.scratchdir`、`hive.server2.logging.operation.log.location`、`hive.downloaded.resources.dir`、`hive.querylog.location`、`hive.metastore....

    Hive配置和基本操作.docx

    本实验主要涵盖了Hive的安装配置、基本操作,以及一些SQL查询语句的使用。 首先,Hive的安装与配置涉及以下步骤: 1. 上传Hive安装包到服务器,并进行解压缩。 2. 将Hive的安装目录添加到系统的环境变量中,以便在...

    hive如何去安装与配置

    2. **HIVE_CONF_DIR**:Hive配置文件的路径,通常是`/usr/local/hive/conf`。 3. **HIVE_AUX_JARS_PATH**:如果需要添加自定义库,可以在这里指定路径。 此外,还需要在`/usr/local/hive/conf/hive-site.xml`中配置...

Global site tag (gtag.js) - Google Analytics