Hive的安装(常用的是独立模式)
1.内嵌模式安装
这样安装的话元数据保存在Derby数据库中,只能允许一个会话连接,只适合用于简单的测试。
<1>.解压
tar -xzvf hive-0.10.0
<2>.配置环境
/etc/profileexport HIVE_HOME={$hive_install}PATH中加入$HIVE_HOME 并保证有HADOOP_HOME的配置
也可以在hive-site.xml中配置
<3>.新建Hive所需要的目录
在HDFS上建立tmp和/user/hive/warehouse
命令:hadoop目录下
bin/hadoop fs -mkdir /tmp
bin/hadoop fs -mkdir /user/hive/warehouse
bin/hadoop fs -chmod g+w /tmp
bin/hadoop fs -chnod g+w /user/hive/warehouse
也可以在hive-site.xml中配置
<4>.启动Hive
在命令行下输入hive,如果能够进入hive的shell界面并能够浏览,表明Hive能够使用啦
2.独立模式安装
<1>安装好mysql服务器端和mysql客户端,并启动mysql服务
<2>为Hive建立相应的mysql帐号,并赋予足够的权限
create user 'hive' identified by '123456';
( 如果出现提示信息ERROR 1396 (HY000): Operation CREATE USER failed for 'hive'@'%'mysql中已经有该账户【可以使用drop user进行删除】)
grant all privileges on *.* to 'hive'@'%' with grant option;
flush privileges; 强制写出
为了使远程用户可以访问到mysql,修改/etc/mysql/my.cnf 文件,将bind-address注释掉
重启mysql
sudo /etc/ini.d/mysql restart
然后Hive帐号测试远程登录mysqlmysql -h 192.168.10.241-u hive -p
<3>建立Hive专用的元数据库
create database hive
<4>在本地安装mysql客户端
<5>配置/conf/hive-site.xml(自己新建或者拷贝hive-default.xml.template进行修改)
<property> <name>hive.metastore.local</name> <value>true</value> <description>controls whether to connect to remove metastore server or open a new metastore server in Hive Client JVM</description> </property> <property> <name>javax.jdo.option.ConnectionURL</name> <!--Hive连接数据库的URL--> <value>jdbs:mysql:192.168.10.241:3306/hive>createDatabaseIfNotExist=true</value> <description>JDBC connect string for a JDBC metastore</description> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name><!--Hive连接数据库的驱动名--> <value>com.mysql.jdbc.Driver</value> <description>Driver class name for a JDBC metastore</description> </property> <property> <name>javax.jdo.option.ConnectionUserName</name><!--Hive连接数据库的username--> <value>root</value> <description>username to use against metastore database</description> </property> <property> <name>javax.jdo.option.ConnectionPassword</name><!--Hive连接数据库的password--> <value>123456</value> <description>password to use against metastore database</description> </property> <property> <name>hive.metastore.warehouse.dir</name><!--Hive在HDFS上的数据存储目录--> <value>/hive/warehouse</value> <description>the hive data save localtion with hdfs</description> </property> <property> <name>hive.exec.scratchdir</name> <!--Hive的数据临时文件目录--> <value>/tmp/hive-asheng</value> <description>the hive data tmp save localtion</description> </property>
<6>把mysql的jdbc驱动包放到Hive/lib下
<7>启动Hive
启动hive shell:
hive目录下执行命令bin/hive
执行命令show tables
如果不报错 则安装成功 那么进入Hive的新建表则可以在mysql的Hive的数据库中看到相应的元数据信息啦~
3.远程模式安装
远程模式安装是把metastore配置到远程的机器上,可以配置多个,在独立模式的基础上需要在hive-site.xml中增加配置信息
<!--用于远程模式安装的附加信息-->
<property> <name>hive.metastore.local</name> <value>false</value> <description>controls whether to connect to remove metastore server or open a new metastore server in Hive Client JVM</description> </property> <property> <name>hive.metastore.uris</name> <value>uri1,uri2</value><!--可以配置多个uri,他们之间用分号隔开即可--> <description>JDBC connect string for a JDBC metastore</description> </property>
相关推荐
以下是一些常用的 Hive 开发规范: 1. **数据开发规范** - **Hive 数据目录规范** - **分区键命名**:月分区键应命名为 `month`,日分区键应命名为 `day`。创建分区时,分区键不应与表字段名称相同。 - **HDFS ...
Facebook在2008年将Hive贡献给了Apache软件基金会,使其成为一个独立的开源项目。Hive在Facebook内部得到了广泛应用,并在处理大规模数据集方面展现了其价值,尤其是在对网络日志进行批量分析的任务中。 Hive的主要...
- Parquet (虽然在提供的部分内容中未提及,但它是Hive常用的另一种存储格式) #### Hive的元数据管理 Hive使用元数据服务组件(Hive Metastore)来存储表和其他对象的元数据。元数据通常包括表的定义、列的信息、...
华为大数据认证:Hive分布式数据仓库课程目标是让学员掌握Hive应用场景与基本原理、掌握FusionInsight中Hive增强特性、熟悉常用Hive SQL语句。课程目录包括Hive概述、Hive功能与架构、Hive基本操作等。 Hive是大...
在安装Hive时,有三种模式可以选择:内嵌模式、本地独立模式和远程模式。内嵌模式使用内嵌的Derby数据库,只允许单个会话;本地独立模式将元数据存储在本地安装的MySQL中;远程模式则将元数据放在远程MySQL服务器上...
#### 二、Hive常用函数总结 - **字符串操作函数**:如CONCAT、SUBSTR等。 - **正则匹配函数**:如REGEXP_EXTRACT等。 - **解析函数**:用于从复杂数据类型中提取数据。 - **聚合函数**:如COUNT、SUM等。 - **开窗...
搭建Hadoop集群时,桥接模式通常是最常用的选择,因为它可以保证虚拟机既可以与外部网络通信,也可以与其他虚拟机和宿主机通信。 搭建集群的过程还包括了安装和配置Hadoop。Hadoop的安装方式分为单机安装、伪分布式...
安装Spark后,可以使用Spark Shell编写代码,或者通过Scala和Java编写独立应用。Eclipse结合sbt或maven,为编写Spark应用程序提供了便利。 此外,教程还涵盖了其他数据存储和处理工具,如MySQL(关系型数据库)、...
Hadoop的安装与配置包括独立模式、伪分布式和完全分布式,其中HDFS的datanode和namenode、Hadoop的启动与停止、SSH配置等是重点。MapReduce的编程模型中,理解InputSplit和OutputSplit、BlockSize以及如何编写Mapper...
Hadoop的集群结构包括独立模式、伪分布式和完全分布式,安装和配置过程需要理解HDFS的工作原理,如DataNode和NameNode的作用,以及BlockSize和副本数的配置。MapReduce作业流程包括Mapper和Reducer的编写,理解...
学生将学会Hadoop的独立模式、伪分布式和完全分布式安装配置,理解HDFS的工作原理,如DataNode和NameNode的功能,以及HDFS的Shell和Java API的使用。 4. **MapReduce**:MapReduce是Hadoop的数据处理模型,课程将...
- **Hadoop独立模式安装与测试**:指导如何在独立模式下安装配置Hadoop,并进行简单的功能验证。 - **SSH安装与配置**:讲解SSH服务的安装步骤及基本配置方法。 - **Hadoop伪分布式和完全分布式安装配置**:介绍两种...
- **Hadoop独立模式安装与测试**:演示如何安装并测试Hadoop独立模式。 - **Hadoop启动与停止**:介绍Hadoop集群的启动和停止流程。 - **SSH安装与配置**:指导SSH服务的安装和配置。 - **Hadoop伪分布式和完全...
学员将学习如何在独立模式、伪分布式和完全分布式环境下安装和配置Hadoop,理解HDFS的工作原理,包括DataNode和NameNode,以及如何使用HDFS的Shell和Java API。MapReduce的作业流程分析、Mapper和Reducer的编写,...