1.安装Hadoop环境,参见 http://zilongzilong.iteye.com/blog/2245547
2.安装hbase环境,参见http://zilongzilong.iteye.com/blog/2254460
3.安装MySQL
注意:安装MySQL不是必须的,hive自带数据库Derby也是可行的,那为什么要推荐安装MySQL呢,原因是Derby只支持一个客户端链接。
3.1 下载并解压tar包
cd /opt tar -xzvf mysql-5.6.27-linux-glibc2.5-x86_64.tar.gz mv mysql-5.6.27-linux-glibc2.5-x86_64 mysql-5.6.27
3.2 添加用户与组
groupadd mysql useradd -r -g mysql mysql chown -R mysql:mysql /opt/mysql-5.6.27
3.3 安装数据库
su mysql cd /opt/mysql-5.6.27/scripts ./mysql_install_db --user=mysql --basedir=/opt/mysql-5.6.27 --datadir=/opt/mysql-5.6.27/data #退出到root用户 exit
3.4 配置文件
cd /opt/mysql-5.6.27/support-files cp /opt/mysql-5.6.27/support-files/my-default.cnf /etc/my.cnf cp /opt/mysql-5.6.27/support-files/mysql.server /etc/init.d/mysql
编辑vi /etc/init.d/mysql
basedir=/opt/mysql-5.6.27 datadir=/opt/mysql-5.6.27/data
3.5 配置环境变量
vim /etc/profile export MYSQL_HOME=/software/mysql-5.6.27 export PATH=$PATH:$MYSQL_HOME/bin
保存退出
source /etc/profile
3.6 添加自启动服务
chkconfig --add mysql chkconfig mysql on
3.7 启动MySQL
service mysql start
停止MySQL
service mysql stop
重启MySQL
service mysql restart
3.8 创建hive使用的元数据存储数据库hivemata,登录账号为hadoop/hadoop
#重置root密码 cd /opt/mysql-5.6.27/bin ./mysqladmin -u root password 'root' #登录MySQL cd /opt/mysql-5.6.27/bin ./mysql -uroot -proot #赋予root所有权限,能从任何机器登录MySQL,这里不成功,就用个MySQL客户端链接上去修改 grant all privileges on *.* to 'root'@'%' identified by 'root' with grant option; #新建MySQL数据库,名字叫hivemeta,后面hive相关元数据存储到这个数据库 create database hivemeta; #使用数据库hivemata use hivemeta; #创建用户hadoop,给予对于hivemata所有权限,并设置所有机器能访问,这里不成功,就用个MySQL客户端链接上去修改 grant all privileges on *.* to hadoop@"%" identified by "hadoop" with grant option; #设置编码为latin1,这不很重要,不设置的话后面hive建表会遇到字段长度越界错误 alter database hivemeta character set latin1; #使配置生效 flush privileges; #退出 exit
相关推荐
在大数据处理领域,Hive是一个极其重要的工具,它被广泛应用于大数据分析和数据仓库操作。本实战数据集主要涉及两个核心部分:`video`数据和`user`数据,这些都是构建大数据分析模型的基础元素。让我们深入探讨一下...
-IDEA搭建及实战.pdf4.Spark运行架构.pdf5.Hive(上)--Hive介绍及部署.pdf5.Hive(下)--Hive实战.pdf6.SparkSQL(上)--SparkSQL简介.pdf6.SparkSQL(下)--Spark实战应用.pdf6.SparkSQL(中)--深入了解运行计划...
Hive入门与实战 PDF
在HIVE实战测试中,数据通常来自各种来源,如日志文件、交易记录、社交媒体数据等。这些数据经过预处理后,被转化为Hive可识别的格式,如CSV或JSON,然后上传到HDFS(Hadoop分布式文件系统)中。测试数据的选择至关...
HIVE优化实战分享 HIVE优化实战分享 HIVE优化实战分享
### 企业级Hive实战课程知识点详述 #### 一、Hive市场定位与课程背景 随着大数据技术的发展,Hive作为Hadoop生态系统中的一个重要组成部分,对于企业的数据分析和处理起着核心作用。Facebook、淘宝等大型互联网...
这个实战项目的核心是通过Hive对"chbVideoOut"这个文件进行操作,该文件很可能是包含了视频网站用户行为、视频信息或其他相关统计数据的CSV或文本文件。 首先,我们需要了解Hive的基本架构。Hive依赖于Hadoop的...
《Hive实战使用指南》是针对大数据处理领域中Hive工具的一份详尽教程,旨在帮助用户更好地理解和应用Hive进行大数据分析。本指南的创建时间为2016年09月,由以下部分组成: 1. 绪论 1.1 编写背景 在大数据时代,...
**Hive实战:统计各种TOP的项目解析** 在大数据处理领域,Apache Hive 是一个非常重要的组件,它提供了SQL-like查询语言(HQL)用于处理存储在Hadoop分布式文件系统(HDFS)上的大规模数据集。本项目以"统计各种TOP...
第1章:Hive基本架构及环境部署 1.MapReduce分析与SQL分析对比 2.Hive的介绍及其发展 3.Hive的安装部署及启动 4.Hive的基本架构讲解 5.安装MySQL作为元数据库存储 6.配置Hive使用MySQL作为元数据库存储 7.Hive中基本...
1. **Hive安装与配置**: - Hive是基于Hadoop的数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供SQL查询功能。 - 实验中选择了Hive 2.1.1版本进行安装,软件包为`apache-hive-2.1.1-bin.tar.gz`。...
### Hive操作实战详解 在大数据处理领域,Hive作为一个数据仓库工具,被广泛应用于海量数据的存储、查询和分析工作中。本文将通过一系列实战案例,详细介绍Hive的基本操作及其应用场景。 #### 一、Hive基础知识...
HiveSQL 实战题目 HiveSQL 是一种基于 Hadoop 的数据仓库工具,用于存储、查询和分析大规模数据。本文档提供了 HiveSQL 实战题目,旨在帮助读者熟悉 HiveSQL 的基本概念和应用场景。 一、HiveSQL 基础 HiveSQL 是...
Hive入门与实战
Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询...Hive入门与实战.pdf hive函数大全.doc Hive用户手册中文版.pdf Hive用户指南-V1.1.doc 喜欢的朋友可以下载学习。
Hive入门与实战
大数据系列-Hive入门与实战 Hive 是什么? ---------------- Hive 是一个构建在 Hadoop 之上的数据仓库平台,能够将 SQL 语句转译成 MapReduce 作业,并在 Hadoop 集群上执行。Hive 表是 HDFS 的一个文件目录,一...
1. **Hive架构与原理**:Hive是基于Hadoop的数据仓库工具,它将结构化的数据文件映射为一张数据库表,并提供SQL查询功能。Hive的主要组件包括Hive Metastore、Driver、Compiler、Executor和HDFS。Hive的查询语句会...