`

hive实战(1)hive安装准备

阅读更多

1.安装Hadoop环境,参见 http://zilongzilong.iteye.com/blog/2245547

2.安装hbase环境,参见http://zilongzilong.iteye.com/blog/2254460

3.安装MySQL

      注意:安装MySQL不是必须的,hive自带数据库Derby也是可行的,那为什么要推荐安装MySQL呢,原因是Derby只支持一个客户端链接。

    3.1 下载并解压tar包

 

cd /opt
tar -xzvf mysql-5.6.27-linux-glibc2.5-x86_64.tar.gz
mv mysql-5.6.27-linux-glibc2.5-x86_64 mysql-5.6.27

    3.2 添加用户与组

 

 

groupadd mysql
useradd -r -g mysql mysql
chown -R mysql:mysql /opt/mysql-5.6.27

     3.3 安装数据库

 

 

su mysql
cd /opt/mysql-5.6.27/scripts
./mysql_install_db --user=mysql --basedir=/opt/mysql-5.6.27 --datadir=/opt/mysql-5.6.27/data
#退出到root用户
exit

     3.4 配置文件

 

 

cd /opt/mysql-5.6.27/support-files
cp /opt/mysql-5.6.27/support-files/my-default.cnf /etc/my.cnf
cp /opt/mysql-5.6.27/support-files/mysql.server /etc/init.d/mysql

         编辑vi /etc/init.d/mysql 

 

 

basedir=/opt/mysql-5.6.27
datadir=/opt/mysql-5.6.27/data

    3.5 配置环境变量

 

 

vim /etc/profile
export MYSQL_HOME=/software/mysql-5.6.27
export PATH=$PATH:$MYSQL_HOME/bin

 

        保存退出

 

source /etc/profile

 

    3.6 添加自启动服务

 

chkconfig --add mysql
chkconfig mysql on

    3.7 启动MySQL

 

 

service mysql start

    停止MySQL

 

 

service mysql stop

    重启MySQL

 

service mysql restart

    3.8 创建hive使用的元数据存储数据库hivemata,登录账号为hadoop/hadoop

#重置root密码
cd /opt/mysql-5.6.27/bin
./mysqladmin -u root password 'root'
#登录MySQL
cd /opt/mysql-5.6.27/bin
./mysql -uroot -proot
#赋予root所有权限,能从任何机器登录MySQL,这里不成功,就用个MySQL客户端链接上去修改
grant all privileges on *.* to 'root'@'%' identified by 'root' with grant option;
#新建MySQL数据库,名字叫hivemeta,后面hive相关元数据存储到这个数据库
create database hivemeta;
#使用数据库hivemata
use hivemeta;
#创建用户hadoop,给予对于hivemata所有权限,并设置所有机器能访问,这里不成功,就用个MySQL客户端链接上去修改
grant all privileges on *.* to hadoop@"%" identified by "hadoop" with grant option;
#设置编码为latin1,这不很重要,不设置的话后面hive建表会遇到字段长度越界错误
alter database hivemeta character set latin1;
#使配置生效
flush privileges;
#退出
exit

 

分享到:
评论

相关推荐

    大数据 hive 实战数据

    在大数据处理领域,Hive是一个极其重要的工具,它被广泛应用于大数据分析和数据仓库操作。本实战数据集主要涉及两个核心部分:`video`数据和`user`数据,这些都是构建大数据分析模型的基础元素。让我们深入探讨一下...

    5.Hive(下)--Hive实战.pdf

    -IDEA搭建及实战.pdf4.Spark运行架构.pdf5.Hive(上)--Hive介绍及部署.pdf5.Hive(下)--Hive实战.pdf6.SparkSQL(上)--SparkSQL简介.pdf6.SparkSQL(下)--Spark实战应用.pdf6.SparkSQL(中)--深入了解运行计划...

    Hive入门与实战 PDF

    Hive入门与实战 PDF

    HIVE实战测试数据,HIVE实战测试数据

    在HIVE实战测试中,数据通常来自各种来源,如日志文件、交易记录、社交媒体数据等。这些数据经过预处理后,被转化为Hive可识别的格式,如CSV或JSON,然后上传到HDFS(Hadoop分布式文件系统)中。测试数据的选择至关...

    HIVE优化实战分享

    HIVE优化实战分享 HIVE优化实战分享 HIVE优化实战分享

    《企业级Hive实战课程》大纲

    ### 企业级Hive实战课程知识点详述 #### 一、Hive市场定位与课程背景 随着大数据技术的发展,Hive作为Hadoop生态系统中的一个重要组成部分,对于企业的数据分析和处理起着核心作用。Facebook、淘宝等大型互联网...

    Hive实战之视频网站的测试数据

    这个实战项目的核心是通过Hive对"chbVideoOut"这个文件进行操作,该文件很可能是包含了视频网站用户行为、视频信息或其他相关统计数据的CSV或文本文件。 首先,我们需要了解Hive的基本架构。Hive依赖于Hadoop的...

    Hive实战使用指南1

    《Hive实战使用指南》是针对大数据处理领域中Hive工具的一份详尽教程,旨在帮助用户更好地理解和应用Hive进行大数据分析。本指南的创建时间为2016年09月,由以下部分组成: 1. 绪论 1.1 编写背景 在大数据时代,...

    Hive练习项目统计各种TOP的实战(数据和代码)

    **Hive实战:统计各种TOP的项目解析** 在大数据处理领域,Apache Hive 是一个非常重要的组件,它提供了SQL-like查询语言(HQL)用于处理存储在Hadoop分布式文件系统(HDFS)上的大规模数据集。本项目以"统计各种TOP...

    【63课时完整版】大数据实践HIVE详解及实战

    第1章:Hive基本架构及环境部署 1.MapReduce分析与SQL分析对比 2.Hive的介绍及其发展 3.Hive的安装部署及启动 4.Hive的基本架构讲解 5.安装MySQL作为元数据库存储 6.配置Hive使用MySQL作为元数据库存储 7.Hive中基本...

    hive实验报告.docx

    1. **Hive安装与配置**: - Hive是基于Hadoop的数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供SQL查询功能。 - 实验中选择了Hive 2.1.1版本进行安装,软件包为`apache-hive-2.1.1-bin.tar.gz`。...

    hive操作实战

    ### Hive操作实战详解 在大数据处理领域,Hive作为一个数据仓库工具,被广泛应用于海量数据的存储、查询和分析工作中。本文将通过一系列实战案例,详细介绍Hive的基本操作及其应用场景。 #### 一、Hive基础知识...

    HiveSQL实战题目.docx

    HiveSQL 实战题目 HiveSQL 是一种基于 Hadoop 的数据仓库工具,用于存储、查询和分析大规模数据。本文档提供了 HiveSQL 实战题目,旨在帮助读者熟悉 HiveSQL 的基本概念和应用场景。 一、HiveSQL 基础 HiveSQL 是...

    Hive入门与实战.ppt

    Hive入门与实战

    Hive新手学习资料之Hive入门与实战.+Hive用户手册+hive函数大全中文版资源合集

    Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询...Hive入门与实战.pdf hive函数大全.doc Hive用户手册中文版.pdf Hive用户指南-V1.1.doc 喜欢的朋友可以下载学习。

    Hive入门与实战

    Hive入门与实战

    大数据系列-Hive入门与实战.pptx

    大数据系列-Hive入门与实战 Hive 是什么? ---------------- Hive 是一个构建在 Hadoop 之上的数据仓库平台,能够将 SQL 语句转译成 MapReduce 作业,并在 Hadoop 集群上执行。Hive 表是 HDFS 的一个文件目录,一...

    Hive实战模拟电商数据

    1. **Hive架构与原理**:Hive是基于Hadoop的数据仓库工具,它将结构化的数据文件映射为一张数据库表,并提供SQL查询功能。Hive的主要组件包括Hive Metastore、Driver、Compiler、Executor和HDFS。Hive的查询语句会...

Global site tag (gtag.js) - Google Analytics