下载地址:点此链接(P.S.下载带bin的安装包)
下载hive后放到虚拟机文件夹内,打开:
tar -zxf /home/tools/apache-hive-1.2.2-bin.tar.gz -C /home/software/
修改并保存环境配置:
gedit /etc/profile //添加 export HIVE_HOME=/home/software/apache-hive-1.2.2-bin export PATH=$PATH:$JAVA_HOME/bin:$MAVEN_HOME/bin:$FINDBUGS_HOME/bin:$HBASE_HOME/bin:$HIVE_HOME/bin source /etc/profile
重命名hive安装目录下的conf文件夹的两个文件名(可以把conf里面带.template的都删掉后缀):
mv hive-env.sh.template hive-env.sh mv hive-default.xml.template hive-default.xml
修改hadoop下的etc/hadoop/hadoop-env.sh:
export HADOOP_CLASSPATH=.$CLASSPATH:$HADOOP_CLASSPATH:$HADOOP_HOME/bin
修改hive下的/bin/hive-config.sh:添加下面三行:
export JAVA_HOME=/home/software/jdk1.8.0_151 export HADOOP_HOME=/home/software/hadoop-2.6.5 export HIVE_HOME=/home/software/apache-hive-1.2.2-bin
新建hive-site.xml :
touch hive-site.xml
<?xml version="1.0" encoding="UTF-8" standalone="no"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value> <description>JDBC connect string for a JDBC metastore</description> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> <description>Driver class name for a JDBC metastore</description> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>hive</value> <description>username to use against metastore database</description> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>hive</value> <description>password to use against metastore database</description> </property> </configuration>
安装mysql:点此链接
下载mysql jdbc 包:点此链接
tar -zxvf mysql-connector-java-5.1.40.tar.gz #解压 cp mysql-connector-java-5.1.40/mysql-connector-java-5.1.40-bin.jar /home/software/apache-hive-1.2.2-bin/lib //将mysql-connector-java-5.1.40-bin.jar拷贝到hive的lib目录下
启动并登陆mysql shell
service mysql start //启动mysql服务 mysql -u root -p //登陆shell界面
新建hive数据库
mysql> create database hive; //这个hive数据库与hive-site.xml中localhost:3306/hive的hive对应,用来保存hive元数据
配置mysql允许hive接入:
mysql> grant all on *.* to hive@localhost identified by 'hive'; //将所有数据库的所有表的所有权限赋给hive用户,后面的hive是配置hive-site.xml中配置的连接密码 mysql> flush privileges; //刷新mysql系统权限关系表
启动hive,在hive目录下
(启动hive之前,请先启动hadoop集群。)
hive //启动hive
相关推荐
Hadoop伪分布式安装及配置参考步骤 Hadoop是一种分布式系统基础架构,由Apache基金会开发,能够对大量数据进行分布式处理和存储。用户可以轻松地在Hadoop集群上开发和运行处理海量数据的应用程序。Hadoop具有高可靠...
【Hadoop伪分布式安装详解】 Hadoop,由Apache基金会开发,是一种分布式系统基础设施,旨在处理和存储大量数据。它的核心设计包含两个主要组件:HDFS(Hadoop Distributed File System)和MapReduce。HDFS提供了...
这个“Hadoop伪分布式.rar”压缩包包含了在本地计算机上模拟分布式Hadoop环境所需的资源,这对于我们学习、测试和开发Hadoop应用程序非常有帮助。让我们深入探讨Hadoop及其伪分布式模式,以及与之相关的JDK。 ...
伪分布式安装是指在一台机器上模拟分布式环境,所有 Hadoop 组件都运行在同一台机器上。这对于学习和测试 Hadoop 非常有用。 目录准备工作 在开始安装 Hadoop 之前,我们需要准备好虚拟机和 Ubuntu 操作系统。首先...
本文将围绕“Hadoop分布式搭建配置/Hive/HBase”这一主题,深入探讨Hadoop生态系统中的关键组件,并结合提供的书籍资源进行讲解。 首先,Hadoop是一个开源的分布式计算框架,它允许在大规模集群上处理和存储大量...
本篇文章将详细介绍如何在Windows操作系统环境下,对Hadoop进行编译并设置一个单机上的伪分布式运行环境,这对于初学者理解Hadoop的工作原理及其运行机制具有极大的帮助。 首先,我们需要了解Hadoop的基本概念。...
伪分布式安装教程: Flume Hbase Spark Hive Kafka Sqoop zookeeper等分布式系统框架 备注:Hadoop安装教程当时忘记记录,后续也懒得弄,所以上传资料也暂无hadoop安装教程,尽请理解!!!!
目录不存在,则创建:mkdir .sshssh-keygen -t rsa -...随着对 Hadoop 生态系统的深入理解,你可以进一步扩展到全分布式环境,学习 YARN 上的 JobHistory Server、Hive、Pig、Spark 等组件,构建更复杂的数据处理平台。
### 云服务器上搭建大数据伪分布式环境 #### 一、云服务器上...以上就是在阿里云服务器上搭建Hadoop伪分布式环境、Hive和Spark的基本步骤。通过这些步骤,你可以搭建一个完整的、可用于数据处理和分析的大数据环境。
【标题】:“基于Hadoop的分布式搜索代码” 【描述】:这个项目是关于利用Hadoop构建分布式搜索引擎的实现。Hadoop是一种开源框架,专为处理和存储大量数据而设计,它支持在分布式集群中进行计算,是大数据处理的...
### CentOS 下安装伪分布式 Hadoop-1.2.1 的详细步骤 #### 一、环境搭建及准备 在正式开始安装伪分布式 Hadoop-1.2.1 之前,需要确保 CentOS 系统版本为 5.10,并且已准备好必要的软件环境。 **系统环境**: - **...
大数据与云计算培训学习资料 Hadoop资料-分布式数据仓库Hive 共57页.pptx
Hive构建在Hadoop的HDFS(分布式文件系统)之上,利用MapReduce进行分布式计算,同时引入了SQL-like语言(HQL)使得非编程背景的用户也能方便地进行数据分析。以下将详细介绍这些知识点。 首先,HDFS是Hadoop的核心...
综上所述,基于Hadoop的分布式云计算存储方案研究与设计是一个涉及存储架构、计算模型、生态工具以及云服务模式的综合课题。在设计过程中,需要综合考虑数据存储的高效性、计算处理的可靠性以及云服务的便捷性,同时...
Hadoop 2.4 是一个稳定且广泛采用的分布式存储和计算框架,而 Hive 则是基于 Hadoop 的数据仓库工具,用于处理和管理大规模数据。但在这个特定的版本中,Spark 并没有集成 Hive,使得它更适合那些不需要 Hive 支持,...
在开始Hadoop分布式计算之前,我们需要先搭建Hadoop环境。这通常包括以下步骤: 1. 安装Java:Hadoop依赖Java运行环境,确保系统已安装JDK 8或更高版本。 2. 下载Hadoop:从Apache官方网站获取最新稳定版的Hadoop...
【Hadoop分布式文件系统(HDFS)】 HDFS是Hadoop的核心组成部分,它是一个高度容错性的文件系统,设计目标是处理大规模的数据。HDFS通过数据复制策略保证数据的可用性和容错性,通常每个数据块会被复制三次,分散...
### 基于VM+CentOS+hadoop2.7搭建Hadoop完全分布式集群的知识点解析 #### 一、概述 本文旨在详细介绍如何使用VMware Workstation(简称VM)结合CentOS 6.5操作系统来搭建Hadoop 2.7的完全分布式集群。此文档是根据...