本文主要说明在CentOS6.5上安装Hive及在安装的过程中遇到的问题、解决办法,分为MySQL的安装、Hive的安装配置和测试、遇到的问题及解决方法三个部分来说明。
一、安装MySQL
1.下载MySQL
到MySQL官网:https://dev.mysql.com/downloads/mysql/5.5.html#downloads下载MySQL5.5.57
2.安装MySQL
首先检查是否安装MySQL,执行rpm -qa|grep MySQL即可查看MySQL是否安装,如已安装系统自带的MySQL,需要执行rpm -e --nodeps将其卸载,卸载完成后进行安装
rpm -ivh MySQL-server-5.5.57-1.el7.x86_64.rpm,rpm -ivh MySQL-client-5.5.57-1.el7.x86_64.rpm,主要为这两个,如果安装过程中需要依赖其它的rpm包,请自行安装。
安装完成后启动并设置开机自启动
[root@hadoop ~]# service mysql start
设置root用户的密码
[root@hadoop ~]# mysql –uroot
mysql>update mysql.user set password=PASSWORD('root@123 ') where User='root';
mysql> flush privileges;
设置开机自启动
[root@hadoop ~]# chkconfig --level 2345 mysql on
3.创建hive用户和库
[root@hadoop ~]# mysql –uroot -proot@123
mysql>insert into mysql.user(Host,User,Password) values("localhost","hive",password("hive"));
mysql>create database hive;
mysql>grant all on hive.* to hive@'%' identified by 'hive';
mysql>grant all on hive.* to hive@'localhost' identified by 'hive';
mysql>flush privileges;
mysql>exit;
验证hive用户
二、安装Hive
1.下载Hive
2.安装Hive
将下载的文件上传到CentOS的/opt目录并切换到/opt目录,将安装包解压
cd /opt
tar -zxvf apache-hive-2.1.1-bin.tar.gz
建立软链接
ln -s apache-hive-2.1.1-bin hive
修改环境变量
vim /etc/profile
增加如下内容
export HIVE_HOME=/opt/hive
export PATH=$PATH:$HIVE_HOME/bin
修改完成后退出,source /etc/profile使其立即生效
修改配置文件
cp hive-default.xml.template hive-site.xml
vim hive-site.xml
首先清空<configuration></configuration>标签中间的内容,并添加如下内容
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost:3306/hive</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>hive</value>
</property>
<property>
<name>hive.hwi.listen.port</name>
<value>9999</value>
<description>This is the port the Hive Web Interface will listen on</description>
</property>
<property>
<name>datanucleus.autoCreateSchema</name>
<value>true</value>
</property>
<property>
<name>datanucleus.fixedDatastore</name>
<value>false</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>hive</value>
<description>Username to use against metastore database</description>
</property>
<property>
<name>hive.exec.local.scratchdir</name>
<value>/opt/hive/iotmp</value>
<description>Local scratch space for Hive jobs</description>
</property>
<property>
<name>hive.downloaded.resources.dir</name>
<value>/opt/hive/iotmp</value>
<description>Temporary local directory for added resources in the remote file system.</description>
</property>
<property>
<name>hive.querylog.location</name>
<value>/opt/hive/iotmp</value>
<description>Location of Hive run time structured log file</description>
</property>
复制mysql-connector-java-5.1.38.jar和jline-2.12.jar到hive的lib目录下
创建hive运行时的临时目录
mkdir /opt/hive/iotmp
3.验证安装
至此已完成单机版Hive的安装和运行,安装前本机已经安装Hadoop-2.7.3。
三、安装中遇到的问题及解决方法
安装完成进行验证时出现了如下的错误:
此时需要修改hive-site.xml,增加如下配置
<property>
<name>hive.metastore.schema.verification</name>
<value>false</value>
</property>
这时再进行验证时又出现如下的错误:
此时需要执行如下命令
[root@hadoop conf]# schematool -dbType mysql -initSchema
至此再进行验证时已经完全正确。
以上就是我安装Hive的全部过程及遇到的错误,在此整理出来供大家参考。
相关推荐
【CentOS 6.5 安装HDP集群详解】 HDP(Hortonworks Data Platform)是一个基于Apache Hadoop的全面数据管理平台,提供了一系列的数据处理、分析和管理工具。在CentOS 6.5上安装HDP集群,需要遵循一系列的步骤。以下...
标题“centos6.5-hadoop-2.6.0-cdh5.9.0-nativelib”提及的是一个专为64位CentOS 6.5操作系统编译的Hadoop 2.6.0 CDH 5.9.0的本地库(nativelib)打包文件。这个压缩包包含了运行Hadoop在CentOS环境下所需的本机库,...
这个特定的压缩包文件 "centos6.5-hadoop-2.6.4.tar.gz" 是为在CentOS 6.5操作系统上安装Hadoop 2.6.4版本准备的。本文将详细讲解如何在CentOS 6.5系统中安装和配置Hadoop,以及Hadoop的基本工作原理。 首先,我们...
### CentOS 6.5 + Ambari + HDP 安装配置详解 #### 环境准备 在开始安装配置之前,确保环境已经准备好。本文档详细介绍了如何在CentOS 6.5环境下搭建Ambari + HDP集群。虽然这里的步骤针对的是CentOS 6.5版本,但...
完成以上步骤后,就可以在CentOS 6.5上安装Ambari并开始配置大数据集群。Ambari的图形化界面使得配置过程更为直观和简单,用户可以方便地安装、管理和监控Hadoop生态系统中的各种服务。通过Ambari,你可以轻松地监控...
2. **版本匹配**:文档指出,由于使用的是CentOS 6.5 32位系统和Hadoop 2.2.0,因此选择了Hive 0.12.0版本。通常,不同组件之间需要匹配合适的版本以确保稳定运行。 3. **Hive安装**:Hive的安装过程相对简单,只...
本篇文档将详细介绍在CentOS 6.5 32位系统上安装Hive 0.12.0的配置过程,以及在此过程中需要注意的关键点。 首先,确保你的环境中已经正确安装了32位的Hadoop 2.2.0,因为Hive依赖于Hadoop的HDFS和MapReduce服务。...
### Red Hat 6.5离线安装CDH 5.11.0步骤及问题解决 #### 一、CDH和Cloudera Manager概述 **CDH (Cloudera’s Distribution including Apache Hadoop)** 是Cloudera公司为简化Hadoop及其相关组件的部署和管理而开发...
安装CentOS 6.5** - **准备虚拟机**:为了简化配置过程,建议先安装一台虚拟机作为模板,然后通过克隆功能复制出多台虚拟机。 - **虚拟机网络配置**:使用VMware Workstation提供的NAT模式,这样可以避免与物理...
这里以CentOS 6.5 64位操作系统为例,讲解了一个详细的安装步骤。 首先,安装前需要准备一系列的工具和软件: 1. Xmanager 4和Xshell 4:这两款工具常用于远程控制Linux服务器,提供图形界面和命令行界面的交互。 2...
### MySQL在CentOS 6.5下的安装与配置详解 #### 一、环境准备与检查 在进行MySQL的安装之前,首先要确保系统环境符合安装需求。对于CentOS 6.5系统,首先需要检查是否已经安装了MySQL或其他版本的数据库服务。 **...
3. **发布CentOS安装盘文件**:在Web服务器上发布CentOS-6.5-x86_64的ISO文件,以便在安装过程中进行网络安装。 4. **创建hosts和yum配置文件**:更新所有服务器的hosts文件,以确保相互之间的通信,并配置yum源...
通过以上步骤,我们可以成功地在CentOS 6.5环境下完成CDH 5.1.3的安装。整个过程中,需要注意网络配置、SSH无密码登录、Java环境安装等细节问题。尤其是离线安装方式,可以有效避免网络不稳定带来的困扰,提高安装...
- **Linux**:CentOS 6.5 - **MySQL**:5.7.16 - **Hadoop**:2.7.1 - **HBase**:1.1.5 - **Hive**:1.2.1 - **Sqoop**:1.4.6 - **Kettle**:6.1 - **Eclipse**:3.8 - **IDEA**:14.1 - **R**:3.3.3 #### 数据...
例如,需要安装CentOS 6.5或更高版本的操作系统,并且需要安装Java 1.7或更高版本的JDK。 1.2 配置规划 配置规划是指根据实际情况设计和规划Cloudera大数据平台环境的各个组件的配置。例如,需要规划NameNode、...
为了搭建大数据环境,选择的是CentOS 6.5作为操作系统的基石。由于JDK是许多大数据组件的依赖,因此需要安装JDK 1.8。这里提到的步骤包括下载JDK安装包,将其解压至/usr/java/目录,并配置相应的环境变量,确保可以...
- **CentOS 6.5 示例**:对于CentOS 6.5系统,可以参照[官方CentOS安装指南](https://thrift.apache.org/docs/install/centos)进行安装。 ##### 示例代码 完成Thrift的安装后,可以尝试运行官方提供的示例: ```...
【任务一】主要涵盖的是基础环境的搭建,包括在Linux(CentOS 6.5)系统上安装必要的软件和服务。具体来说,你需要了解并实践以下知识点: 1. **JDK安装**:Java Development Kit是开发Java应用程序的基础,需要...
通过Cloudera Manager,用户可以轻松地在集群中安装和管理Hadoop、Hive、Spark等多种大数据处理相关的服务。此外,它还提供了一套完善的监控工具,帮助管理员实时监控集群的运行状态,确保大数据处理任务的顺利执行...