安装环境:
机器 只需要安装一台机器
操作系统:mac os 10.8 64操作系统
hadoop:版本是1.0.4,安装在/Users/~/Software/hadoop
sun jdk:版本是1.6.0_31 64bit,安装在/usr/local/jdk
hive:版本是0.9.0,安装在/Users/~/Software/hive
安装步骤:
1.下载
下载hive:http://hive.apache.org/releases.html
2.安装
(1)上传hive安装包到机器上,使用root用户登陆:
tar -xvf hive-0.9.0.tar.gz
(2)将解压的hive分别移动并改名为~/Software/hive
mv hive-0.9.0 ~/Software/hive
3.配置hive
(1)修改/usr/local/hive/bin/hive-config.sh
在文件末尾加入
export JAVA_HOME=/usr/local/jdk export HIVE_HOME=/Users/~/Software/hive export HADOOP_HOME=/Users/~/Software/hadoop
(2) 根据hive-default.xml复制hive-site.xml
cp /usr/local/hive/conf/hive-default.xml /usr/local/hive/conf/hive-site.xml
(3)配置hive-site.xml,主要配置项如下:
hive.metastore.warehouse.dir:(HDFS上的)数据目录
hive.exec.scratchdir:(HDFS上的)临时文件目录
hive.metastore.warehouse.dir默认值是/user/hive/warehouse
hive.exec.scratchdir默认值是/tmp/hive-${user.name}
以上是默认值,暂时不改。
(4)改变 /usr/local/hive的目录所有者为hadoop
chown -R hadoop:hadoop /usr/local/hive
(5)配置hive的log4j:
cp /usr/loca/hive/conf/hive-log4j.properties.template /usr/loca/hive/conf/hive-log4j.properties
修改/usr/loca/hive/conf/hive-log4j.properties将org.apache.hadoop.metrics.jvm.EventCounter改为org.apache.hadoop.log.metrics.EventCounter
(6)启动hive
使用hadoop用户登陆,执行/usr/local/hive/bin/hive
(7)测试hive
hive> create TABLE pokes( id INT, name string); hive> SHOW TABLES; hive> select * from pokes; hive> drop table pokes;
4.优化hive
默认meta数据库为derby ,为了避免使用默认的Derby数据库(有并发访问和性能的问题),通常还需要配置元数据库为MySQL
修改配置文件conf/hive-site.xml
<property> <name>hive.metastore.local</name> <value>false</value> <description>controls whether to connect to remove metastore server or open a new metastore server in Hive Client JVM</description> </property> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://mysql_server_host:3306/hivedb?createDatabaseIfNotExist=true&useUnicode=true&characterEncoding=latin1</value> <description>JDBC connect string for a JDBC metastore</description> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> <description>Driver class name for a JDBC metastore</description> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>mysql_username</value> <description>username to use against metastore database</description> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>mysql_password</value> <description>password to use against metastore database</description> </property> <property> <name>hive.stats.dbconnectionstring</name> <value>jdbc:mysql://mysql_server_host:3306/hive_stats?useUnicode=true&characterEncoding=latin1&user=mysql_username&password=mysql_password&createDatabaseIfNotExist=true</value> <description>The default connection string for the database that stores temporary hive statistics.</description> </property> <property> <name>hive.stats.dbconnectionstring</name> <value>jdbc:mysql://mysql_server_host:3306/hive_stats?useUnicode=true&characterEncoding=utf8&user=mysql_username&password=mysql_password&createDatabaseIfNotExist=true</value> <description>The default connection string for the database that stores temporary hive statistics.</description> </property> <property> <name>hive.stats.dbclass</name> <value>jdbc:mysql</value> <description>The default database that stores temporary hive statistics.</description> </property> <property> <name>hive.stats.jdbcdriver</name> <value>com.mysql.jdbc.Driver</value> <description>The JDBC driver for the database that stores temporary hive statistics.</description> </property> <property> <name>hive.metastore.uris</name> <value>thrift://127.0.0.1:9083</value> </property>
添加metastore启动脚本bin/hive-metastore.sh
#!/bin/sh nohup ./hive --service metastore >> metastore.log 2>&1 & echo $! > hive-metastore.pid
添加hive server启动脚本bin/hive-server.sh
nohup ./hive --service hiveserver >> hiveserver.log 2>&1 &
echo $! > hive-server.pid
启动metastore和hive server
./hive-metastore.sh
./hive-server.sh
使用客户端连接和测试
参考之前的hive测试步骤一一执行。
如果出现
FAILED: Error in metadata: javax.jdo.JDODataStoreException: Error(s) were found while auto-creating/validating the datastore for classes. The errors are printed in the log, and are attached to this exception.
NestedThrowables:
com.mysql.jdbc.exceptions.MySQLSyntaxErrorException: Specified key was too long; max key length is 1000 bytes
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask
或者是
FAILED: Error in metadata: MetaException(message:Got exception: org.apache.thrift.transport.TTransportException null)
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask
以上错误,主要是在select操作、drop操作时,就会出错。
这样的错误,可以修改hivedb数据库编码:
mysql> alter database hivedb character set latin1;
然后重启hive metastore和hive server就可以了
mysql数据库的编码目前最好设置为latin1,否则使用hive会出现莫名其妙的问题
相关推荐
这是安装hive的手册指南,安装hive服务端和hive客户端的详细步骤。
【标题】:Hive安装资料手册 【描述】:这份压缩包包含的“Hive安装资料手册”是针对大数据处理工具Hive的详尽指南,旨在帮助用户理解Hive的基本概念,以及如何在Hadoop环境下进行Hive的安装与配置。 【标签】: 1...
Hadoop 2.2安装部署手册是一份详细的指南,用于在集群上安装和配置Hadoop版本2.2以及相关生态系统组件。根据提供的文件信息,可以总结出以下知识点: 1. 集群规划与主机名修改: - 在集群规划时,首先需要修改各...
《CHD3安装部署手册》是一份详细的指南,旨在帮助用户成功部署Hadoop的CDH3版本。CDH,即Cloudera Distribution Including Apache Hadoop,是Cloudera公司提供的一个开源Hadoop发行版,包含了多种大数据处理和分析...
针对Hadoop云平台的安装,部署,主要包括hadoop,hive,yarn的配置说明,使用的版本是Apache官方开源版本.
### Hadoop2.2.0 + HBase0.98.1 + Sqoop1.4.4 + Hive0.13 完全安装手册 #### 前言 随着大数据技术的发展,Hadoop已经成为处理海量数据的核心框架之一。本文旨在为读者提供一套最新的Hadoop2.2.0、HBase0.98.1、...
Apache TEZ 部署手册 Apache TEZ 是一个基于 Hadoop 的数据处理引擎,它提供了高性能、可扩展的数据处理能力。Apache TEZ 部署手册是一份详细的指导手册,涵盖了 Apache TEZ 的部署、配置和使用。 一、准备 在...
### Apache Ambari 大数据组件部署手册 #### 一、Ambari简介 Apache Ambari是一款基于Web的工具,旨在简化Apache Hadoop集群的部署、管理与监控过程。Ambari支持广泛的Hadoop生态组件,如HDFS、MapReduce、Hive、...
在LINUX虚拟机中搭建 HADOOP+HIVE大数据平台,完善伪分布搭建手册 。Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速...
本手册主要介绍了帆软的安装、部署和运维相关知识。下面是根据手册内容生成的知识点总结: 1. 环境准备 * 环境检测:环境检测工具可以检查环境是否满足安装 FineReport 所需的条件。 * 软件环境:FineReport 支持...
使用Derby时,所有的元数据都将保存在一个本地数据库中,适合于测试环境和小型部署场景。 - **1.4.2 MySQL**:MySQL是一个成熟的开源关系型数据库管理系统,通常用于生产环境中Hive的元数据存储。相比于Derby,MySQL...
《大数据集群部署手册》是针对当前信息技术领域热门的大数据处理技术进行深度解析的参考资料,尤其在Cloudera CDH和Storm这两个关键组件上提供了详尽的指导。这本手册不仅覆盖了基础理论,还包含了实战操作,对于想...
Impala 单机部署手册 Impala 是 Cloudera 提供的一款高效率的 SQL 查询工具,提供实时的查询效果,官方测试性能比 Hive 快 10 到 100 倍,其 SQL 查询比 SparkSQL 还要更加快速,号称是当前大数据领域最快的查询 ...
大数据平台安装手册 本文档主要介绍了使用 Ambari 搭建大数据平台的安装手册,对于大数据的安装和配置进行了详细的介绍。 大数据平台的基本概念: * 大数据是指无法在一定时间内用传统处理方式处理的巨量数据,...
《CDH集群部署手册(For CDH5)》是一份...总之,《CDH集群部署手册(For CDH5)》是一份全面的指导文档,涵盖了从服务器规划、数据库配置到组件安装和高可用性设置的所有关键步骤,对于成功部署和管理CDH集群至关重要。
对于当前的配置选项,建议参考HiveConf Java类或Hive语言手册中的相关部分,以获取最准确和最新的信息。 在实际操作中,确保正确配置元存储是非常重要的,因为它直接影响到Hive对数据的访问效率和整体系统的稳定性...
在部署Hive时,需要配置Hive的元数据存储(如设置Metastore的数据库连接),并确保Hadoop环境已经正确配置。然后,可以通过启动HiveServer2来接受客户端连接,并通过CLI、Beeline或其他SQL客户端进行数据查询和分析...
整体来看,部署Apache Kylin需要具备一定的Hadoop生态知识,理解Hadoop、HBase、Hive等组件间的关系和作用,并且需要对Linux操作系统有一定的了解。部署过程涉及到系统配置、用户权限设置、服务部署、环境变量配置...
3. "ambari 2.7.3 + hdp 3.1.0安装与部署.docx" 和 "ambari 2.7.3 + hdp 3.1.0安装与部署.pdf":Ambari是Apache开发的一款用于管理Hadoop集群的工具,可以简化Hadoop、Hive等组件的安装、配置、监控和管理。...