HIVE
http://hadoop.apache.org/hive/
http://wiki.apache.org/hadoop/Hive/GettingStarted
下载
wget http://labs.renren.com/apache-mirror/hadoop/hive/hive-0.5.0/hive-0.5.0-bin.tar.gz
Cloudera版本的Hadoop和Hive
http://archive.cloudera.com/cdh
安装步骤:
hive-0.5.0-bin\README.txt
gzip -d hive-0.5.0-bin.tar.gz
tar xvf hive-0.5.0-bin.tar
cd hive-0.5.0-bin
chmod 700 bin/*
vi bin/hive-config.sh
export HIVE_HOME=/home/iic/hive-0.5.0-bin
export HADOOP_HOME=/home/iic/hadoop-0.20.2
export JAVA_HOME=/home/bmb/jdk1.6.0_16
bin/hadoop fs -mkdir /tmp
bin/hadoop fs -mkdir /user/hive/warehouse
bin/hadoop fs -chmod g+w /tmp
bin/hadoop fs -chmod g+w /user/hive/warehouse
启动
bin/hive
出错:
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hive/conf/HiveConf
原因:Hadoop的配置文件,被增加了hadoop-env.sh里面被增加了HADOOP_CLASSPATH的设置
原来是:
export HADOOP_CLASSPATH=$HBASE_HOME/hbase-0.20.3.jar:$HBASE_HOME/hbase-0.20.3-test.jar:$HBASE_HOME/conf:${HBASE_HOME}/lib/zookeeper-3.3.0.jar
修改成:
export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$HBASE_HOME/hbase-0.20.3.jar:$HBASE_HOME/hbase-0.20.3-test.jar:$HBASE_HOME/conf:${HBASE_HOME}/lib/zookeeper-3.3.0.jar
http://www.wangzhongyuan.com/archives/807.html
tail -f /tmp/iic/hive.log
Hive Web管理页面
bin/hive --service hwi
http://192.168.2.79:9999/hwi/
lib/hive_hwi.war
异常处理
FAILED: Error in metadata: javax.jdo.JDOFatalDataStoreException: Failed to start database 'metastore_db', see the next exception for details.
原因,默认的“metastore_db”,同一时候,只能有一个进程对Hive进行操作,ps一下所有的hive,Kill掉他们。
批量删除进程
kill -9 `ps -ef |grep hive |awk '{print $2}' `
Oracle metastore
javax.jdo.option.ConnectionDriverName
javax.jdo.option.ConnectionURL
javax.jdo.option.ConnectionUserName
javax.jdo.option.ConnectionPassword
以下内容不能有空格,需要4个都替换
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:oracle:thin:@192.168.2.82:1521:iic</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>oracle.jdbc.driver.OracleDriver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>iic</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>iic</value>
</property>
MetaStore相关表
\hive\src\metastore\src\model\package.jdo
修改jdo,可以修改相关的表
DBS
TYPE_FIELDS
TYPES
TYPE_FIELDS
TBLS
PARTITION_KEYS
TABLE_PARAMS
SERDES
SERDE_PARAMS
SORT_ORDER
SDS
COLUMNS
BUCKETING_COLS
SORT_COLS
SD_PARAMS
PARTITIONS
PARTITION_KEY_VALS
PARTITION_PARAMS
分享到:
相关推荐
基于Hadoop Hive健身馆可视化分析平台项目源码+数据库文件.zip启动方式 环境启动 hadoop hive2元数据库 sql导入 导入hivesql脚本,修改application.yml 启动主程序 HadoopApplication 基于Hadoop Hive健身馆可视化...
hadoop hive可用的数据连接jar包,hadoop hive可用的数据连接jar包
### Hadoop Hive HBase Spark Storm概念详解 #### Hadoop **Hadoop** 是一个由Apache基金会开发的开源分布式系统基础架构。它通过提供一个高效、可靠且可扩展的平台来解决大数据存储与处理的需求。Hadoop的核心组件...
小牛学堂-大数据24期-04-Hadoop Hive Hbase Flume Sqoop-12天适合初学者.txt
Hadoop Hive是一个基于Hadoop的数据仓库工具,它允许用户使用SQL-like语言(称为HiveQL)来查询、管理和处理大规模数据集。Hive是为大数据分析设计的,它将复杂的MapReduce作业转换为简单的SQL查询,使非程序员也能...
### Hadoop Hive 入门学习笔记 #### 一、Hadoop Hive 概述 Hadoop Hive 是一个基于 Hadoop 的数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的 SQL 查询功能,使得 Hadoop 上的数据可以被...
### Hadoop Hive 安装与配置详解 #### 一、Hadoop Hive 概述 Hadoop Hive 是一种基于 Hadoop 的数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的 SQL 查询功能,使不熟悉 MapReduce 的开发...
Oracle PL-SQL 与 Hadoop Hive 和 Phoenix 是两种不同的数据处理和存储系统,它们各自拥有独特的函数库,但在数据操作中存在一些相似的功能。本文将详细介绍 Oracle PL-SQL 中的一些常见函数,以及它们在 Hadoop ...
Hadoop Hive 是一个基于 Hadoop 的数据仓库工具,用于处理和分析大量分布式数据。它提供了SQL-like查询语言,称为HQL,使得非程序员也能方便地进行大数据分析。以下是对Hadoop Hive入门学习的详细总结: ### 1. ...
Java连接Hadoop Hive数据库涉及到多个技术栈的交互,包括Java编程、Hadoop分布式文件系统(HDFS)、Hive数据仓库服务以及相关库的配置。在提供的压缩包文件中,我们看到一系列与这些技术相关的jar包,它们是实现Java...
大数据基础操作说明-HADOOP HIVE IMPALA Hadoop 是一个基于分布式存储和计算的开源框架,Hive 是基于 Hadoop 的一个数据仓库工具,Impala 是一个高性能的分布式SQL查询引擎。在这篇文章中,我们将会了解 Hadoop ...
### Hadoop Hive 相关知识点 #### 一、Hadoop Hive 概览 **Hadoop Hive** 是一个基于 **Hadoop** 的数据仓库工具,它提供了类 SQL 的查询语言(称为 HiveQL)来处理存储在 Hadoop 文件系统(HDFS)中的大量数据集...
Hadoop Hive学习配套数据是大数据领域中非常关键的一部分,它主要服务于那些想要深入理解Hive在Hadoop生态系统中如何操作和分析大规模数据的学者和从业者。Hive是Apache软件基金会开发的一个数据仓库工具,它允许...
在大数据处理领域,Hadoop和Hive是两个关键组件,它们为海量数据的存储和查询提供了强大支持。Hadoop是一个开源框架,主要处理分布式存储和计算任务,而Hive则是建立在Hadoop之上的一种数据仓库工具,允许用户通过...
1、资源内容:taotao-weblog-analysis基于openresty kafka hadoop hive 离线网站日志点击流数据分 2、代码特点:内含运行结果,不会运行可私信,参数化编程、参数可方便更改、代码编程思路清晰、注释明细,都经过...
【标题】"taotao-weblog-analysis基于openresty kafka hadoop hive 日志点击流数据分析"涉及的关键技术点包括OpenResty、Kafka、Hadoop和Hive,这些都是大数据处理和分析领域的重要组件。 OpenResty是基于Nginx与...
spark学习 hadoop hive hbase flink教程 linux 从入门到精通 一个开源、成体系的大数据学习教程。spark学习 hadoop hive hbase flink教程 linux 从入门到精通 一个开源、成体系的大数据学习教程。spark学习 hadoop ...
Oracle PL-SQL 与 Hadoop Hive 和 Phoenix 是大数据处理领域中的两种重要技术。Oracle 是一个广泛使用的数据库管理系统,PL-SQL 是其内嵌的结构化查询语言,用于编写存储过程和函数。Hadoop 是一个开源分布式计算...