`
AliKevin2011
  • 浏览: 118323 次
  • 性别: Icon_minigender_1
  • 来自: 杭州
社区版块
存档分类
最新评论

HIVE简单部署

    博客分类:
  • DFS
阅读更多
1.下载   http://labs.renren.com/apache-mirror/hive/stable/hive-0.8.1.tar.gz
2.安装
安装hive之前确保已经安装了hadoop,hadoop简单安装请查看[url] http://alikevin2011.iteye.com/blog/1534712[/url]
[root@inc-platform-dev-145-5 hive]# tar -zxvf hive-0.8.1.tar.gz 

配置HIVE_HOME
[root@inc-platform-dev-145-5 hive]# vi /etc/profile
..
export HIVE_HOME=/home/kevin/work/hive
export HADOOP_HOME=/home/kevin/work/hadoop
export PATH=$JAVA_HOME/bin:$ANT_HOME/bin:$ANTX_HOME/bin:$HIVE_HOME/bin:$HADOOP_HOME/bin:$PAT
...

配置文件生效
[root@inc-platform-dev-145-5 hive]# source /etc/profile


3.进入hive的shell
[root@inc-platform-dev-145-5 hive]# bin/hive
Logging initialized using configuration in jar:file:/home/kevin/work/hive/lib/hive-common-0.8.1.jar!/hive-log4j.properties
Hive history file=/tmp/root/hive_job_log_root_201206061019_1215788833.txt
hive> 

4.创建简单表
[root@inc-platform-dev-145-5 hive]# su - work
[work@inc-platform-dev-145-5 ~]$ /home/kevin/work/hive/bin/hive
Logging initialized using configuration in jar:file:/home/kevin/work/hive/lib/hive-common-0.8.1.jar!/hive-log4j.properties
Hive history file=/tmp/work/hive_job_log_work_201206061022_606817436.txt
hive> CREATE TABLE pokes (foo INT, bar STRING);
OK
Time taken: 11.116 seconds

5.创建带有分区的表
hive> CREATE TABLE invites (foo INT, bar STRING) PARTITIONED BY (ds STRING);
OK
Time taken: 0.05 seconds

6.显示所有表
hive> SHOW TABLES;
OK
invites
pokes
Time taken: 0.099 seconds
hive> SHOW TABLES '.*s';
OK
invites
pokes
Time taken: 0.044 seconds

7.显示表结构
hive> DESCRIBE invites;
OK
foo     int
bar     string
ds      string
Time taken: 0.131 seconds

8.修改表结构
hive> ALTER TABLE pokes ADD COLUMNS (new_col INT);
OK
Time taken: 4.712 seconds
hive>  ALTER TABLE invites ADD COLUMNS (new_col2 INT COMMENT 'a comment');
OK
Time taken: 0.112 seconds
hive> ALTER TABLE events RENAME TO 3koobecaf;

9.删除表结构
hive> show tables;
OK
invites
pokes
Time taken: 0.101 seconds
hive> DROP TABLE pokes;
OK
Time taken: 3.353 seconds
hive> show tables;
OK
invites
Time taken: 0.069 seconds
hive> 

10.由文件加载数据到表中
数据文件片段examples/files/kv1.txt
...
86val_86
311val_311
27val_27
165val_165
409val_409
255val_255
278val_278
98val_98
484val_484
265val_265
193val_193
401val_401
150val_150
273val_273
224val_224
369val_369
66val_66
...

加载到pokes表

分享到:
评论

相关推荐

    04-Hive安装部署及运维使用.pdf

    Hive的数据存储在HDFS中,大部分查询操作是通过MapReduce来完成的,但是一些简单的查询(比如不包含*的select查询)并不会生成MapReduce任务。Hive通过操作符(Operator)作为最小处理单元来进行数据处理,每个操作...

    hbase:实验一-Hive3安装与部署.pdf

    【HBase实验一-Hive3安装与部署】 本次实验主要涉及Hive的安装与部署,同时也涵盖了相关的Linux操作和Hadoop知识。实验旨在让你熟悉Hive的基本概念,提高Linux技能,以及加深对Hadoop生态的理解。以下是实验的具体...

    Hadoop-2.8.0-Day07-HA-Hive安装部署与HQL-课件与资料.zip

    在本课程中,我们将深入探讨Hadoop 2.8.0版本中的高可用性(HA)配置,以及如何安装和部署Hive以及使用HQL进行数据处理。Hadoop是Apache软件基金会开发的一个开源分布式计算框架,它使得在大规模数据集上运行应用程序...

    hadoop生态圈hive数据仓库的部署详细流程

    Hadoop 生态圈 Hive 数据仓库的部署详细流程 Hive 是基于 Hadoop 的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的 SQL 查询功能,可以将 SQL 语句转换为 MapReduce 任务进行运行。其...

    hadoop2.2 hbase0.96.2 hive 0.13.1整合部署

    整合部署Hadoop、HBase和Hive涉及到多个步骤: 1. **环境准备**:首先确保所有服务器上安装了JDK,设置好JAVA_HOME环境变量,并关闭防火墙。 2. **主机名和IP映射**:为每台服务器设置独特的主机名,更新`/etc/hosts...

    Hive用户指南 Hive user guide 中文版

    Hive作为构建在Hadoop之上的数据仓库系统,其主要功能是提供一种简单易用的方式来处理存储在Hadoop HDFS中的大量数据。通过Hive,用户可以使用类似于SQL的查询语言(HiveQL)来查询数据,而不需要深入了解底层的...

    Spark不能使用hive自定义函数.doc

    1. **准备 Hive UDF**:首先确保该 UDF 已经被正确地部署到了 Hive 中。 2. **打包 Hive UDF**:将包含 UDF 的 jar 包放置在 `/root/mqw/udf/` 目录下。 3. **配置 Spark Session**: ```java SparkSession spark ...

    tools_hive-hwi

    然后,下载Hive-HWI的war文件(如:`hive-hwi-2.1.0.war`),将其部署到你的Tomcat或其他Servlet容器中。接着,配置Hive的`hiveserver2-site.xml`,添加指向HWI的URL和认证信息。 4. **运行与访问**:启动Tomcat...

    hive等配置文档

    在实际部署中,还需要考虑高可用性、安全性、性能优化等多个方面,例如设置Hadoop的HA(High Availability)、Hive的分区策略、HBase的Region拆分策略等。在大数据环境中,正确配置和优化这些组件至关重要,它们直接...

    HIVE PDF PDF

    Hive适用于那些只需要简单的MapReduce统计分析,不需要复杂实时查询的应用场景。 #### 2. Hive PDF PDF中的部署流程 文档“Hive PDF PDF”可能是一个PDF格式的教程或者技术资料,但是由于信息限制,我们只能通过...

    apache-hive-2.3.3-bin.tar.gz

    在部署Hive时,需要配置Hive的元数据存储(如设置Metastore的数据库连接),并确保Hadoop环境已经正确配置。然后,可以通过启动HiveServer2来接受客户端连接,并通过CLI、Beeline或其他SQL客户端进行数据查询和分析...

    apache-hive-1.2.1源码包(已编译)(含Hive的使用全解)

    Hive的设计目标是为大数据分析提供一个简单、可扩展、高容错性的平台。在"apache-hive-1.2.1源码包"中,我们可以深入理解Hive的内部工作原理以及其如何与Hadoop生态系统协同工作。 1. **Hive架构** Hive的核心组件...

    hive的自定义函数

    3. **编译部署**:重新编译整个Hive项目,并将编译好的`hive-exec-0.9.0.jar`替换旧版本jar包部署到Hive服务器上。 #### 五、总结 通过本文介绍,我们了解了Hive UDF的基本概念及其编写与使用方法。使用UDF可以显著...

    apache-hive-1.2.1

    描述"apache-hive-1.2.1 有需要的同学请下载"简单明了,表明这个压缩包是为需要Apache Hive 1.2.1的学生或开发者准备的,他们可以通过下载来获取相关的软件和文档。 标签"apache-hive-"进一步强调了主题,可能用于...

    大数据Hadoop+HBase+Spark+Hive集群搭建教程(七月在线)1

    它提供了一个强大的DataFrame和SQL API,使得数据处理变得简单。 - **Spark安装**: - 安装Java Development Kit (JDK)作为基础,因为Spark需要JVM运行。 - 下载Spark并解压,配置`SPARK_HOME`和`PATH`。 - ...

    hadoop3.0.3及hive2.3.5

    Hive是一个建立在Hadoop之上的数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的SQL查询功能,使不熟悉MapReduce的用户可以轻松进行数据查询。Hive 2.3.5是在Hive 2系列中的一个稳定版本,针对...

Global site tag (gtag.js) - Google Analytics