`
samuschen
  • 浏览: 405537 次
  • 性别: Icon_minigender_2
  • 来自: 北京
社区版块
存档分类
最新评论

hive中关于partition的操作

    博客分类:
  • hive
阅读更多

hivecreate table mp (a string) partitioned by (b string, c string);
OK
Time taken: 0.044 seconds
hive> alter table mp add partition (b='1', c='1');
OK
Time taken: 0.079 seconds
hive> alter table mp add partition (b='1', c='2');
OK
Time taken: 0.052 seconds
hive> alter table mp add partition (b='2', c='2');
OK
Time taken: 0.056 seconds
hive> show partitions mp ;
OK
b=1/c=1
b=1/c=2
b=2/c=2
Time taken: 0.046 seconds
hive> explain extended alter table mp drop partition (b='1');
OK
ABSTRACT SYNTAX TREE:
  (TOK_ALTERTABLE_DROPPARTS mp (TOK_PARTSPEC (TOK_PARTVAL b '1')))

STAGE DEPENDENCIES:
  Stage-0 is a root stage

STAGE PLANS:
  Stage: Stage-0
      Drop Table Operator:
        Drop Table
          table: mp


Time taken: 0.048 seconds
hive> alter table mp drop partition (b='1');
FAILED: Error in metadata : table is partitioned but partition spec is not specified or tab: {b=1}
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask
hive> show partitions mp ;
OK
b=1/c=1
b=1/c=2
b=2/c=2
Time taken: 0.044 seconds
hive> alter table mp add   partition ( b='1', c = '3') partition ( b='1' , c='4');
OK
Time taken: 0.168 seconds
hive> show partitions mp ;
OK
b=1/c=1
b=1/c=2
b=1/c=3
b=1/c=4
b=2/c=2
b=2/c=3
Time taken: 0.066 seconds
hive>insert overwrite table mp partition (b='1', c='1') select cnt from tmp_et3 ;

hive>alter table mp add columns (newcol string);

 

location指定目录结构
hive> alter table alter2 add partition (insertdate='2008-01-01') location '2008/01/01';

hive> alter table alter2 add partition (insertdate='2008-01-02') location '2008/01/02';

分享到:
评论

相关推荐

    大数据实验六实验报告:熟悉Hive的基本操作

    在本实验报告中,我们关注的是大数据处理工具Hive的基础操作,主要涵盖了创建表、导入数据以及使用Hive进行数据管理。Hive是基于Hadoop的数据仓库工具,它允许通过SQL-like查询语言(HQL)对分布式存储的大数据集...

    Hive基本操作命令大全

    Hive基本操作命令大全 Hive是一个基于Hadoop的数据仓库工具,可以使用SQL语言来查询和管理大规模数据。本文档将详细介绍Hive的基本操作命令,从创建表、加载数据、查询数据到数据管理等方面进行整理。 创建表 ...

    Hive 基本命令操作1

    以上就是关于Hive基本命令操作的一些核心知识点,包括创建表、查看表结构、数据加载以及查询等。在实际操作中,根据业务需求选择合适的数据模型(如分区表)并正确地管理数据,能够极大地提高数据处理的效率和便利性...

    Hive使用手册Hive使用手册

    本手册将深入探讨Hive的概念、数据类型、表的操作以及优化技巧。 1. **Hive概念与连接使用** Hive是建立在Hadoop之上的数据仓库工具,它可以将结构化的数据文件映射为一张数据库表,并提供SQL查询功能,方便大数据...

    hive原理1介绍

    - **分区**(Partition):Hive允许根据某个列的值将表中的数据划分到多个独立的目录中。这种机制对于提高查询性能非常有效,特别是当数据量巨大时。 - **桶**(Bucket):通过将数据分成较小的部分(桶),Hive可以...

    Hive元数据库操作

    Hive 元数据库操作是 Hive 运维中常用的操作之一,它提供了对元数据的管理和查询功能。在 Hive 中,元数据是指对数据的描述信息,如表名、表路径、分区信息、列信息等。下面将对 Hive 元数据库操作的常用 SQL 语句...

    修改hive表分区名称

    - 修改Hive表分区名称的过程中,需要谨慎操作,尤其是当涉及到大量数据迁移时,应确保数据的完整性和一致性。 - 在修改完分区名称后,建议再次使用`SHOW PARTITIONS test;`命令来检查所有分区的信息,确保所有操作均...

    Hive开发规范及要点

    在Hive开发中,遵循一定的规范和要点非常重要,以下是Hive开发规范及要点: 一、基本操作 1. 模糊搜索表:使用`show tables like '*name*';`语句可以搜索包含某个关键字的表名。 2. 查看表结构信息:使用`desc ...

    HIVE-SQL操作语句

    ### HIVE-SQL操作语句详解 #### 一、创建表 (CREATE TABLE) 在Hive中,`CREATE TABLE` 语句用于创建新的表。与传统的关系型数据库类似,但在Hive中有其特殊之处。 ##### 示例 ```sql hive> CREATE TABLE pokes ...

    Hive操作笔记(呕心沥血制作)

    【Hive 操作笔记】 Hive 是一个基于 Hadoop 的数据仓库工具,它允许用户...在实际工作中,根据业务需求,还需要深入学习 Hive 的高级特性,如视图、JOIN 操作、UDF(用户定义函数)等,以实现更复杂的数据处理和分析。

    Hive用户指南 Hive user guide 中文版

    - **将数据插入到Hive表**:可以使用`INSERT INTO TABLE table_name [PARTITION (partition_spec)] SELECT ...`命令将数据从查询结果插入到Hive表中。 - **将查询结果写入文件系统**:通过`INSERT OVERWRITE ...

    apache-hive-2.3.9-bin.tar大数据HIVE.zip

    1. **数据模型**:Hive 支持两种主要的数据存储结构——表(Table)和分区(Partition)。表是数据的基本单位,可以看作是关系数据库中的表格。分区则是对大表进行逻辑上的划分,通过将数据按特定字段值进行分类,...

    hive 表 dml 操作.zip

    5. **PARTITION**:在Hive中,分区是一种组织大量数据的有效方式,可以提高查询性能。通过在表上定义一个或多个分区列,可以将数据逻辑上划分为不同的部分,查询时只扫描相关的分区,而非整个表。 6. **BUCKETING**...

    Hive教程.pdf

    #### 二、Hive中的基本数据类型 - **数值类型**: TINYINT、SMALLINT、INT、BIGINT - **浮点类型**: FLOAT、DOUBLE - **字符串类型**: STRING、VARCHAR、CHAR - **布尔类型**: BOOLEAN - **日期时间类型**: DATE、...

    hive级联求和

    "面试用神sql--套路--累计报表.txt"可能包含了更多关于如何编写高效的Hive SQL来解决这类问题的实例和技巧,这将帮助你在面试中脱颖而出。 总结来说,Hive的级联求和功能是处理分层数据和构建累计报表的关键。通过...

    Hive配置和基本操作.pdf

    在实验中,配置了包括 `hive.exec.local.scratchdir`、`hive.exec.scratchdir`、`hive.server2.logging.operation.log.location`、`hive.downloaded.resources.dir`、`hive.querylog.location`、`hive.metastore....

    hive的学习资料

    【Hive 学习资料】 Hive 是一个基于 Hadoop 的数据仓库系统,它主要设计用于处理和管理大规模数据集。Hive 提供了一个类似 SQL 的查询语言...了解和掌握 Hive 的核心概念、操作和优化策略是大数据分析中的重要一环。

    Hive的基础操作教学

    Hive的元数据主要存储在MySQL或Derby这样的关系型数据库中,用于保存关于Hive数据库、表、字段等信息。例如,`VERSION`表记录Hive的版本信息,`DBS`和`DATABASE_PARAMS`存储数据库的创建信息和参数,`TBLS`、`TABLE_...

    分布式数据仓库Hive大全

    1.6 其它HIVE操作 11 2. HIVE 基本操作 12 2.1 create table 12 2.1.1 总述 12 2.1.2 语法 12 2.1.3 基本例子 14 2.1.4 创建分区 15 2.1.5 其它例子 16 2.2 Alter Table 17 2.2.1 Add Partitions 17 2.2.2 Drop ...

    大数据学习:Hive数据操作语言.pdf

    Hive是基于Hadoop的大数据仓库管理系统,提供了类SQL的数据操作语言DML,用于操作数据表中的数据,例如数据的加载、查询和插入等操作。下面是Hive数据操作语言的详细讲解: 加载文件 加载文件是Hive中常见的数据...

Global site tag (gtag.js) - Google Analytics