`
bit1129
  • 浏览: 1067617 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

【Hive四】HQL DML之LOAD和INSERT

    博客分类:
  • Hive
 
阅读更多

1. HQL DML

 

  • 数据加载语句 LOAD
  • 数据插入语句 INSERT
  • 数据查询语句 SELECT
  • 查看HQL执行计划 explain
  • 表/分区导入导出 export/Import

2. LOAD

 

LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename[PARTITION (partcol1=val1, partcol2=val2 ...)]

 

LOAD说明:

  • 当数据被加载至表中时,不会对数据进行任何转换。Load 操作只是将数据复制/移动至 Hive 表对应的位置。
  • 默认每个表一个目录,比如数据库mydb中,表名为mytable,则数据存放位置为:${metastore.warehouse.dir}/mydb.db/mytable,文件名跟导入时的文件名一致
  • metastore.warehouse.dir默认值是/user/hive/warehouse

3. INSERT

3.1 基本INSERT

 

INSERT OVERWRITE TABLE tablename[PARTITION (partcol1=val1, partcol2=val2 ...)] select_statement FROM from_statement

 

3.2 批量INSERT

 

从一个表中多次查询多次插入

 

FROM from_statement INSERT OVERWRITE TABLE tablename1 [PARTITION...)] select_statement1 [INSERT OVERWRITE TABLE tablename2 [PARTITION ...] select_statement2] ...

 

4. LOAD和INSERT实例

 

 

 

 

 5. Hive导入数据到分区表的指定分区

  load data local inpath '/home/admin/yuzt/word.txt' into table word_count_input_2partitions partition(dt1="20151211",dt2="20151212");

  load data local inpath '/export/App/YH-bds-mapred/hhgdata/abc.txt' into table word_count_input partition(dt="20151211");

 

 

 

 

 

 

 

 

 

 

 

  • 大小: 112 KB
分享到:
评论

相关推荐

    hive大数据书籍

    4. **HQL语言**:详尽解析HQL(Hive Query Language),包括DML(数据操作语言)、DDL(数据定义语言)和DCL(数据控制语言)的操作,如SELECT、INSERT、UPDATE、DELETE、CREATE TABLE、ALTER TABLE等语句的使用。...

    HIVE从入门到精通.pdf

    #### 四、Hive创建目录和表 - **创建目录**:Hive使用HDFS作为其底层存储,因此创建目录实际上是在HDFS中创建目录。 - **创建表**:使用CREATE TABLE语句创建表,可以指定列类型、分区键等。例如: ```sql ...

    Apache-Hive-Cookbook

    2. **HQL语法**:详细解析HQL,包括DML(数据操纵语言)如INSERT, UPDATE, DELETE操作,DDL(数据定义语言)如CREATE TABLE, DROP TABLE等,以及数据查询和聚合函数的使用。 3. **数据加载与导出**:讲解如何将数据...

    尚硅谷大数据视频_Hive视频教程

    4. **HQL(Hive Query Language)**:学习Hive的SQL方言,包括DML(数据操纵语言)、DDL(数据定义语言)和DQL(数据查询语言),如CREATE TABLE、LOAD DATA、INSERT INTO、SELECT等命令。 5. **数据类型与表操作**...

    hive编程指南

    Hive支持多种方式来加载数据到表中,如使用`LOAD DATA INPATH`命令将HDFS中的数据加载到表中,或者使用`INSERT INTO`/`INSERT OVERWRITE`命令插入数据。此外,还可以使用`EXPORT`命令将数据导出到指定位置。 ### ...

    pig-hive编程指南

    3. DML(Data Manipulation Language):包括INSERT、SELECT、JOIN、GROUP BY等操作,用于数据查询和分析。 4. SerDe(Serializer/Deserializer):负责数据的序列化和反序列化,允许Hive处理不同格式的数据。 5. ...

    hive简单使用共13页.pdf.zip

    2. **HQL语言**:HQL是Hive提供的SQL方言,支持DML(Data Manipulation Language)操作,如SELECT、INSERT、UPDATE和DELETE,以及DDL(Data Definition Language)操作,如CREATE TABLE、ALTER TABLE和DROP TABLE。...

    Hive用户指南(Hive_user_guide)_中文版

    Hive是构建在Hadoop之上的一个工具层,旨在为Hadoop提供一种更加方便的SQL-like查询语言(HQL)。Hive利用Hadoop的HDFS进行数据存储,并通过MapReduce框架进行数据处理。Hive的主要功能在于提供了一个友好的数据处理...

    Hive数据仓库全流程开发

    - 使用`LOAD DATA INPATH`或`INSERT INTO`语句将数据加载到表中。 - **数据查询**: - **基本查询**: ```sql SELECT * FROM table_name; ``` - **复杂查询**: - 聚合查询、分组查询等高级功能可通过HQL...

    Hadoop数据仓库工具hive介绍.pdf

    尽管如此,Hive通过HQL提供了许多RDBMS常见的表格查询特性和分布式存储计算特性。 **1.2 架构** Hive的架构主要包括以下几个部分: 1. **操作界面**:用户可以通过命令行接口(CLI)、Web界面或Thrift服务来与Hive...

    Impala用户指南

    除了共享存储平台之外,Impala还与Hive使用相同的元数据、SQL语法(Hive SQL)、ODBC驱动以及用户界面(Hue Beeswax),这些共同构成了一个统一且易于使用的平台,让用户能够在批量处理和实时查询之间无缝切换。...

Global site tag (gtag.js) - Google Analytics