`

Hive 中内部表与外部表的区别与创建方法

 
阅读更多
    先来说下Hive中内部表与外部表的区别:
Hive 创建内部表时,会将数据移动到数据仓库指向的路径;若创建外部表,仅记录数据所在的路径,
不对数据的位置做任何改变。在删除表的时候,内部表的元数据和数据会被一起删除,
而外部表只删除元数据,不删除数据。这样外部表相对来说更加安全些,数据组织也更加灵活,方便共享源数据。

需要注意的是传统数据库对表数据验证是 schema on write(写时模式),而 Hive 在load时是不检查数据是否
符合schema的,hive 遵循的是 schema on read(读时模式),只有在读的时候hive才检查、解析具体的
数据字段、schema。
读时模式的优势是load data 非常迅速,因为它不需要读取数据进行解析,仅仅进行文件的复制或者移动。
写时模式的优势是提升了查询性能,因为预先解析之后可以对列建立索引,并压缩,但这样也会花费要多的加载时间。

下面来看下 Hive 如何创建内部表:
create table test(userid string);
LOAD DATA INPATH '/tmp/result/20121213' INTO TABLE test partition(ptDate='20121213');

这个很简单,不多说了,下面看下外部表:
hadoop fs -ls /tmp/result/20121214
Found 2 items
-rw-r--r--   3 june supergroup       1240 2012-12-26 17:15 /tmp/result/20121214/part-00000
-rw-r--r--   1 june supergroup       1240 2012-12-26 17:58 /tmp/result/20121214/part-00001
-- 建表
create EXTERNAL table IF NOT EXISTS test (userid string) partitioned by (ptDate string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';
-- 建立分区表,利用分区表的特性加载多个目录下的文件,并且分区字段可以作为where条件,更为重要的是
-- 这种加载数据的方式是不会移动数据文件的,这点和 load data 不同,后者会移动数据文件至数据仓库目录。
alter table test add partition (ptDate='20121214') location '/tmp/result/20121214';
-- 注意目录20121214最后不要画蛇添足加 /*,我就是linux shell用多了,加了这玩意,调试了一下午。。。

注意:location后面跟的是目录,不是文件,hive会把整个目录下的文件都加载到表中:

create EXTERNAL table IF NOT EXISTS userInfo (id int,sex string, age int, name string, email string,sd string, ed string)  ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' location '/hive/dw';
否则,会报错误:
FAILED: Error in metadata: MetaException(message:Got exception: org.apache.hadoop.ipc.RemoteException java.io.FileNotFoundException: Parent path is not a directory: /hive/dw/record_2013-04-04.txt

最后提下还有一种方式是建表的时候就指定外部表的数据源路径,

但这样的坏处是只能加载一个数据源了:
CREATE EXTERNAL TABLE sunwg_test09(id INT, name string) 
ROW FORMAT DELIMITED 
FIELDS TERMINATED BY ‘\t’ 
LOCATION ‘/sunwg/test08′; 

上面的语句创建了一张名字为sunwg_test09的外表,该表有id和name两个字段,
字段的分割符为tab,文件的数据文件夹为/sunwg/test08
select * from sunwg_test09;
可以查询到sunwg_test09中的数据。
在当前用户hive的根目录下找不到sunwg_test09文件夹。
此时hive将该表的数据文件信息保存到metadata数据库中。
mysql> select * from TBLS where TBL_NAME=’sunwg_test09′;
可以看到该表的类型为EXTERNAL_TABLE。
mysql> select * from SDS where SD_ID=TBL_ID;
在表SDS中记录了表sunwg_test09的数据文件路径为hdfs://hadoop00:9000/hjl/test08。
# hjl为hive的数据库名

实际上外表不光可以指定hdfs的目录,本地的目录也是可以的。
比如:
CREATE EXTERNAL TABLE test10(id INT, name string) 
ROW FORMAT DELIMITED 
FIELDS TERMINATED BY ‘\t’ 
LOCATION ‘file:////home/hjl/sunwg/’;
分享到:
评论

相关推荐

    hive外部表创建

    ### Hive外部表创建详解 #### 一、引言 在大数据处理领域,Hive作为一款广泛使用的数据仓库工具,能够高效地对存储在Hadoop文件系统中的数据进行查询与管理。其中,外部表的创建是Hive使用过程中的一个重要概念。...

    Hive内部表和外部表

    一:内部表和外部表的区别 创建表时使用关键字external创建的表就是外部表,没有使用该关键字创建的表就是内部表。 删除表时(drop table)内部表会删除hdfs对应路径,而外部表不会删除hdfs对应的路径, 删除表无论是...

    Hive内部表合并小文件Java程序

    首先,理解Hive内部表和外部表的区别是关键。内部表的数据由Hive完全管理,删除内部表会同时删除其对应的数据。而外部表仅仅是一个指向实际数据的引用,删除外部表不会影响数据。在这个场景下,我们关注的是内部表,...

    HIVE创建库创建表.docx

    本实验旨在深入理解Hive的基本操作,包括创建数据库、内部表、外部表以及分区表,并通过实际操作来掌握这些概念。 首先,创建Hive数据库分为两种情况,即使用`location`和不使用`location`。当使用`location`关键字...

    hive 创建表语法.docx

    在 Hive 中,使用 EXTERNAL 关键字可以创建外部表。外部表是指存储在 HDFS 上的表,数据可以来自于多个来源。使用 EXTERNAL 关键字可以指定表的存储位置和存储格式。例如: CREATE EXTERNAL TABLE t_lxw1234 (id ...

    大数据实验六实验报告:熟悉Hive的基本操作

    通过这个实验,学生能够掌握Hive的基本操作,包括创建表(内部表和分区表)、数据导入、数据查询以及动态分区的使用,这些都是大数据分析中的关键步骤。同时,了解如何在Windows环境下配置和使用Ubuntu虚拟机,以及...

    hive搭建及使用入门简介(内含PPT、各种表创建sql及hive搭建使用笔记)

    Hive支持内部表和外部表。内部表由Hive完全管理,数据存储在HDFS上,删除内部表时,数据也会被一同删除。而外部表只是对HDFS上数据的引用,删除外部表不会影响原始数据,这对于数据共享和管理非常有用。 在“分区表...

    13-Hive基本操作1

    内部表的删除会同时移除数据和元数据,而外部表只移除元数据,数据保持不变。 7. **加载数据**: Hive提供了`LOAD DATA`命令来加载数据到表中。`LOAD DATA LOCAL INPATH`可以从本地文件系统加载数据,`LOAD DATA ...

    hive入门级详解

    Hive 的存储结构主要包括内部表和外部表两种。内部表的数据由 Hive 自身管理,而外部表的数据由 HDFS 管理。内部表的元数据存储在关系型数据库中,而表数据存储在 HDFS 上。删除内部表会直接删除元数据和存储数据,...

    大数据技术原理及应用课实验6 :熟悉Hive的基本操作

    外部表的元数据由Hive管理,但数据本身的位置由用户指定,这使得数据可以独立于Hive存在。 5. 利用Hive的自动分区功能,将`dividends_unpartitioned`表中的数据按特定条件插入到`dividends`的各个分区中,这样可以...

    hive实验报告.docx

    - 使用DDL创建内部表和外部表,内部表的数据存储在HDFS中,由Hive管理;外部表的数据存储在用户指定位置,不随表删除而删除。 - DML操作包括查看表、查看表结构,以及插入、更新和删除数据。 - 分区表的创建有助...

    kingcall#all-kinds-book#4 Hive—基础—内部表和外部表1

    创建内部表CREATE TABLE ods.u_data (FIELDS TERMINATED BY '\t'当你建表成功并且把数据load 进去之后,你发现数

    (完整word版)大数据面试题资料.doc

    本文档是关于大数据面试题的资料,涵盖了 Hive 中内部表与外部表的区别、创建内部表和外部表的方法、Hive 的 schema on read 模式的特点、load data 的优势等内容。 Hive 内部表与外部表的区别 Hive 中的内部表和...

    实验4. 基于Hive的数据分析.doc

    基于Hive的数据分析实验报告 本实验旨在熟悉Hive的基本操作,通过实验,了解Hive在Hadoop体系结构中的角色担当,熟悉Hive中的...同时,我们也可以了解到Hive内部表和外部表的区别,并掌握了MapReduce统计任务的实现。

    Hive-2.3.3在window安装需要的cmd相关

    在Hive的命令行界面,你可以使用SQL语句来创建数据库和表,加载数据,执行查询等操作。 8. **Hive和Windows兼容性问题**: 在Windows上运行Hive可能会遇到一些与Unix/Linux不同的问题,例如路径分隔符、文件权限...

    hive原理1介绍

    - **外部表**(External Table):与内部表不同,外部表的数据不是存储在Hive的仓库目录中,而是指向HDFS中已经存在的文件或目录。这意味着即使删除了外部表,HDFS中的数据也不会被删除。这为数据备份和恢复提供了...

    大数据面试 Hive 八股文

    3. **Hive内部表和外部表的区别** - **内部表**:数据与元数据一起管理,删除时会同时删除数据和元数据。 - **外部表**:仅管理元数据,数据存储在用户指定的位置,删除时仅删除元数据。 4. **Hive建表语句** - ...

    hive面试题(Hadoop)

    ### Hive内部表与外部表的区别 #### 内部表特性 - **数据管理**:内部表的数据由Hive自身管理,这意味着数据的增删改查等操作完全由Hive控制。 - **存储位置**:默认情况下,内部表的数据存储于`hive.metastore....

    hive学习必备经典(百度)

    内部表存储在Hive的元数据库中,而外部表存储在HDFS中。Hive还提供了多种数据存储格式,如TEXTFILE、SEQUENCEFILE、ORCFILE等。 Hive基本操作 Hive的基本操作包括创建表、载入数据、查询数据等。下面是创建表的...

    《企业级Hive实战课程》大纲

    - 内部表、外部表、分区表的定义与区别; - 表的创建、数据加载与导出操作; - 各种表类型的使用场景与最佳实践。 4. **Hive SQL查询** - 常见SQL语句如SELECT、WHERE、DISTINCT、JOIN、GROUP BY、UNION等的...

Global site tag (gtag.js) - Google Analytics