`
dacoolbaby
  • 浏览: 1262401 次
  • 性别: Icon_minigender_1
  • 来自: 广州
社区版块
存档分类
最新评论

Hive建表的Location问题

    博客分类:
  • Hive
阅读更多

最近公司在使用Hive做项目测试,所以就在Hive上面建了一些表,做测试。

使用建表语句后发现数据被自动覆盖了,现在了解到的情况是这样的。

 

Hive中,表的Metadata信息全部存储在MySQL中。

而存储在MySQL中的数据是没有校验过程的。

也就是说,你可以创建一个逻辑错误的表,两个表指向同一个HDFS文件也是有可能的。

 

所以,在使用CREATE TABLE的时候,LOCATION必须要指定成

Path/表名

如:

create table choice(
userid int,
classname string)
row format delimited fields terminated by '\t'
LOCATION '/data/test01/dacoolbaby/choice'
;

 

否则在使用LOAD LOCAL DATA INPATH 命令加载本地数据的时候,

数据会互相覆盖。

 

 

分享到:
评论

相关推荐

    生成hive建表语句

    "生成Hive建表语句"这个主题主要涉及到如何创建Hive表结构,以便存储和管理大数据。下面我们将深入探讨Hive建表的相关知识点。 首先,我们需要了解Hive的基本概念。Hive是由Facebook开源的一个数据仓库工具,它可以...

    hive元数据生成建表语句

    LOCATION '/user/hive/warehouse/mydb.db/mytable'; ``` 这个例子展示了如何创建一个名为`mytable`的表,包含三列(id、name和date),并按年、月、日进行分区。表的数据以制表符分隔,并存储为文本文件。 总的来...

    Hive中SQL详解

    * EXTERNAL:可以让用户创建一个外部表,在建表的同时指定一个指向实际数据的路径(LOCATION)。 * LIKE:允许用户复制现有的表结构,但是不复制数据。 * COMMENT:可以为表与字段增加描述。 * ROW FORMAT:用户在...

    hive进阶强化必备

    ### Hive进阶强化必备知识点详解 #### 一、HiveThrift服务启动及连接方法 在Hive的日常管理和使用过程中,HiveThrift服务是非常关键的一个组件,它提供了远程客户端访问Hive的方式。以下是对启动和服务连接的具体...

    Hive语法及技术进阶.pdf

    一、Hive 基本语法-建表 Hive 表是 Hive 中的基本概念,用于存储数据。创建表是 Hive 中的基本操作,用于定义表的结构。Hive 提供了多种创建表的方式,包括创建普通表、创建外部表、创建分区表等。 1、创建普通表 ...

    hive数据怎么导入.docx

    首先,你需要创建一个外部表,并在建表语句中指定数据存储的HDFS路径。例如: ```sql CREATE EXTERNAL TABLE MYTEST(num INT, name STRING) COMMENT 'this is a test' ROW FORMAT DELIMITED FIELDS TERMINATED ...

    hiveSql.docx

    - 使用`ALTER TABLE`语句添加新的分区,例如`ALTER TABLE day_table ADD PARTITION (dt='2008-08-08', hour='08') LOCATION '/path/pv1.txt';` 3. **删除分区**: - 使用`ALTER TABLE`语句的`DROP PARTITION`子句...

    hive常用命令+日常

    - `LOCATION '/user/hive/warehouse/dw/dim_area_info'`:指定数据所在的HDFS位置。 #### 修改表名称 使用`ALTER TABLE`语句可以修改表的名称。 **示例命令**: ```sql ALTER TABLE ods.ods_test1 RENAME TO ods....

    EverEdit-v3.4.14037s优化版

    Hive的建表语句可以通过LIKE语句复制其他表的结构,但需要注意,若原表为分区表,则复制得到的表将变为非分区表。建表的同时可以插入数据(CREATE TABLE AS SELECT),但这种方法不支持外部表和分区表,并且在建表时...

    大数据面试题

    Hive 的建表语句及存储方式 - **建表语句**: ```sql CREATE TABLE table_name ( column1 data_type [COMMENT 'comment'], column2 data_type [COMMENT 'comment'], ... ) [COMMENT 'table_comment'] ...

Global site tag (gtag.js) - Google Analytics