`
dajuezhao
  • 浏览: 61277 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

关于Hive建表需要注意的问题

    博客分类:
  • hive
阅读更多

一、环境

1、Hadoop 0.20.2

2、Hive 0.5.0

3、JDK 1.6

4、操作系统:Linux m131 2.6.9-78.8AXS2smp #1 SMP Tue Dec 16 02:42:55 EST 2008 x86_64 x86_64 x86_64 GNU/Linux

二、注意事项

1、关于数字类型支持的位数类型 支持数字位数
tinyint 3位数字
smallint 5位数字
int 10位数字
bigint 19位数字


对于数字类型的存放,如果数字很长,但是对这个字段的值不需要进行计算,个人认为可以就是存放为string。

如果数字字段的值超过了设定的字段类型(例如,存放数字是20位,但是字段设计是bigint),那么,返回结果显示是NULL。

如果数字字段没有值,那么查询返回结果也会显示为NULL。

2、CREATE EXTERNAL TABLE tablename创建,在表建立之后,如果删除该表,数据文件依然是存在。

3、对于是string类型的字段,在查询后,如果该字段没有值,返回结果集合是看不到NULL的,也就是说,是“”这个值。所以,在取值或查询的时候的时候,千万记得对string类型的字段进行查询的时候,不要使用<>null或是is not null这样的描述。应该采用<>“”这样来进行条件过滤。

分享到:
评论

相关推荐

    java根据excel生成 hive建表语句

    Java作为企业级应用开发的主要语言,经常被用来处理与数据相关的任务,包括从Excel文件读取数据并生成Hive建表语句。下面我们将详细探讨如何使用Java和Apache POI库来实现这一功能。 首先,Apache POI是Java中处理...

    SpringBoot整合hive-jdbc示例

    3. 如果Hive服务器有SSL配置,需要在`application.properties`中添加相关SSL配置。 通过以上步骤,你可以在SpringBoot项目中成功整合Hive-JDBC,实现对Hive数据仓库的访问和操作。这个简单的示例展示了基本的查询...

    hive环境搭建和建表加载数据

    标题“Hive环境搭建和建表加载数据”涉及了几个关键的知识点,包括Hive环境的...需要注意的是,在操作时,系统环境、Hadoop集群状态、数据库服务状态、网络连接等都必须正常,否则Hive环境搭建和数据处理任务可能失败。

    Mysql元数据如何生成Hive建表语句注释脚本详解

    MySQL元数据生成Hive建表语句注释脚本详解 在大数据处理场景中,经常需要将数据从传统的关系型数据库(如MySQL)迁移至分布式数据仓库(如Hive)。在这个过程中,保持数据表结构和注释的一致性非常重要,因为注释有...

    hive,性能调优,全方面提升认知

    本篇文章将从四个方面对Hive性能调优进行详细的讲解,分别是Hive建表设计、HiveHQL语句优化、Hive配置参数调整和MapReduce引擎调整。 Hive性能调优的重要性 在大数据领域中,Hive作为一个常用的数据仓库组件,性能...

    基于hive Hook的hive原数据调整

    ### 基于Hive Hook的Hive元数据调整 #### 问题背景及解决思路 在大数据处理领域,Apache Hive 是...此外,需要注意的是,整个升级过程需要重启多个关键服务,因此建议在计划停机维护时间内进行,以减少对业务的影响。

    ES-HIVE数据互通

    ### ES-HIVE数据互通知识点详解 #### 环境配置 在进行Elasticsearch与Hive的数据互通之前,首先需要确保环境配置...需要注意的是,实际操作过程中可能还会遇到各种配置和兼容性问题,需根据实际情况调整解决方案。

    hive分区表分通表建表语句详解和例子

    **注意**:动态分区通常用于插入数据时自动生成新的分区,这种方式更适用于处理实时或半实时数据的情况,但需要注意性能问题,因为它可能会产生大量的小文件。 #### 三、总结 - **静态分区**适用于已知分区值的...

    Hive学习笔记

    如果一行数据跨越了多个数据块,Hive 需要读取多个块来获取完整行。为了提高效率,Hive 通过数据本地化策略,尽可能地让数据处理任务运行在数据所在的节点上,减少网络传输。 2. **ETL 过程**: - ETL 是数据处理...

    Hive使用手册Hive使用手册

    9. **Hive使用注意点** - 确保数据格式与表结构匹配。 - 优化查询,避免全表扫描和过度复杂的子查询。 - 合理使用分区,减少数据处理量。 10. **Hive优化** - 使用桶表(Bucketing)和分桶连接(Bucketed Joins...

    大数据技术之Hive-02(优化).pdf

    ### Hive建表优化 1. **分区表概念**: - 分区表是Hive中一种优化查询的方法,通过将数据集分割成更小的逻辑部分来提高查询性能。 - 分区表在HDFS中对应的是一个独立的文件夹,根据分区字段存储不同分区的数据。 ...

    第2章 HiveSQL 数据定义语言(DDL)1

    在Hive中使用DDL时,我们需要注意以下几点: 1. **建表基础**:Hive的建表语法非常灵活,支持多种数据类型和复杂数据结构。完整的建表语法树包括表名、列名、列数据类型、表属性等元素。例如,`CREATE TABLE table_...

    hive50题作业.txt

    建表与加载数据 1. **创建学生表(`student`)** - 表结构:包括学号(`s_id` int类型), 学生姓名(`s_name` string类型), 出生日期(`s_birth` string类型), 性别(`s_sex` string类型)。 - 数据格式:字段之间用...

    hive数据怎么导入.docx

    首先,你需要创建一个外部表,并在建表语句中指定数据存储的HDFS路径。例如: ```sql CREATE EXTERNAL TABLE MYTEST(num INT, name STRING) COMMENT 'this is a test' ROW FORMAT DELIMITED FIELDS TERMINATED ...

    hive操作命令大全.txt

    # 注意:若是外部表,则还需要删除文件(hadoop fs -rm -r -f hdfspath) alter table table_name drop if exists partitions (d=‘2016-07-01'); # 字段类型 # tinyint, smallint, int, bigint, float, decimal,...

    EverEdit-v3.4.14037s优化版

    Hive的建表语句可以通过LIKE语句复制其他表的结构,但需要注意,若原表为分区表,则复制得到的表将变为非分区表。建表的同时可以插入数据(CREATE TABLE AS SELECT),但这种方法不支持外部表和分区表,并且在建表时...

    x2doris.pdf

    X2Doris 是 SelectDB 开发的专门用于将各种离线数据迁移到 Apache Doris 中的核心工具,该工具集自动建表和数据迁移为一体,目前支持了 Hive, Doris (及 Doris 系) 数据库往 Doris (SelectDB Cloud) 迁移的工作,...

    linux的大数据存储与处理技术

    同时,可以使用Hive的建表脚本创建数据表,以便在Hive中进行数据处理和查询。 5. **循环与判断**: 在Shell脚本中,循环和判断语句常用于处理批量任务。例如,`for`循环可以迭代一系列数值或元素,`if`判断则可以...

    hadoop 开发规范

    本文档旨在详细介绍HiveSQL开发规范的各项规则,包括数据类型、运算符及函数、数据定义命令、数据操作命令以及数据查询SQL等方面的内容,并给出一些优化实例和解决常见问题的方法。 #### 二、HiveSQL语法规则 ####...

    Phoenix技术与应用

    - **解决 HBase 读写热点问题**:通过在建表时使用 `SALT_BUCKETS` 指定分桶数量加盐。 - **加盐的过程**:在原始 key 的基础上增加一个 byte 作为前缀,`new_row_key = (++index % BUCKETS_NUMBER) + original_key`...

Global site tag (gtag.js) - Google Analytics