`

impala数据插入的方法详解

阅读更多

impala是一种内存计算的数据库,查询性能相比于hive官网称是快100倍,其向表中插入数据的方法如下:

 

1、insert into

[slave12:21000] > insert into parquet_snappy select * from raw_text_data;
Inserted 1000000000 rows in 181.98s

 

2、CTAS

 

[slave12:21000] > create table test_table  STORED AS PARQUET as select * from table;
Query: create table test_table  STORED AS PARQUET as select * from table
+-------------------------+
| summary                 |
+-------------------------+
| Inserted 80000 row(s) |
+-------------------------+

3、load data 

 

[slave12:21000] > load data inpath '/user/hive/warehouse/test.db/table' into table test_table;
Query: load data inpath '/user/hive/warehouse/test.db/table' into table test_table
+----------------------------------------------------------+
| summary                                                  |
+----------------------------------------------------------+
| Loaded 1 file(s). Total files in destination location: 1 |
+----------------------------------------------------------+

 

此处注意,此种方法只能导入hdfs上的文件,不支持导入本地文件,不能像hive一样,加入local去导入本地文件,同时load之后,原表需要refresh,否则会报错

 

1
1
分享到:
评论

相关推荐

    Impala大数据分析快速入门视频教程

    手把手视频详细讲解项目开发全过程,需要的小伙伴自行百度网盘下载,链接见附件,永久有效。 课程简介 从零开始讲解大数据分布式计算的发展及Impala的应用场景,对比Hive、MapReduce、Spark... 3.Impala元数据同步原理

    Impala大数据分析引擎课程

    课程分享——Impala大数据分析引擎,完整版视频课程下载。 课程介绍 Impala由Cloudera公司主导开发的大数据实时查询分析工具,宣称比原来基于MapReduce的HiveSQL查询速度提升3~90倍,且更加灵活易用。提供类SQL的...

    impala cookbook详解版

    Impala Cookbook 详解版 Impala Cookbook 是一本关于 Impala 的深入指南,涵盖了 Impala 的物理和 Schema 设计、内存使用量、物理设置等方面的详细介绍。下面是对 Impala Cookbook 的详细解释: 物理和 Schema ...

    impala快速入门手册

    可以使用 INSERT 命令来插入数据到表中。 ### 3.8 刷新表 可以使用 REFRESH 命令来刷新表,例如刷新表结构、字段信息等。 ### 3.9 删除表 可以使用 DROP TABLE 命令来删除表。 ### 3.10 创建表 可以使用 ...

    springboot集成impala(包含yml、impala配置类、pom.xml、impala jar)

    在本文中,我们将深入探讨如何在SpringBoot应用中集成Impala数据仓库系统,以及涉及到的相关配置和步骤。首先,我们来看看关键的组成部分: 1. **SpringBoot集成**: SpringBoot是基于Spring框架的一个轻量级开发...

    springboot+mybatis+impala/mysql整合Demo

    springboot+mybatis+impala/mysql整合Demo , 内嵌PageHelper插件已整合,需要根据pom.xml中的备注操作即可使用mysql和PageHelper, impala 不支持PageHelper插件

    Apache Impala Guide impala-3.3.pdf

    值得注意的是,Impala 3.0版本带来了许多变更,包括启用插入时的聚类提示、移除了过时的查询选项、增加了细粒度的权限、移除了Impala shell中的refresh_after_connect选项、修改了保留字列表、将Decimal V2设为...

    impala-2.9.pdf

    * 实时数据分析:Impala 可以实时地分析大量数据,满足实时数据分析需求。 * 可扩展性强:Impala 可以水平扩展,满足大规模数据分析需求。 Impala 的工作原理 Impala 工作流程如下: 1. 客户端提交查询语句 2. ...

    Impala的JDBC编程驱动

    标题中的“Impala的JDBC编程驱动”指的是Impala(一个开源的、高性能的SQL查询引擎,用于处理存储在Hadoop集群中的数据)与Java应用程序之间的桥梁,即JDBC(Java Database Connectivity)驱动。JDBC驱动是Java...

    dbeaver impala jdbc连接包

    标题 "dbeaver impala jdbc连接包" 涉及到的是在数据管理工具DBeaver中连接Impala数据库所必需的Java Database Connectivity (JDBC)驱动。Impala是Cloudera Data Hub (CDH)中的一种分布式分析引擎,用于处理大规模的...

    apache-atlas-2.1.0-impala-hook.tar.gz

    总之,Apache Atlas 2.1.0 Impala Hook 是一个强大的工具,它促进了元数据管理和大数据分析之间的协同,尤其在 CDH 6.3.1 这样的企业环境中,能够提高数据治理效率和数据安全性。正确配置和使用这个 Hook,可以帮助...

    impala驱动jar包

    在实际应用中,你可能还需要考虑性能优化,如使用批量插入、缓存元数据、使用连接池(如C3P0或HikariCP)以及处理Impala特有的特性,如分区表、复杂类型等。理解这些细节将有助于构建更高效、健壮的Java应用,充分...

    大数据Impala架包

    标题中的“大数据Impala架包”指的是一个专为处理大数据分析而设计的工具包,它主要服务于Impala,这是一个由Cloudera开发的快速、分布式、SQL查询引擎,用于Hadoop生态系统。Impala允许用户无需将数据从HDFS或HBase...

    impala-3.4.pdf

    “Impala Concepts and Architecture”和“Impala Features”部分则可能详细介绍了Impala的架构组成,例如Impala Server的各个组件:Impala ...Impala Statestore(状态存储)和Impala Catalog Service(元数据服务)...

    1、通过亿级数据量在hive和impala中查询比较text、orc和parquet性能表现(一)

    本文通过亿级数据量在Hive和Impala中对比了text、orc和parquet这三种不同的文件格式,以分析它们的性能表现。 首先,让我们深入了解每种文件格式的特点: 1. **Parquet**: - 优点:Parquet采用了高效的压缩和...

    BIEE配置ODBC连接impala

    Business Intelligence Enterprise Edition (BIEE) 作为一款强大的商业智能工具,在实现数据可视化的同时,也需要与诸如 Impala 这样的数据源进行有效连接。本文将详细介绍如何在 Linux 环境下配置 BIEE 使用 ...

    cloudera-impala官方手册

    ### Cloudera Impala 官方手册解析 #### 一、引言 Cloudera Impala 是一款由 Cloudera 开发的企业...通过深入了解 Impala 的特性和使用方法,可以更好地发挥其潜力,加速数据分析过程,为企业决策提供强有力的支持。

    Impala

    Cassandra服务负责元数据的存储,Catalog Server维护着所有表和分区的元数据信息,而Impala Daemon则包括了State Store、Query Executor和Coordinator三个子组件,它们协同工作以实现高效的数据查询。 1. **State ...

Global site tag (gtag.js) - Google Analytics