`
ganliang13
  • 浏览: 252800 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

hive表创建,删除,导入数据,删除数据

阅读更多
--hive 数据表创建
use company;
DROP TABLE ETL_ACTIONS_TMP;
CREATE TABLE IF NOT EXISTS company.ETL_ACTIONS_TMP
(
time STRING,
ip STRING,
action STRING,
customer_id STRING
)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
STORED AS TEXTFILE
LOCATION '/user/work/tables2/ETL_ACTIONS_TMP';

--带分区
CREATE TABLE IF NOT EXISTS company.FACT_EC_PRODUCT
(
STATE_DATE      INT,
EXIT_NUMBER     INT
)
PARTITIONED BY (datestr STRING,account STRING)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
STORED AS TEXTFILE
LOCATION '/user/work/tables2/FACT_EC_PRODUCT';

--数据插入hive表

INSERT OVERWRITE TABLE bae_ods.ETL_ACTIONS_TMP
select time,ip,action,customer_id from a
END_HIVE


--数据导出

INSERT OVERWRITE LOCAL DIRECTORY '/home/work/20120321/dim_ec_browser'
select
concat(BROWSER_ID,'\t',BROWSER)
from dim_ec_browser;

cat /home/work/20120321/dim_ec_browser/* >/home/work/exp_data/dim_ec_browser.txt;


--创建外部表

CREATE EXTERNAL TABLE IF NOT EXISTS ETL_ACTIONS
(
time STRING,
region_id STRING,
action STRING,
pay STRING
)
PARTITIONED BY (datestr STRING)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
STORED AS TEXTFILE
LOCATION '/user/gan/tables2/ETL_ACTIONS';
分享到:
评论

相关推荐

    Hive几种数据导入方式

    这种方式结合了表创建和数据插入两个步骤,提高了效率。 ### 总结 通过以上四种方式,我们可以根据不同场景灵活选择最合适的方法来完成数据导入任务。需要注意的是,在进行数据导入时,确保数据格式与表结构相匹配...

    13-Hive基本操作1

    实验内容不仅涵盖了上述的基本操作,还包括了对这些操作的实际应用,如创建和删除数据库,创建、修改和删除表,导入导出数据,以及管理表的分区和桶。通过这些实验,可以深入理解Hive的工作机制和使用方式,以及如何...

    hive实验报告.docx

    - 实验中提到的新建emp.txt文件,然后将其上传到HDFS并装载到Hive表中,体现了Hive对非结构化数据的支持。 5. **Hive UDF开发**: - UDF允许用户自定义函数,扩展Hive的功能。 - 开发过程包括创建Java工程,添加...

    实验3 基于Hive的开源软件社区数据分析1

    本次实验旨在让学生深入了解和掌握Hive架构及其查询语言HiveQL,以及Sqoop2工具的使用,从而实现从不同数据源导入数据到Hadoop生态中的Hive进行大数据分析。通过实践,学生将能够: 1. 理解Hive的架构原理,包括其...

    2、sqoop导入(RMDB-mysql、sybase到HDFS-hive)

    Sqoop 可以直接创建 Hive 表并导入数据: ```bash # 创建 Hive 表 sqoop create-hive-table --table my_hive_table --fields-terminated-by ',' --lines-terminated-by '\n' --connect jdbc:mysql://<hostname>:...

    HIVE创建库创建表.docx

    内部表是Hive完全管理的,当删除内部表时,相关的数据也会被一并删除。这在创建`noLocation_hyy_db`的内部表`hero_archer`时可以观察到,表结构中未指定数据文件位置,数据将按Hive默认分隔符`\t`进行解析。外部表则...

    Hive练习数据包.zip

    数据通常存储在HDFS上,通过`LOAD DATA`或`INSERT OVERWRITE`语句将数据导入到Hive表中。 4. **分区**:为了提高查询效率,Hive允许为表创建分区。分区是逻辑上的划分,将大表划分为更小、更易管理的部分。例如,...

    kettle批量插入hive2,解决表输出速度慢问题

    根据描述,“kettle在表输出到星环inceptor数据库时,由于选择了DB连接类型为Hadoop Hive2,并且在Kettle的big-data-plugin插件的源码中默认关闭了批量提交的功能”,这导致了在创建DB连接时,...

    datax实战-mysql同步数据到hive

    { job: { setting: { speed: { channel: 1 }, errorLimit: { record: 0, percentage: 0.02 } }, content: [ { reader: {

    hive入门级详解

    外部表的数据可以通过 Load 语句导入 HDFS 上的数据,但删除外部表时,HDFS 上的文件并不会被删除。 Hive 的存储原理 Hive 的存储原理是基于 HDFS 的,Hive 的数据存储在 HDFS 上。Hive 会将查询转换为 MapReduce ...

    Hive-数据仓库实战

    实验的目的在于让学习者掌握 Hive 的基本操作,包括创建表、导入数据以及执行查询。通过在 Hue 上运行 Hive 查询语言(HQL),可以熟悉 Hive 的交互式操作。 首先,我们来看看如何在 Hive 中创建表。创建表有两种...

    Hive案例数据集.rar

    1. 数据加载:使用LOAD DATA命令将本地文件系统或HDFS上的数据导入到Hive表中。 2. 表操作:创建表(CREATE TABLE),删除表(DROP TABLE),修改表结构(ALTER TABLE)。 3. 查询操作:使用SELECT语句进行数据查询...

    kettle8.1Hive连接包

    3. **HQL 支持**:Kettle 允许用户直接在 ETL 转换中编写 HQL 查询,以执行对 Hive 表的操作,如选择、插入、更新和删除数据。 4. **元数据管理**:Kettle 可以通过 Hive 连接获取表的元数据信息,如字段名、数据...

    hive数据分区时分区字段不可为中文。.doc

    - **简化数据管理**:对于大量数据的管理变得更加简单,如删除旧数据或导入新数据等操作仅涉及特定分区。 #### 二、Hive 分区字段的要求 1. **字段限制**: - **分区字段不能为中文**:这是由于 Hive 在处理分区...

    Hive用户指南 Hive user guide 中文版

    **2.5 导入数据** - `LOAD DATA INPATH 'path' [OVERWRITE] INTO TABLE table_name [PARTITION (partition_spec)]`用于将HDFS中的数据加载到Hive表中。 **2.6 插入数据** - **将数据插入到Hive表**:可以使用`...

    hive数据模型操作.pdf

    总结,Hive 数据模型操作涉及数据库的创建、显示、描述、切换、修改和删除,以及内部表的创建和数据加载。理解并熟练掌握这些操作,对于在 Hive 中进行大数据处理至关重要。此外,还需注意 Hive 的数据分隔符设置、...

    Hive学习笔记整理.pdf

    Hive的基本操作包括创建表、插入数据、查询数据、更新数据、删除数据等。Hive的基本操作可以使用Hive的SQL语句来完成。 2.1 create table 创建表是Hive的基本操作之一。Hive的创建表语句包括CREATE TABLE语句和...

    Hive实战项目数据文件和Zeppelin源文件

    1. **数据加载**:将数据文件导入HDFS(Hadoop分布式文件系统),然后使用Hive的CREATE TABLE AS SELECT语句或LOAD DATA命令将数据加载到Hive表中。 2. **数据探索**:在Zeppelin中创建新的笔记本来运行HQL查询,...

    用jest客户端将数据从hive导入elasticsearch

    这里,"your_index"和"your_type"分别代表Elasticsearch的索引和类型,"field1"和"field2"是Hive表中的字段名。注意,每个文档都需要一个唯一的ID,这里使用行号作为ID。 在实际应用中,可能需要处理更复杂的情况...

    hive分区表分通表建表语句详解和例子

    ### Hive 分区表与分桶表详解 #### 一、Hive 分区表概念与应用场景 ...通过对以上Hive分区表的概念、创建方法及管理操作的了解,我们可以更加高效地管理和查询大型数据集,从而提高数据分析的效率和准确性。

Global site tag (gtag.js) - Google Analytics