`

hive使用load加载数据1.0

阅读更多
安装hive
直接操作hive
create table if not exists L_EMPLOYEE (eid int,name String,salary String,destination String)
COMMENT 'Employee details' 
ROW FORMAT delimited
fields terminated by '\t'
lines terminated by '\n'
stored as textfile;


加载数据到数据表中,
load data local inpath '/data/app/lijianzhen/hive/l_employee.txt' overwrite into table L_EMPLOYEE;
在这里load时候出现FAILED: SemanticException Line 1:23 Invalid path '"/data/app/lijianzhen/hive/l_employee.txt"': No files matching path file:/data/app/lijianzhen/hive/l_employee.txt
这时你用下边的命令看看你是不是可以读的数据
less /data/app/lijianzhen/hive/l_employee.txt

文件中的内容为,这里注意创建表的时候fields terminated by '\t'所以在txt中列注意要用'\t'隔开
1202    Manisha 45000   Proof reader
1203    Masthanvali  40000   Technical writer
1204    Kiran 40000   Hr Admin
1205    Kranthi 30000  Op Admin

导入后select * from l_employee就会看家你要看到的数据

hive修改表
DROP TABLE IF EXISTS l_employee;
alter table l_employee rename l_emlpoyee1;
ALTER TABLE employee CHANGE name ename String;
ALTER TABLE employee CHANGE salary salary Double;


添加表的分区
create table employee (id int, name String, dept String, yoj Stirng)
COMMENT 'Employee details' 
ROW FORMAT delimited
fields terminated by ','
lines terminated by '\n'
partition by 'yoj'
stored as textfile;

加载的数据
id, name, dept, yoj
1, gopal, TP, 2012
2, kiran, HR, 2012
3, kaleel,SC, 2013
4, Prasanth, SC, 2013

这里我们将上边的数据放入文件/tmp/employee/file1.txt
load数据,如果我们没有加
partition by 'yoj'
会出现:ValidationFailureSemanticException table is not partitioned but partition spec exists:
这是由于我们在创建表的时候没有创建分区。由于在新建表的时候,所以只有在存在分区列的表上执行增加分区的操作,才会成功。

装载数据总结
上边我们已经从本地装载了数据,我们可以试试其他的相关的命令试试
load data inpath '/app/hive/aaa' into table employee;

这条命令将HDFS的/app/hive/aaa文件下的所有文件追加到表employee中,如果需要覆盖test已有的记录则需要加上overwrite关键字。
load data inpath '/app/hive/aaa' overwrite into table employee;

如果table是一个分区表,则在hql中必须指定分区。
load data inpath '/app/hive/aaa' overwrite into table employee partition(part="3");

如果加上location,hive会将本地文件复制一份上传到指定目录,如果不加local关键字,hive只是将hdfs上的数据移动到指定的目录。
hive加载数据时发现不会对数据格式进行任何的校验,需要用户自己保证数据格式与定义的格式一致。
















分享到:
评论

相关推荐

    大数据与云计算培训学习资料 Hadoop集群 细细品味Hadoop_第14期_Hive应用开发_V1.0 共29页.pdf

    大数据与云计算培训学习资料 Hadoop集群 细细品味Hadoop_第14期_Hive应用开发_V1.0 共29页.pdf

    大数据与云计算培训学习资料 Hadoop集群 细细品味Hadoop_第14期副刊_Hive性能优化_V1.0 共19页.pdf

    大数据与云计算培训学习资料 Hadoop集群 细细品味Hadoop_第14期副刊_Hive性能优化_V1.0 共19页.pdf

    hive2_auth-1.0.jar

    放到hive lib路径下即可。用户名密码在配置文件hive-site.xml中配置,具体的配置方式,请参考本站博文。 <name>hive.jdbc_passwd.auth.root</name><!--用户名为最后一个:用户--> <value>admin</value><!--密码-...

    java解决hive快速导数据到Hbase代码

    本文将详细讨论如何使用Java编程语言实现从Hive到HBase的快速数据导入方案。 首先,Hive是一个基于Hadoop的数据仓库工具,它可以将结构化的数据文件映射为一张数据库表,并提供SQL查询功能,适合大规模数据的离线...

    hive数据加载导出查询

    hive数据加载的几种方式、数据的导出、数据简单查询

    利用Hive进行复杂用户行为大数据分析及优化案例

    利用Hive进行复杂用户行为大数据分析及优化案例(全套视频+课件+代码+讲义+工具软件),具体内容包括: 01_自动批量加载数据到hive ...16_Hive中使用正则加载数据 17_Hive中使用Python脚本进行预处理

    Hive.sql,hive的元数据

    Hive.sql

    大数据 hive 实战数据

    在实际操作中,我们可能会使用Hive进行ETL(Extract, Transform, Load)过程,从原始数据中抽取、转换并加载到Hive表中。然后通过HQL进行数据探索、统计分析、报表生成等任务。此外,Hive还支持与其他大数据组件如...

    基于 Hive的数据分析案例 -MM聊天软件数据分析

    然后,我们使用 load 语句将数据加载到 tb_msg_source 表中。 知识点四:ETL 数据清洗 在数据加载完成后,我们需要对数据进行清洗和处理,以确保数据的完整性和准确性。在本案例中,我们使用 select 语句查询出...

    Hive使用手册Hive使用手册

    目录 1 Hive 概念与连接使用: 2 2 Hive支持的数据类型: 2 2.1原子数据类型: 2 2.2复杂数据类型: 2 2.3 Hive类型转换: 3 ...8 加载数据 5 9表连接 6 10 子查询 6 11 UNION ALL 6 12 Hive使用注意点: 6 13 Hive优化 9

    《Hive数据仓库案例教程》教学课件 第5章 Hive数据操作.pdf

    《Hive数据仓库案例教程》教学课件 第5章 Hive数据操作.pdf《Hive数据仓库案例教程》教学课件 第5章 Hive数据操作.pdf《Hive数据仓库案例教程》教学课件 第5章 Hive数据操作.pdf《Hive数据仓库案例教程》教学课件 第...

    Hive 用户指南 v1.0

    它提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言,称为 QL,它允许熟悉 SQL 的用户查询数据。...

    hive相关练习的数据data.rar

    接下来,我们可以加载数据到Hive表中,这通常通过`LOAD DATA`命令完成。例如: ```sql LOAD DATA LOCAL INPATH '/path/to/local/data/04_data/video_info.txt' INTO TABLE video_info; ``` 对于用户信息表`user_...

    kafka+flume 实时采集oracle数据到hive中.docx

    最后,使用Hive从HDFS中读取数据,并将其存储到Hive表中。 使用Kafka和Flume可以实现实时采集Oracle数据到Hive中的需求。Kafka能够实时地从Oracle数据库中提取日志信息,而Flume能够实时地将数据写入到HDFS中。最后...

    基于SpringBoot+hiveJDBC+echarts的数据大屏可视化和大数据分析源码+项目使用说明.zip

    基于SpringBoot+hiveJDBC+echarts的数据大屏可视化和大数据分析源码+项目使用说明.zip 【项目介绍】 使用Hadoop技术可快速生成分析结果,对6万条美妆销售数据分析,将数据转化为有价值的数据。 在Centos7中搭建 ...

    hive 操作相关的测试数据集

    4. **数据导入**:可以使用`LOAD DATA LOCAL INPATH`命令从本地文件系统加载数据,或者`LOAD DATA INPATH`从HDFS加载。数据可以是CSV、JSON、Avro等多种格式,需要根据实际格式进行预处理。 5. **数据导出**:Hive...

    spring-boot集成mybtis+druid实现hive/mysql多数据源切换

    本文将详细讨论如何使用Spring Boot、MyBatis和Druid来实现MySQL与Hive之间的多数据源切换,以满足不同业务场景的需求。 首先,Spring Boot是Spring框架的一种轻量级实现,它简化了配置并提供了快速开发新应用的...

    电影票房数据分析-hive代码

    在该资源中,我们使用HiveQL来创建数据库、创建表、加载数据、查询数据等。 知识点2:Hive数据类型 Hive支持多种数据类型,包括String、Integer、Float、Double、Boolean等。在该资源中,我们使用String类型来存储...

    DataX数据的迁移(MySQL、HDFS,Hive)

    1.将Mysql中的数据迁移到Hdfs文件系统中,然后通过Hive加载HDFS文件系统中的数据值 2.将Hive中的数据迁移到指定Mysql数据库中 注意点: 1.数据迁移的过程中,由于hive的Null值存储为"\N",Mysql存储为NULL值,二者...

    Hive复杂数据类型使用介绍

    在数据入库时,可以使用LOAD DATA语句将数据加载到表中,如下所示: ```sql LOAD DATA LOCAL INPATH '/home/hadoop/person.txt' OVERWRITE INTO TABLE person; ``` 在查询时,可以使用SELECT语句来查询Array类型的...

Global site tag (gtag.js) - Google Analytics