`
liyonghui160com
  • 浏览: 774635 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

本地文件加载到hive表

    博客分类:
  • hive
阅读更多

 

本地文件加载到hive表

1.在hxl数据库下创建表

hive> create table tb_emp_info

    > (id int,

    > name string,

    > age int,

    > tel string)

    > ROW FORMAT DELIMITED

    > FIELDS TERMINATED BY '|'

    > STORED AS TEXTFILE;

OK

Time taken: 0.296 seconds

hive> show tables in hxl;

OK

tb_emp_info

Time taken: 0.073 seconds

 

2.准备加载数据

[hadoop1@node1 hive]$ more tb_emp_info.txt

1|name1|25|13188888888888

2|name2|30|13888888888888

3|name3|3|147896221

4|name4|56|899314121

5|name5|12|899314121

6|name6|9|899314121

7|name7|32|899314121

8|name8|42|158964

9|name9|86|899314121

10|name10|45|789541

 

 

3.本地系统加载文件数据

进入到tb_emp_info.txt文件所在的目录,然后执行hive进入到hive模式

[hadoop1@node1 hive]$ hive

hive> use hxl;

OK

Time taken: 0.103 seconds

hive> load data local inpath 'tb_emp_info.txt' into table tb_emp_info;

Copying data from file:/home/hadoop1/file/hive/tb_emp_info.txt

Copying file: file:/home/hadoop1/file/hive/tb_emp_info.txt

Loading data to table hxl.tb_emp_info

OK

Time taken: 0.694 seconds

 

 

若是分区表的话,需要指点导入的分区,如:

 

 

hive> load data local inpath 'login.txt' into table tb_sso_ver_login_day partition(statedate=20141201);

 

 

4.查看加载进去的数据

hive> select * from tb_emp_info;

OK

1       name1   25      13188888888888

2       name2   30      13888888888888

3       name3   3       147896221

4       name4   56      899314121

5       name5   12      899314121

6       name6   9       899314121

7       name7   32      899314121

8       name8   42      158964

9       name9   86      899314121

10      name10  45      789541

 

5.可以进入到hdfs目录下查看该表对应的文件

hive> dfs -ls /user/hive/warehouse/hxl.db/tb_emp_info;

Found 1 items

-rw-r--r--   3 hadoop1 supergroup        214 2014-10-28 17:31 /user/hive/warehouse/hxl.db/tb_emp_info/tb_emp_info.txt

 

 

HDFS文件导入到Hive表

 

1.查看hdfs系统上的文件

$hadoop fs -cat /user/hadoop1/myfile/tb_class.txt

输出部分

0|班级0|2014-10-29 14:10:17|2014-10-29 14:10:17

1|班级1|2014-10-29 14:10:17|2014-10-29 14:10:17

2|班级2|2014-10-29 14:10:17|2014-10-29 14:10:17

3|班级3|2014-10-29 14:10:17|2014-10-29 14:10:17

4|班级4|2014-10-29 14:10:17|2014-10-29 14:10:17

5|班级5|2014-10-29 14:10:17|2014-10-29 14:10:17

6|班级6|2014-10-29 14:10:17|2014-10-29 14:10:17

7|班级7|2014-10-29 14:10:17|2014-10-29 14:10:17

8|班级8|2014-10-29 14:10:17|2014-10-29 14:10:17

 

2.创建表

create table tb_class_info

(id int,

class_name string,

createtime timestamp ,

modifytime timestamp)

ROW FORMAT DELIMITED

FIELDS TERMINATED BY '|'

STORED AS TEXTFILE;

 

3.导入表

load data inpath '/user/hadoop1/myfile/tb_class.txt' into table tb_class_info; 

 

 

分享到:
评论

相关推荐

    hive数据加载导出查询

    可以通过 `LOAD DATA LOCAL INPATH` 命令将本地文件加载到 Hive 表中。需要注意的是,这里的 `LOCAL` 关键词表示数据是从客户端机器上的目录加载的,而非 HDFS 上的目录。 ```sql LOAD DATA LOCAL INPATH '/home/...

    hive数据怎么导入.docx

    使用`LOAD DATA LOCAL INPATH`命令将本地文件加载到Hive表中: ```sql LOAD DATA LOCAL INPATH '/home/work/test.txt' INTO TABLE MYTEST2; ``` 3. 查看数据: 同样,导入数据后,可以通过Hive查询数据: ```...

    大数据java操作hive

    3. **加载数据**:使用 `LOAD DATA LOCAL INPATH` 语句将本地文件加载到 Hive 表中。例如: ```sql LOAD DATA LOCAL INPATH '/usr/local/apps/test1.txt' INTO TABLE t4; ``` 这里需要注意的是,`test1.txt` ...

    hive常用命令+日常

    可以使用`LOAD DATA`命令将本地文件加载到Hive表中,并指定相应的分区。 **示例命令**: ```sql LOAD DATA LOCAL INPATH '/kkb/install/score.csv' INTO TABLE score2 PARTITION(year='2018', month='06', day='01'...

    hive基础查询文档上传

    - **加载数据到表中**:使用`LOAD DATA LOCAL INPATH`命令将本地文件加载到Hive表中。 ```sql LOAD DATA LOCAL INPATH '/opt/module/data/student_info.txt' INTO TABLE student_info; LOAD DATA LOCAL INPATH '/...

    mongo-hive:将您的 MongoDB 集合加载到 Hive 中。 支持复杂的JSON结构

    Mongo - Hive 连接器 将 MongoDB 集合加载到 Hive 的超级简单方法。 该代码通过对每个 MongoDB 记录... 使用步骤 3 中生成的 HDFS 文件加载 Hive 表。 先决条件 您有一个 Hadoop 集群。 您可以通过 SSH 连接到主节点

    福建师范大学精品大数据导论课程系列 (5.9.1)--4.4 一种基于Hadoop的数据仓库之三.pdf

    例如,`LOAD DATA LOCAL INPATH './examples/files/kv1.txt' OVERWRITE INTO TABLE pokes`命令可以将本地文件加载到Hive表中,而`SELECT`语句则用于查询数据。 课程还涉及到了其他大数据处理技术,如Apache Spark,...

    python处理数据,存进hive表的方法

    这可以通过Hive命令行接口完成,例如使用`LOAD DATA LOCAL INPATH`命令将本地txt文件的数据导入到Hive表中。在此过程中,需要确保数据路径正确无误,并且数据文件格式与Hive表结构一致。 4. 执行和验证:数据加载...

    hive环境搭建和建表加载数据

    这里指定了本地文件系统的文件路径,并将该文件加载到Hive表中。加载数据后,可以通过Hive SQL查询数据。 Hive SQL查询中使用了`LATERAL VIEW`关键字,这是Hive中处理复杂数据类型的强大工具。`LATERAL VIEW`与`...

    hive外部表创建

    外部表是指数据在HDFS上已经有了固定的存放位置,只需要通过Hive定义表结构,即可将这些数据格式化到相应的表结构中。与内部表不同的是,删除外部表时只删除表的元数据信息,而不会删除HDFS上的实际数据。 下面是一...

    13-Hive基本操作1

    Hive提供了`LOAD DATA`命令来加载数据到表中。`LOAD DATA LOCAL INPATH`可以从本地文件系统加载数据,`LOAD DATA INPATH`则从HDFS加载。 8. **插入数据**: 使用`INSERT INTO`或`INSERT OVERWRITE`来向表中添加...

    Hive几种数据导入方式

    这种方式涉及到将本地文件系统中的数据导入到 Hive 表中。需要注意的是,在 Hadoop 平台上迁移数据到 Hive 目录时,默认分隔符为逗号(`,`),为了避免数据解析错误,建议在创建表时指定自定义的分隔符,例如 Tab 键...

    Hive数据文件以及CLI操作命令

    ` 这个命令会把本地文件系统(Local FileSystem)中的数据加载到Hive表中。在这个例子中,你需要将'/path/to/csvfile'替换为2013_12.csv的实际路径。 4. **查询数据**:`SELECT * FROM mytable WHERE col1='value';...

    Hive基本命令整理

    Hive 提供了多种方式来加载本地文件数据,例如,加载一个本地文件数据到 records 表中: ``` hive> LOAD DATA LOCAL INPATH '/home/hadoop/input/ncdc/micro-tab/sample.txt' OVERWRITE INTO TABLE records; ``` ...

    DataX数据的迁移(MySQL、HDFS,Hive)

    1.将Mysql中的数据迁移到Hdfs文件系统中,然后通过Hive加载HDFS文件系统中的数据值 2.将Hive中的数据迁移到指定Mysql数据库中 注意点: 1.数据迁移的过程中,由于hive的Null值存储为"\N",Mysql存储为NULL值,二者...

    电影票房数据分析-hive代码

    Hive提供了多种方式来加载数据,包括从本地文件加载、从HDFS加载等。在该资源中,我们使用LOAD DATA LOCAL INPATH命令来加载本地文件中的数据到Hive表中。 知识点5:Hive数据查询 Hive提供了多种查询方式,包括...

    Hive小表的测试数据

    1. **数据加载**:Hive小表的数据通常通过`LOAD DATA`命令从本地文件系统、HDFS或者其他数据源导入。例如,提供的压缩包文件"10万条小表数据(id为9万+随机数字)"可能是CSV或者TSV格式,可以使用`LOAD DATA LOCAL ...

    Hive开发规范及要点

    `语句可以从文件加载数据到表中。 2. 从查询语句给表插入数据:使用`insert overwrite table table_name partition(dt) select * from table_name where dt='2014-01-22' limit 100;`语句可以从查询语句给表插入数据...

    Hive大表的测试数据

    4. **加载数据**:Hive可以通过LOAD DATA命令将数据从本地文件系统或HDFS加载到表中。例如,如果100万条大表数据的文件名为“100万条大表数据(id除以10取整)”,可以这样加载: ```sql LOAD DATA LOCAL INPATH '...

Global site tag (gtag.js) - Google Analytics