`
书音棋
  • 浏览: 145368 次
  • 性别: Icon_minigender_1
  • 来自: 哈尔滨
社区版块
存档分类
最新评论

hive导出查询结果到本地文件

    博客分类:
  • java
阅读更多

最近在使用hive时,需要将hive查询的数据导出到本地文件系统,HQL语法如下:

INSERT OVERWRITE [LOCAL] DIRECTORY directory1 select_statement1
  查询结果导出到本地文件后,试图使用excel加载时遇上了麻烦:不知道hive导出文件时使用的分隔符,
  使用文本编辑器打开也显示乱码。
  最后在官方文档上找了半天才发现,hive使用 ^A 符号作为域的分隔符,原文如下:
 Data written to the filesystem is serialized as text with columns separated by ^A

在python中可以使用line.split('\x01')来进行切分

如果确实需要将查询结果导出到本地文件,最好使用hive的命令:

 

  1. bin/hive -e "select * from test" >> res.csv  
  2.   
  3. 或者是:  
  4.   
  5. bin/hive -f sql.q >> res.csv  
  6.   
  7. 其中文件sql.q写入你想要执行的查询语句 
分享到:
评论

相关推荐

    hive数据加载导出查询

    ##### 加载本地文件到 Hive 表 可以通过 `LOAD DATA LOCAL INPATH` 命令将本地文件加载到 Hive 表中。需要注意的是,这里的 `LOCAL` 关键词表示数据是从客户端机器上的目录加载的,而非 HDFS 上的目录。 ```sql ...

    oracle,teradata,hive,gbase,db2数据库导出csv命令总结

    1. **导出到本地文件系统**:使用 `insert overwrite local directory` 命令将数据导出到本地目录,例如: ```sql hive> insert overwrite local directory '输出地址' select * from 表名; ``` 也可以自定义...

    DataX数据的迁移(MySQL、HDFS,Hive)

    1.将Mysql中的数据迁移到Hdfs文件系统中,然后通过Hive加载HDFS文件系统中的数据值 2.将Hive中的数据迁移到指定Mysql数据库中 注意点: 1.数据迁移的过程中,由于hive的Null值存储为"\N",Mysql存储为NULL值,二者...

    Hive数据文件以及CLI操作命令

    ` 这个命令会把本地文件系统(Local FileSystem)中的数据加载到Hive表中。在这个例子中,你需要将'/path/to/csvfile'替换为2013_12.csv的实际路径。 4. **查询数据**:`SELECT * FROM mytable WHERE col1='value';...

    Hive学习总结及应用.pdf

    Hive也提供了多种数据导出方式,包括导出到本地文件系统、导出到HDFS中、导出到Hive的另一个表中等。 七、HiveQL的常用操作 HiveQL是一种类似SQL的语言,它与大部分的SQL语法兼容,但是并不完全支持SQL标准。...

    Hive开发规范及要点

    `语句可以将数据导出到本地文件中。 五、UDF函数 1. 自定义UDF函数:使用`add jar /home/hive/jar/my_udf.jar;`语句可以添加自定义的UDF函数。 2. 创建临时函数:使用`create temporary function sys_date as ...

    HIVE数据库解析vc编写

    8. **数据导入导出**:VC程序可能需要与Hive之间进行数据交换,理解如何将本地数据加载到Hive,或者从Hive导出数据到本地文件系统,是另一个重要的方面。 通过深入理解以上知识点,VC程序员可以有效地编写代码来...

    hive实验报告.docx

    - 开发过程包括创建Java工程,添加Hive相关的依赖,编写UDF类,打包成jar文件,然后将jar文件上传到集群,并在Hive中注册这个函数。 6. **Hive调优策略**: - 虽然实验报告中没有详细列出遇到的问题和解决方案,...

    presto-web查询工具.zip

    5. **结果导出**:查询结果可以方便地导出为CSV或JSON格式,便于进一步的数据处理和分析。 在设置Yanagishima时,你需要完成以下步骤: 1. **环境准备**:确保你的环境中已经安装了Java和Presto或Hive。 2. **解压...

    hive 操作相关的测试数据集

    5. **数据导出**:Hive可以通过`INSERT OVERWRITE`语句将结果导出到HDFS或本地文件系统,也可以通过`EXPORT TABLE`和`IMPORT TABLE`进行数据的迁移。 6. **查询优化**:Hive支持多种查询优化策略,如谓词下推、Join...

    apache-hive-2.3.7-bin.tar.gz

    4. **结果导出**:将查询结果导出到本地文件或其他数据存储系统。 5. **元数据管理**:维护数据的元信息,如表结构、分区信息等,这通常由 Hive Metastore 处理。 Hive 不适合实时或低延迟查询,它的优势在于批处理...

    hive大数据书籍

    5. **数据加载与导出**:学习如何将数据导入Hive表,以及将Hive结果导出到其他系统,包括使用LOAD DATA、INSERT INTO和EXPORT/IMPORT命令。 6. **性能优化**:探讨Hive的性能调优策略,如分区、分桶、索引的使用,...

    apache-hive-2.0.0-bin.tar.gz.zip

    你可以创建表、加载数据、执行查询,并将结果导出到各种格式。 总之,"apache-hive-2.0.0-bin.tar.gz.zip"包含了运行和管理Hive所需的所有组件,让你能够在大数据环境中使用SQL-like语法进行数据分析。正确解压和...

    apache-hive-3.1.3-bin.tar.gz

    "apache-hive-3.1.3-bin.tar.gz" 是 Apache Hive 3.1.3 版本的二进制发行版,包含所有必要的文件和组件,让用户能够在本地或集群环境中安装和运行 Hive。 在这个压缩包中,`apache-hive-3.1.3-bin` 文件夹包含了...

    Hive用户指南(Hive_user_guide)_中文版pdf

    1. **Hive基本概念**:Hive是一种数据仓库工具,它可以将结构化的数据文件映射为一张数据库表,并提供简单的SQL查询功能,适合于数据汇总、分析。Hive构建在Hadoop之上,利用HDFS进行数据存储,MapReduce进行数据...

    13-Hive基本操作1

    `LOAD DATA LOCAL INPATH`可以从本地文件系统加载数据,`LOAD DATA INPATH`则从HDFS加载。 8. **插入数据**: 使用`INSERT INTO`或`INSERT OVERWRITE`来向表中添加数据。前者追加数据,后者覆盖原有数据。 9. **...

    hive-3.1.2&mysql-5.7.2安装包.rar

    在 Hive 中,如果要将数据导出到 MySQL 或从 MySQL 导入数据,这个驱动是必需的。版本 5.1.37 是一个稳定版本,提供了与 MySQL 5.7.x 版本的兼容性。 3. **mysql-5.7.28-1.el7.x86_64.rpm-bundle.tar**:这是 MySQL...

    hadoop+hive环境安装包.rar

    3. **数据加载与导出**:Hive支持从本地文件系统或HDFS加载数据,也支持将数据导出到其他系统。例如,可以使用`LOAD DATA`命令将数据导入HDFS的某个路径,或使用`INSERT OVERWRITE`将查询结果写回HDFS。 4. **优化...

    Hive教程.pdf

    - **定义**: Hive是一种基于Hadoop的数据仓库工具,它可以将结构化的数据文件映射成一张数据库表,并提供类SQL查询功能,使得Hadoop能够更好地处理大数据。 - **特点**: - **易于使用**: 用户可以使用类似于SQL的...

Global site tag (gtag.js) - Google Analytics