`
sundful
  • 浏览: 1250209 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

hive导出查询文件到本地文件的2种办法

    博客分类:
  • Hive
 
阅读更多

通过HQL语句

可以将hive  中表的数据生成到指定的目录。

有时候 我们可以利用hive来生成统计的中间文件(比源文件小的多的)

方法有如下2种:

 

1.INSERT OVERWRITE LOCAL DIRECTORY

将结果输出到指定的目录:

生成的文件数 和redurcer的数目的一样的

在hive下面执行

INSERT OVERWRITE LOCAL DIRECTORY '/hive_dat/package_name'
select package_name,count(1) from app_list group by package_name;

 

2.直接查询生成结果文件:

在linux下面执行:(也支持后台运行 如果执行时间比较长的话)

hive -S -e"select package_name,count(1) from app_list group by package_name;"> grp_app_id.dat
这个只生成一个文件 并且输出的文件里面的列 是以空格隔开的。

分享到:
评论

相关推荐

    hive数据加载导出查询

    可以通过 `LOAD DATA LOCAL INPATH` 命令将本地文件加载到 Hive 表中。需要注意的是,这里的 `LOCAL` 关键词表示数据是从客户端机器上的目录加载的,而非 HDFS 上的目录。 ```sql LOAD DATA LOCAL INPATH '/home/...

    oracle,teradata,hive,gbase,db2数据库导出csv命令总结

    1. **导出到本地文件系统**:使用 `insert overwrite local directory` 命令将数据导出到本地目录,例如: ```sql hive> insert overwrite local directory '输出地址' select * from 表名; ``` 也可以自定义...

    DataX数据的迁移(MySQL、HDFS,Hive)

    1.将Mysql中的数据迁移到Hdfs文件系统中,然后通过Hive加载HDFS文件系统中的数据值 2.将Hive中的数据迁移到指定Mysql数据库中 注意点: 1.数据迁移的过程中,由于hive的Null值存储为"\N",Mysql存储为NULL值,二者...

    Hive数据文件以及CLI操作命令

    ` 这个命令会把本地文件系统(Local FileSystem)中的数据加载到Hive表中。在这个例子中,你需要将'/path/to/csvfile'替换为2013_12.csv的实际路径。 4. **查询数据**:`SELECT * FROM mytable WHERE col1='value';...

    Hive学习总结及应用.pdf

    Hive也提供了多种数据导出方式,包括导出到本地文件系统、导出到HDFS中、导出到Hive的另一个表中等。 七、HiveQL的常用操作 HiveQL是一种类似SQL的语言,它与大部分的SQL语法兼容,但是并不完全支持SQL标准。...

    Hive开发规范及要点

    `语句可以将数据导出到本地文件中。 五、UDF函数 1. 自定义UDF函数:使用`add jar /home/hive/jar/my_udf.jar;`语句可以添加自定义的UDF函数。 2. 创建临时函数:使用`create temporary function sys_date as ...

    hive实验报告.docx

    - 开发过程包括创建Java工程,添加Hive相关的依赖,编写UDF类,打包成jar文件,然后将jar文件上传到集群,并在Hive中注册这个函数。 6. **Hive调优策略**: - 虽然实验报告中没有详细列出遇到的问题和解决方案,...

    HIVE数据库解析vc编写

    8. **数据导入导出**:VC程序可能需要与Hive之间进行数据交换,理解如何将本地数据加载到Hive,或者从Hive导出数据到本地文件系统,是另一个重要的方面。 通过深入理解以上知识点,VC程序员可以有效地编写代码来...

    apache-hive-3.1.3-bin.tar.gz

    Hive 提供了一种结构化的数据模型和SQL-like 查询语言(HQL,Hive SQL),使得非程序员也能方便地对大数据进行分析。"apache-hive-3.1.3-bin.tar.gz" 是 Apache Hive 3.1.3 版本的二进制发行版,包含所有必要的文件...

    hive 操作相关的测试数据集

    5. **数据导出**:Hive可以通过`INSERT OVERWRITE`语句将结果导出到HDFS或本地文件系统,也可以通过`EXPORT TABLE`和`IMPORT TABLE`进行数据的迁移。 6. **查询优化**:Hive支持多种查询优化策略,如谓词下推、Join...

    apache-hive-2.0.0-bin.tar.gz.zip

    你可以创建表、加载数据、执行查询,并将结果导出到各种格式。 总之,"apache-hive-2.0.0-bin.tar.gz.zip"包含了运行和管理Hive所需的所有组件,让你能够在大数据环境中使用SQL-like语法进行数据分析。正确解压和...

    apache-hive-2.3.7-bin.tar.gz

    4. **结果导出**:将查询结果导出到本地文件或其他数据存储系统。 5. **元数据管理**:维护数据的元信息,如表结构、分区信息等,这通常由 Hive Metastore 处理。 Hive 不适合实时或低延迟查询,它的优势在于批处理...

    hive-3.1.2&mysql-5.7.2安装包.rar

    在 Hive 中,如果要将数据导出到 MySQL 或从 MySQL 导入数据,这个驱动是必需的。版本 5.1.37 是一个稳定版本,提供了与 MySQL 5.7.x 版本的兼容性。 3. **mysql-5.7.28-1.el7.x86_64.rpm-bundle.tar**:这是 MySQL...

    Hive教程.pdf

    - **定义**: Hive是一种基于Hadoop的数据仓库工具,它可以将结构化的数据文件映射成一张数据库表,并提供类SQL查询功能,使得Hadoop能够更好地处理大数据。 - **特点**: - **易于使用**: 用户可以使用类似于SQL的...

    13-Hive基本操作1

    `LOAD DATA LOCAL INPATH`可以从本地文件系统加载数据,`LOAD DATA INPATH`则从HDFS加载。 8. **插入数据**: 使用`INSERT INTO`或`INSERT OVERWRITE`来向表中添加数据。前者追加数据,后者覆盖原有数据。 9. **...

    hive大数据书籍

    2. **Hive安装与配置**:学习如何在本地或集群环境中安装和配置Hive,包括依赖库的安装、环境变量的设置和Hive-site.xml配置文件的详解。 3. **Hive数据模型**:理解Hive的数据模型,包括表、分区、桶等概念,以及...

    Hive用户指南(Hive_user_guide)_中文版pdf

    1. **Hive基本概念**:Hive是一种数据仓库工具,它可以将结构化的数据文件映射为一张数据库表,并提供简单的SQL查询功能,适合于数据汇总、分析。Hive构建在Hadoop之上,利用HDFS进行数据存储,MapReduce进行数据...

    hadoop+hive环境安装包.rar

    3. **数据加载与导出**:Hive支持从本地文件系统或HDFS加载数据,也支持将数据导出到其他系统。例如,可以使用`LOAD DATA`命令将数据导入HDFS的某个路径,或使用`INSERT OVERWRITE`将查询结果写回HDFS。 4. **优化...

Global site tag (gtag.js) - Google Analytics