`

shell语句执行hive查询

阅读更多
执行hive查询实例
执行select查询
    
$HIVE_HOME/bin/hive -e 'select a.col from tab1 a'

加入配置变量的查询
    
$HIVE_HOME/bin/hive -e 'select a.col from tab1 a' -hiveconf  hive.exec.scratchdir=/home/my/hive_scratch  -hiveconf mapred.reduce.tasks=32

查询结果输出为文本
    
$HIVE_HOME/bin/hive -S -e 'select a.col from tab1 a' > a.txt

执行sql语句文件
    
$HIVE_HOME/bin/hive -f /home/my/hive-script.sql

不打印执行进度
    
hive -S -f /home/usr/my.sql
分享到:
评论

相关推荐

    使用shell脚本执行hive、sqoop命令的方法

    Hive是一个基于Hadoop的数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的SQL查询功能,使不熟悉MapReduce的用户也可以用SQL语句进行数据查询,从而达到减少开发成本的目的。 #### Sqoop命令...

    Java私塾:Hive Shell 基本操作——深入浅出学Hive

    Hive Shell 提供了一种命令行接口,用于执行 HiveQL 语句。以下是 Hive Shell 的常用命令行选项: - `-i`: 从指定的文件初始化 HiveQL 语句。 - `-e`: 直接在命令行中执行 HiveQL 语句。 - `-f`: 从指定的文件中...

    批量导出hive表结构

    通过shell脚本,批量把一个库下面的表结构全部导出,在开发环境执行过。

    14-Hive查询1

    Hive 的查询过程遵循 Hadoop MapReduce 作业执行模型,将用户的 SQL 语句转化为 MapReduce 作业在 Hadoop 集群上运行。 **Hive查询执行流程** 1. **用户提交查询**:用户通过 Hive 的命令行接口或应用程序提交查询...

    hive-shell批量命令执行脚本的实现方法

    本文将详细讲解如何使用Hive与Shell结合,实现批量执行Hive命令的脚本,这对于数据处理和ETL(提取、转换、加载)流程来说是极其有用的。 首先,我们需要设置Hadoop和Hive的环境变量。在上述脚本中,`HADOOP_HOME` ...

    hivesql语句练习

    1.Hive交互shell bin/hive 2.Hive JDBC服务(参考java jdbc连接mysql) 3.hive启动为一个服务器,来对外提供服务 bin/hiveserver2 nohup bin/hiveserver2 1>/var/log/hiveserver.log 2>/var/log/hiveserver....

    shell中循环调用hive sql 脚本的方法

    本文将详细介绍如何在Shell脚本中循环调用Hive SQL语句,以便实现批量处理数据或者执行一系列相关的查询操作。 首先,我们要理解Shell脚本的基本结构和Hive SQL的功能。Shell脚本是一种解释型的编程语言,主要用于...

    hive Windows 可执行文件

    Hive是Apache Hadoop生态系统中的一个数据仓库工具,它允许用户使用SQL(称为HQL)进行大规模数据集的查询和分析。在Windows环境下,Hive的安装和使用可能与Linux或Unix系统有所不同,但同样提供了方便的数据管理...

    hive官方文档整理

    8. 数据库选择:在Hive 0.10.0版本之后,增加了"--database"选项来指定在执行查询前应使用的数据库。 9. 初始化脚本和交互式Shell命令:Hive命令行还支持初始化SQL文件的执行,通过"-i"选项可以在进入交互模式之前...

    Hive用户手册中文版.pdf

    Hive和Hadoop的关系非常紧密,Hive在执行查询时会将HiveQL语句转换为MapReduce任务,然后由Hadoop的MapReduce框架进行处理。Hive元数据库存储了Hive内部的元数据信息,这些信息包括表结构、数据类型和表间关系等,是...

    大数据基础操作说明-HADOOP HIVE IMPALA

    Hive 提供了一个交互式 Shell,用于交互式地执行 HiveQL 语句。交互式 Shell 可以通过 Hive 的命令行接口或 Hive 的 Java API 实现。 Impala Impala 是一个高性能的分布式SQL查询引擎,用于快速查询和分析大规模...

    Hive用户指南 Hive user guide 中文版

    - Hive内部使用MapReduce来执行查询。 #### 八、使用Hive注意事项 - **字符集问题**:在处理文本数据时需要注意字符集的匹配。 - **压缩**:合理选择压缩算法可以显著减少存储空间和提高查询性能。 - **COUNT...

    捕获hive脚本异常: echo $?

    本文将深入探讨如何在执行Hive脚本时捕获并处理异常,以及如何利用shell命令"echo $"来检查脚本的退出状态,以便更好地管理和优化Hive作业。 首先,我们来看标题“捕获hive脚本异常:echo $?”。在Linux或Unix系统...

    apache-hive-2.1.1-bin.tar.gz下的bin文件夹,包含hive.cmd

    `hive.cmd`是Windows环境下执行Hive的命令脚本,它是一个批处理文件,用于启动Hive的交互式Shell。当用户在Windows系统上输入`hive`命令时,实际上就是在运行这个`hive.cmd`脚本。脚本内部会设置环境变量,如HADOOP_...

    Hive使用手册Hive使用手册

    连接Hive通常通过Hive Shell或使用其他支持Hive的客户端如Beeline、Hue等。要连接Hive,你需要知道Hive服务器的地址、端口以及认证方式(如果有的话)。 2. **Hive支持的数据类型** - **原子数据类型** 包括:INT...

    Hive编程指南+HIVE从入门到精通+Hive高级编程+Apache Oozie

    Hive的核心理念是将SQL语句转换为MapReduce任务进行执行,这使得非Java背景的分析师也能方便地处理大数据。Hive提供了多种组件,包括HiveQL(Hive的SQL方言)、元数据存储、查询解析器、优化器和执行器。学习Hive,...

    hive基础知识总结

    用户可以在查询语句中引用这些变量,Hive会在执行前将变量值替换进查询语句中。例如,在CLI中,可以通过`set`命令查看或修改变量值,例如`set env:HOME;`可以显示当前用户的主目录路径。 此外,`set -v`命令可以列...

    hive的学习资料

    Hive 查询会转化为 MapReduce 作业执行,包括 JOIN、GROUP BY、DISTINCT 等操作。 5. 使用 Hive 注意事项 涵盖字符集、压缩、COUNT(DISTINCT)、JOIN、DML 操作、HAVING、子查询、JOIN 中的 NULL 处理、分号字符等...

Global site tag (gtag.js) - Google Analytics