`

hive -f执行整体脚本时,报错下如何知道前面执行多少个了

    博客分类:
  • hive
 
阅读更多

 

 

 

工作中,常将hive脚本写在一个 hive sql内,然后后台执行,如下:



 

 

cdh集群下:

sudo -u  hdfs hive -f /cloud/qyjs-2016-03-08-part2.sql  &>  /cloud/qyjs-2016-03-08-part2.log

 

如果执行这个sql某块报错下,将 log拖拽到本地,然后搜

 

Time taken:

 

比如 Time taken: 113.939 seconds  这里面每一个Time taken都表示 sql文件里面的 一段逻辑执行完毕,

查到几个 就表示 sql文件中跑过了几个,这样就好定位是哪个位置代码块没跑到了。

 

 

 

 

或者直接去 (cdh集群)/tmp/hdfs/hive.log 里面查看历史日志, 在后台执行的hive sql会将所有执行的命令sql具体语句和执行步骤都会输出到 hive.log里, 这种方式查找到底在哪里报错的 更为直接。

 

 

 

 

 

  • 大小: 7.3 MB
分享到:
评论

相关推荐

    含两个文件hive-jdbc-3.1.2-standalone.jar和apache-hive-3.1.2-bin.tar.gz

    含两个文件hive-jdbc-3.1.2-standalone.jar和apache-hive-3.1.2-bin.tar.gz 含两个文件hive-jdbc-3.1.2-standalone.jar和apache-hive-3.1.2-bin.tar.gz 含两个文件hive-jdbc-3.1.2-standalone.jar和apache-hive-...

    hive-testbench-hive14.zip大数据TPCDS-99SQL自动测试脚本

    在“hive-testbench-hive14.zip”这个压缩包中,包含了针对Hive 1.4版本的测试脚本,这是一组精心设计的测试用例,用于评估Hive在处理TPCDS标准数据集时的性能。TPCDS包含99个标准SQL查询,这些查询涵盖了从简单到...

    apache-hive-2.1.1-bin.tar

    apache-hive-2.1.1-bin.tar apache-hive-2.1.1-bin.tar apache-hive-2.1.1-bin.tarapache-hive-2.1.1-bin.tar apache-hive-2.1.1-bin.tar apache-hive-2.1.1-bin.tarapache-hive-2.1.1-bin.tar apache-hive-2.1.1-...

    hive-exec-2.1.1.jar

    hive-exec-2.1.1 是 Apache Hive 的一部分,特别是与 Hive 的执行引擎相关的组件。Apache Hive 是一个构建在 Hadoop 之上的数据仓库基础设施,它允许用户以 SQL(结构化查询语言)的形式查询和管理大型数据集。Hive ...

    Hive-2.1.1-CDH-3.6.1 相关JDBC连接驱动 Jar 包集合

    02、hive-exec-2.1.1-cdh6.3.1.jar 03、hive-jdbc-2.1.1-cdh6.3.1.jar 04、hive-jdbc-2.1.1-cdh6.3.1-standalone.jar 05、hive-metastore-2.1.1-cdh6.3.1.jar 06、hive-service-2.1.1-cdh6.3.1.jar 07、libfb303-...

    apache-hive-3.1.2-bin.tar.gz

    这种压缩包通常包含Hive的可执行文件、库文件、配置文件以及必要的脚本,用于在Linux或Unix环境中快速部署和运行Hive服务。 描述中提到的“为解决hive安全问题,重新编译hive源码升级jetty到9.4.24.v20191120”是一...

    hive驱动包hive-jdbc-uber-2.6.5.0-292.jar(用户客户端连接使用)

    这个驱动允许用户通过编写SQL语句或者使用类似JDBC的API来连接和查询Hive服务器,执行数据分析任务。 **Dbeaver**是一个开源的通用数据库管理工具,支持多种数据库系统,包括Hive。在Dbeaver中,为了连接到Hive...

    hive-jdbc-uber-3.1.2+yanagishima-18.0

    Hive JDBC Uber 3.1.2是Hive的Java数据库连接器的一个优化版本,它通过将所有必需的依赖项打包到一个单一的jar文件中,极大地减少了在运行时因缺少依赖而产生的问题。这个版本的特性包括对Hive SQL的全面支持,以及...

    hive-jdbc-3.1.2-standalone

    hive-jdbc-3.1.2-standalone适用于linux

    hive-jdbc-jar-多版本.zip

    "hive-jdbc-jar-多版本.zip"是一个压缩包,包含了不同版本的Hive JDBC Uber Jars,覆盖了从1.5到1.8的多个Hive版本,适应不同的项目需求。 首先,我们要理解Uber JAR的概念。Uber JAR(也称为Shaded JAR)是一个...

    hive-jdbc-1.2.1-standalone.jar

    hive-jdbc-1.2.1-standalone.jar hive-jdbc驱动jar包,欢迎下载

    apache-hive-2.3.3-bin.tar.gz

    Apache Hive 是一个基于Hadoop的数据仓库工具,它允许用户通过SQL-like语言(称为HQL,Hive Query Language)对大规模数据集进行分析和查询。在Hadoop生态系统中,Hive扮演着数据仓库和数据分析的重要角色,尤其适用...

    hive-jdbc-2.1.0-standalone.jar

    hive-jdbc-2.1.0-standalone.jar

    hive-jdbc-1.2.1-standalone

    Hive JDBC是Apache Hive项目的一部分,它提供了一个Java数据库连接(JDBC)接口,使得Java应用程序可以方便地与Hive进行交互。Hive JDBC允许开发者使用标准的JDBC API来执行SQL查询,获取数据,或者将数据写入Hive表...

    DBeaver链接hive驱动包下载: hive-jdbc-uber-2.6.5.0-292.jar

    当需要在DBeaver中操作Hive数据库时,就需要安装相应的JDBC驱动。本文将详细讲解如何使用"Dbeaver链接Hive驱动包:hive-jdbc-uber-2.6.5.0-292.jar",并探讨其在实际工作中的应用。 一、Hive JDBC驱动简介 Hive ...

    hive-exec-*.jar包

    Missing Hive Execution Jar: /hive/hive1.2.1/lib/hive-exec-*.jar

    Apache Hive(apache-hive-3.1.3-bin.tar.gz)

    Apache Hive(apache-hive-3.1.3-bin.tar.gz、apache-hive-3.1.3-src.tar.gz)是一种分布式容错数据仓库系统,支持大规模分析,并使用 SQL 促进读取、写入和管理驻留在分布式存储中的 PB 级数据。Hive 构建在 Apache...

    hive-jdbc-2.1.0.jar

    hive-jdbc-2.1.0.jar

Global site tag (gtag.js) - Google Analytics