`
serisboy
  • 浏览: 172163 次
  • 性别: Icon_minigender_1
  • 来自: 广州
社区版块
存档分类
最新评论

捕获hive脚本异常: echo $?

 
阅读更多
捕获hive脚本异常: echo $?

写在每条hive命令执行后的下一行,错误例子(先自定义一个监控文件,专门记录监控日志):

hql="show tabls;"
echo ${hql} | ${HIVE_PATH}/bin/hive
echo $? >> monitor.log

正常情况下返回0,异常情况下一般返回11

监控方法:定期查看监控日志的情况,即可迅速发现异常。


http://www.programfan.com/club/showtxt.asp?id=386994

hadoop fs -get /user/hive/warehouse/app_recommend_report/* /data/hadoop/android_log/app/app_recommend_report/

gzip -d /data/hadoop/android_log/app/app_recommend_report/000000_0.gz

sql="load data local infile '/data/hadoop/android_log/app/app_recommend_report/000000_0' ignore into table app_recommend_report_tmp character set 'utf8' fields terminated by ',' lines terminated by '\n';"
分享到:
评论

相关推荐

    Could not resolve dependencies for project org.apache.hive:hive-exec:jar:2.3.0:

    hive 开发UDF 使用maven工程 引发jar包缺失 hive 开发UDF 使用maven工程 引发jar包缺失

    如何在python中写hive脚本

    在Python中编写Hive脚本主要是为了方便地与Hadoop HIVE数据仓库进行交互,这样可以在数据分析和机器学习流程中无缝地集成大数据处理步骤。以下将详细介绍如何在Python环境中执行Hive查询和管理Hive脚本。 1. **直接...

    shell脚本开发

    2.hive源表:创建hive源表,每个shell脚本对应一个hive源表 #!/bin/bash source /etc/profile CUR_DATE=`date +%Y%m%d` echo "-- CUR_DATE:"$CUR_DATE /opt/cloudera/parcels/CDH/bin/hive (进入hive) USE ...

    HIVE安装及详解

    "HIVE安装及详解" HIVE是一种基于Hadoop的数据仓库工具,主要用于处理和分析大规模数据。下面是关于HIVE的安装及详解。 HIVE基本概念 HIVE是什么?HIVE是一种数据仓库工具,主要用于处理和分析大规模数据。它将...

    hive-exec-*.jar包

    Missing Hive Execution Jar: /hive/hive1.2.1/lib/hive-exec-*.jar

    DBeaver链接hive驱动包下载: hive-jdbc-uber-2.6.5.0-292.jar

    《DBeaver与Hive连接:hive-jdbc-uber-2.6.5.0-292.jar驱动详解》 在大数据处理领域,Hive作为一个基于Hadoop的数据仓库工具,广泛用于数据查询和分析。而DBeaver,作为一款跨平台的数据库管理工具,以其用户友好的...

    Hive查询优化:Sort By、Order By、Cluster By、Distribute深入解析

    Hive是一种数据仓库软件,用于对存储在分布式存储系统(如Hadoop)中的大数据进行查询和管理。它由Facebook开发,现在是Apache软件基金会的一个顶级项目。 ### Hive的主要特点包括: 1. **基于Hadoop**:Hive建立...

    hive安装依赖以及启动脚本

    hive安装依赖以及启动脚本 文件包含如下: 01_mysql-community-common-5.7.29-1.el7.x86_64.rpm 02_mysql-community-libs-5.7.29-1.el7.x86_64.rpm 03_mysql-community-libs-compat-5.7.29-1.el7.x86_64.rpm 04_...

    HIVE相关的jar包

    在大数据处理领域,Hive是一个基于Hadoop的数据仓库工具,它允许通过SQL-like查询语言(HQL)对存储在Hadoop分布式文件系统(HDFS)中的大量数据进行分析和处理。这个压缩包文件“HIVE相关的jar包”包含了不同版本的...

    hive的一些报错及解决方法

    在执行Hive脚本时,可能会遇到脚本执行卡住或报错的情况。这类问题通常与Hadoop服务的状态有关。 1. **Timelineserver服务未启动**: - **现象**:执行Hive脚本时卡住或报错,检查发现10200端口没有相关进程。 - ...

    Hive Beeline连接报错:Could not open client transport with JDBC Uri: jdbc:hive2://hcmaster:10000/default

    在使用Hive的Beeline客户端进行连接时,可能会遇到错误提示"Could not open client transport with JDBC Uri: jdbc:hive2://hcmaster:10000/default"。这个错误通常意味着Beeline无法通过JDBC URL成功建立到Hive ...

    hive-udf:NexR Hive UDF

    NexR Hive UDF 关于 NexR Hive UDF是Hive用户定义功能的集合。 执照 快速开始 $ git clone https://github.com/nexr/hive-udf.git $ cd hive-udf $ mvn clean package or $ ant -Dhive.install.dir=../hive/build/...

    Practical.Hive.A.Guide.to.Hadoops.Data.Warehouse.System.1484202724

    Dive into the world of SQL on Hadoop and get the most out of your Hive data warehouses. This book is your go-to resource for using Hive: authors Scott Shaw, Ankur Gupta, David Kjerrumgaard, and ...

    hive-jdbc-1.1.0-cdh5.12.1 连接库 jar包

    Hive JDBC 1.1.0-cdh5.12.1 连接库是Apache Hive项目中的一个重要组件,主要用于允许客户端程序通过Java数据库连接(JDBC)接口与Hive服务器进行交互。这个连接库是专为CDH(Cloudera Distribution Including Apache...

    hive-jdbc-1.1.0-cdh5.4.5-standalone.jar

    hive-jdbc-1.1.0-cdh5.4.5-standalone.jar Caused by: java.sql.SQLException: java.lang.ClassNotFoundException: org.apache.hive.jdbc.HiveDriver at com.trs.gateway.commons.hive.HiveFeature.getConnection...

    hive1.x版本连接DataGrip需要的jar包

    在IT行业中,Hive是一个基于Hadoop的数据仓库工具,它允许用户使用SQL(HQL,Hive Query Language)对大规模数据进行分析。DataGrip是JetBrains公司开发的一款强大的数据库和SQL集成开发环境(IDE),它支持多种...

    centos7中hive的安装和使用

    CentOS 7 中 Hive 的安装和使用 Hive 是一个基于 Hadoop 的数据仓库工具,主要用于存储、查询和分析大规模数据。下面将详细介绍 CentOS 7 中 Hive 的安装和使用。 1. 安装 MySQL 在安装 Hive 之前,需要先安装 ...

    apache-hive-3.1.2-jdbc.jar

    hive3.1.2编译后的驱动包

    java访问hive数据库所需全部jar包

    在Java编程环境中,访问Hive数据库通常涉及到一系列的依赖库,这些库提供了与Hive通信所需的接口和功能。由于在你的场景中不使用Maven这样的项目管理工具,你需要手动收集和管理这些jar包。以下是对标题和描述中涉及...

Global site tag (gtag.js) - Google Analytics