`

hive log的分类和所在位置

    博客分类:
  • hive
 
阅读更多

 

 

hive中日志分为两种:

 

1 系统日志,记录hive运行情况,错误状态

2 job日志 , 记录hive中 job执行的历史过程

 

 

系统日志存储位置:

配置在 hive/conf/hive-log4j.properties 文件中记录了hive日志存储情况

 

默认存储信息:

hive.root.logger=WARN,DRFA

hive.log.dir=/tmp/${user.name}

hive.log.file=hive.log -- 默认文件名

 

比如,在工作中,chd集群上, hive.log就存储在  /tmp/hdfs/这个账户下,hive.log是一天一个文件

样子如下:

hive.log

hive.log.2016-03-31

hive.log.2016-03-30

hive.log.2016-03-29

 

这个日志记录的最全,我们执行的所有sql语句都和mr执行信息都写在里面,因此在整体提交一个超长的

sql后如果报错了,可以来这里看具体执行到哪个sql语句来跟踪。

 

 

 

job日志位置:

默认在 /tmp/${user.name}下,

 

 

 

 

 

 

 

 

分享到:
评论

相关推荐

    hive2.0+开启审计日志.pdf

    如果要自定义位置,可以通过`hive.log4j.file`属性来指定。 此外,对于Beeline客户端的日志配置,它通过`bin/ext/beeline.sh`脚本中的`-Dlog4j.configurationFile=beeline-log4j2.properties`参数来指定`beeline-...

    hive客户端安装_hive客户端安装_hive_

    确保Hive知道Hadoop的位置,编辑$HIVE_HOME/conf/hive-site.xml,添加以下配置: ```xml ... <name>fs.defaultFS <value>hdfs://namenode_host:port <name>hive.metastore.warehouse.dir <value>hdfs://...

    HIVE安装及详解

    HIVE是一种基于Hadoop的数据仓库工具,主要用于处理和分析大规模数据。下面是关于HIVE的安装及详解。 HIVE基本概念 HIVE是什么?HIVE是一种数据仓库工具,主要用于处理和分析大规模数据。它将结构化数据文件转换为...

    hive远程连接工具和jar.zip

    本压缩包“hive远程连接工具和jar.zip”包含了用于远程连接Hive的重要组件和必需的JAR文件,主要涉及两个关键部分:SQuirreL SQL Client和Hive所需的JAR包。 首先,SQuirreL SQL Client是一个开源的、多数据库的、...

    Hive3.1.2编译源码

    使用hive3.1.2和spark3.0.0配置hive on spark的时候,发现官方下载的hive3.1.2和spark3.0.0不兼容,hive3.1.2对应的版本是spark2.3.0,而spark3.0.0对应的hadoop版本是hadoop2.6或hadoop2.7。 所以,如果想要使用高...

    Hive数据仓库之垃圾分类数据分析系统

    主要功能和技术说明如下: (1)Flume数据采集,HDFS数据储存 (2)hive数据仓库分层设计,包含ODS、DWD、ADS层 (3)sqoop数据迁移,完成HIve与MySQL数据库中的数据交互 (4)Echarts搭建动态可视化大屏 (5)...

    连接hive依赖的jar包_hive连接方式

    - `slf4j-api-*.jar`和`slf4j-log4j12-*.jar`: 日志框架,用于记录Hive操作的日志。 - `commons-lang3-*.jar`等其他依赖库:Hive运行时可能需要的一些通用库。 5. **Kerberos认证** 如果Hive服务器配置了...

    Hive2.3.4安装文档

    Hive是一款基于Hadoop的数据仓库工具,主要用于数据的存储、查询和分析。下面是Hive2.3.4的安装文档: 一、安装Hive 1.上传hive的tar包到/usr/local/soft目录下 2.解压tar包并且重命名 ``` tar -zxvf apache-hive-...

    Apache标准Log,Hive测试使用

    Apache标准日志(Apache Common Log Format,CLF)是网络服务器中最常见的日志格式,用于记录客户端请求的各种信息。这个格式被广泛应用于Apache HTTP Server,以及其他一些Web服务器中。Hive是一个基于Hadoop的数据...

    hive介绍和hive环境搭建

    hive介绍和hive环境搭建。。一、 安装mysql 1. 使用root用户: su root 2. 安装 yum install mysql yum install mysql-server yum install mysql-devel(可选) 3. 修改配置信息,添加: vim /etc/my.cnf ...

    Hive-2.1.1-CDH-3.6.1 相关JDBC连接驱动 Jar 包集合

    02、hive-exec-2.1.1-cdh6.3.1.jar 03、hive-jdbc-2.1.1-cdh6.3.1.jar 04、hive-jdbc-2.1.1-cdh6.3.1-standalone.jar 05、hive-metastore-2.1.1-cdh6.3.1.jar 06、hive-service-2.1.1-cdh6.3.1.jar 07、libfb303-...

    hive Linux安装和配置

    编辑 `hive-site.xml` 文件,添加 MySQL 数据库的连接信息,这部分是配置 Hive 元数据存储的关键所在。以下是具体的配置示例: ```xml <name>javax.jdo.option.ConnectionURL <value>jdbc:mysql://localhost...

    hive

    Hive 是一个基于 Hadoop 的数据仓库工具,它允许用户使用 SQL 类似的查询语言(称为 HiveQL)来处理和分析存储在 Hadoop 分布式文件系统(HDFS)中的大数据集。Hive 提供了一个数据层,使得非编程背景的用户也能方便...

    Ambari下Hive3.0升级到Hive4.0

    在大数据领域,Apache Ambari 是一个用于 Hadoop 集群管理和监控的开源工具,而 Hive 是一个基于 Hadoop 的数据仓库系统,用于处理和分析大规模数据集。本话题聚焦于如何在 Ambari 环境下将 Hive 3.0 升级到 Hive ...

    HIVE和HBASE的整合

    HIVE和HBASE是两个不同的数据处理和存储系统,HIVE是一种数据仓库系统,专门用来存储和处理结构化数据,而HBASE是一种NoSQL数据库,专门用来存储和处理半结构化和非结构化数据。由于HIVE和HBASE的特点不同,导致它们...

    Hive和Hase配置

    配置hive-0.9.0和hbase-0.94.1结合使用,部分内容如下: 1.拷贝hbase-0.94.1.jar和zookeeper-3.4.3.jar到hive/lib下。 注意:如hive/lib下已经存在这两个文件的其他版本,建议删除后使用hbase下的相关版本。 //...

    Hive驱动1.1.0.zip

    在大数据处理领域,Hive是一个基于Hadoop的数据仓库工具,它允许用户使用SQL(HQL,Hive Query Language)查询和管理存储在Hadoop分布式文件系统(HDFS)中的大量结构化数据。Hive 1.1.0是Hive的一个版本,提供了...

    hive2.1.1 + hadoop2.6.0jdbc驱动

    6. **log4j-1.2.17.jar**:日志记录库,用于记录Hive和Hadoop运行时的日志信息。 7. **hive-common-2.1.1.jar**:Hive的通用库,包含了各种公用工具和类。 8. **httpcore-4.4.jar**:Apache HttpCore库,是...

    SpagoBI集成Hive数据库

    本文档主要关注如何将Hive数据库集成到SpagoBI中,以便利用Hive的数据处理能力进行报表生成和分析。 集成SpagoBI和Hive数据库的步骤如下: 1. **安装Hive**:首先,你需要在你的服务器上安装Hive,包括设置Hadoop...

    连接Hive相关Jar包(DBeaver和JDBC均可使用)

    6. **Log4j**: `log4j-1.2.14.jar`是日志框架,用于记录Hive和JDBC驱动的运行时信息,对于调试和问题排查很有帮助。 7. **Libthrift**: `libthrift-0.9.2.jar`是Facebook开发的跨语言服务开发框架,用于实现Thrift...

Global site tag (gtag.js) - Google Analytics