`

hive metastore 报错 binlog mode 不对问题

    博客分类:
  • hive
 
阅读更多
2015-11-16 16:33:55,701 WARN  metastore.HiveMetaStoreClient (HiveMetaStoreClient.java:executeWithRetry(2472)) - Got Unknown Exception: javax.jdo.JDOException: Couldnt o
btain a new sequence (unique id) : Binary logging not possible. Message: Transaction level 'READ-COMMITTED' in InnoDB is not safe for binlog mode 'STATEMENT'
    at org.datanucleus.jdo.NucleusJDOHelper.getJDOExceptionForNucleusException(NucleusJDOHelper.java:434)
    at org.datanucleus.jdo.JDOPersistenceManager.jdoMakePersistent(JDOPersistenceManager.java:660)
    at org.datanucleus.jdo.JDOPersistenceManager.makePersistent(JDOPersistenceManager.java:680)
    at org.apache.hadoop.hive.metastore.ObjectStore.addPartition(ObjectStore.java:1019)
    at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.append_partition_common(HiveMetaStore.java:1381)
    at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.access$900(HiveMetaStore.java:139)
    at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler$20.run(HiveMetaStore.java:1411)
    at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler$20.run(HiveMetaStore.java:1408)
    at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.executeWithRetry(HiveMetaStore.java:358)
    at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.append_partition(HiveMetaStore.java:1408)
    at org.apache.hadoop.hive.metastore.HiveMetaStoreClient$5.run(HiveMetaStoreClient.java:379)
    at org.apache.hadoop.hive.metastore.HiveMetaStoreClient$5.run(HiveMetaStoreClient.java:376)
    at org.apache.hadoop.hive.metastore.HiveMetaStoreClient.executeWithRetry(HiveMetaStoreClient.java:2414)
    at org.apache.hadoop.hive.metastore.HiveMetaStoreClient.appendPartition(HiveMetaStoreClient.java:376)
    at org.apache.hadoop.hive.ql.metadata.Hive.getPartition(Hive.java:1559)
    at org.apache.hadoop.hive.ql.metadata.Hive.loadPartition(Hive.java:1275)
    at org.apache.hadoop.hive.ql.exec.MoveTask.execute(MoveTask.java:308)
    at org.apache.hadoop.hive.ql.exec.Task.executeTask(Task.java:140)
    at org.apache.hadoop.hive.ql.exec.TaskRunner.runSequential(TaskRunner.java:57)
    at org.apache.hadoop.hive.ql.Driver.launchTask(Driver.java:1481)
    at org.apache.hadoop.hive.ql.Driver.execute(Driver.java:1271)
    at org.apache.hadoop.hive.ql.Driver.run(Driver.java:1068)
    at org.apache.hadoop.hive.ql.processors.ImpalaProcessor.run(ImpalaProcessor.java:163)
    at org.apache.hadoop.hive.service.HiveServer$HiveServerHandler.execute(HiveServer.java:242)
    at org.apache.hadoop.hive.service.ThriftHive$Processor$execute.getResult(ThriftHive.java:645)
    at org.apache.hadoop.hive.service.ThriftHive$Processor$execute.getResult(ThriftHive.java:629)
    at org.apache.thrift.ProcessFunction.process(ProcessFunction.java:39)
    at org.apache.thrift.TBaseProcessor.process(TBaseProcessor.java:39)
    at org.apache.thrift.server.TThreadPoolServer$WorkerProcess.run(TThreadPoolServer.java:225)
    at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908)
    at java.lang.Thread.run(Thread.java:662)
NestedThrowablesStackTrace:
java.sql.SQLException: Binary logging not possible. Message: Transaction level 'READ-COMMITTED' in InnoDB is not safe for binlog mode 'STATEMENT'
    at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:1055)

 

解决:

因为,READ-COMMITTED需要把bin-log以mixed方式来记录,用以下命令来修改:进入mysql 

set global binlog_format='MIXED';

分享到:
评论

相关推荐

    hive metastore java api使用

    hive metastore hive metastore是hive的元数据管理服务,实际应用中很多第三方框架需要访问metastore服务,如spark,impala等。同样hive metastore也提供了java接口。 使用 import org.apache.hadoop.hive.conf....

    Hive metastore 使用达梦数据库存储元数据

    《Hive metastore 使用达梦数据库存储元数据详解》 在大数据处理领域,Hive作为一个分布式数据仓库工具,被广泛用于存储和管理大规模结构化数据。Hive的元数据是其核心组成部分,它包含了表、分区、列等信息,使得...

    详细调研hivemetastore管理机制.zip

    《深入理解Hive Metastore管理机制》 在大数据处理领域,Hive作为一个基于Hadoop的数据仓库工具,因其易用性和高效性而被广泛应用。其中,Hive Metastore是Hive的核心组件之一,它负责管理和存储元数据,是理解和...

    hive开启权限后不能创建数据库问题

    背景:由于Hive需要开启权限管理,安装网上教程,开启权限配置,重启集群后。 使用root用户登录,进入Hive命令行界面。 执行 create database test; 发现报错: Authorization failed:No privilege 'Create' found ...

    hive-metastore-3.1.2.jar

    hive-metastore-3.1.2.jar

    3-9+HiveMetaStore服务在快手的挑战与优化.pdf

    《3-9+HiveMetaStore服务在快手的挑战与优化》 在大数据处理领域,HiveMetaStore作为Hive的核心组件,负责管理元数据,包括表、分区、列、属性等信息,是Hive查询数据的基础。在快手这样的大型互联网公司中,Hive...

    hive的一些报错及解决方法

    当更换磁盘阵列后,可能会出现查询Hive表数据时速度变慢甚至报错的问题。 1. **现象**:查询Hive表时,出现`BlockMissingException`异常,表示某些数据块丢失。 - **解决步骤**: - 分析元数据信息,确定哪些分区...

    hive systemctl启停hiveserver2和metastore服务.pdf

    为了解决这个问题,我们可以创建自定义的Shell脚本以及使用systemd服务来实现一键启停Hive的相关服务。 首先,我们来看一下提供的Shell脚本。这个脚本定义了两个主要的功能:启动和停止Hive的Metastore服务和...

    hive2.0+开启审计日志.pdf

    在Hive 2.0及更高版本中,启用Metastore审计日志是确保数据安全性与合规性的重要步骤。审计日志记录了用户对Hive Metastore的所有操作,包括元数据的创建、修改和查询等,这对于追踪系统活动、故障排查以及满足法规...

    PyPI 官网下载 | hive_metastore_client-1.0.0-py3-none-any.whl

    《PyPI上的Hive Metastore Client:大数据仓库的关键组件》 在大数据处理领域,Hadoop和Hive是两个至关重要的工具。Hadoop提供了一个分布式文件系统(HDFS),而Hive则是一个基于Hadoop的数据仓库系统,允许用户...

    hive on tez 常见报错问题收集

    这里我们将深入探讨五个在Hive on Tez中常见的报错问题及其解决方案。 1. 错误一:Failing because I am unlikely to write too。 这个问题是由于Hive中的一个已知bug,具体问题可以在Apache JIRA的HIVE-16398中...

    hive-metastore-2.3.6.jar

    在hive java api的时候 : 需要导入hive运行所需的jar包,导入jar包有两种方式可实现 1.使用maven依赖直接修改配置文件,以下为配置内容:(不推荐,会下载额外很多无用包,而且时间很长在1小时左右) 2.挑选必须...

    hive建表报错.md

    今天更新hive版本的时候,把关联的数据库删掉了,重新生成,之后出现MetaException(message:An exception was thrown while adding/validating class(es) : Column length too big for column 'PARAM_VALUE' (max = ...

    hive远程连接详细配置

    在这个配置文件中,我们可以看到两个重要的参数:`hive.metastore.local` 和 `hive.metastore.uris`。 * `hive.metastore.local` 参数控制是否在 Hive 客户端 JVM 中打开一个新的 metastore 服务器。如果设置为 `...

    bde2020-hive-metastore-postgresql.tar

    bde2020_hive-metastore-postgresql.tar

    hdfs开启高可用+hive报错

    ### HDFS高可用机制与Hive兼容性问题详解 #### 一、背景介绍 Hadoop分布式文件系统(HDFS)是Hadoop项目的核心组件之一,主要用于存储海量数据。随着业务需求的增长,单一NameNode节点已经无法满足大规模集群的高...

    Hive Meta Store E-R图

    为了有效地管理这些数据,Hive利用了一个称为Hive元数据服务(Hive Metastore)的组件来存储有关数据表结构的信息。本文将详细介绍Apache Hive元数据E-R图中涉及到的主要表结构和它们之间的关系。 #### 二、Hive元...

    Hive学习必备——配置Hive环境教程 免费分享哦~

    在这篇文章中,我们将详细介绍如何配置Hive环境,包括安装Hive、配置Hadoop环境、配置Hive Metastore数据库等步骤。同时,我们还将使用Xshell6工具来远程连接到Hive服务器,并学习如何使用Hive命令行工具来执行查询...

    standalone-hive-metastore

    独立的Hive Metastore 该项目可在本地运行Hive Metastore,或将其嵌入到容器中。 尽管是公开的,但该项目目前尚未记录,并且可能仍承载某些基础结构特定配置。 该项目的灵感来自和多亏了他

    Metastore组件

    Metastore组件是Hadoop生态系统中的一个重要组成部分,特别是在处理数据仓库任务的场景下,如使用Hive进行数据的查询和分析。Metastore的作用是存储和管理Hive的元数据信息。元数据(Metadata)是关于数据的数据,它...

Global site tag (gtag.js) - Google Analytics