2015-11-16 16:33:55,701 WARN metastore.HiveMetaStoreClient (HiveMetaStoreClient.java:executeWithRetry(2472)) - Got Unknown Exception: javax.jdo.JDOException: Couldnt o btain a new sequence (unique id) : Binary logging not possible. Message: Transaction level 'READ-COMMITTED' in InnoDB is not safe for binlog mode 'STATEMENT' at org.datanucleus.jdo.NucleusJDOHelper.getJDOExceptionForNucleusException(NucleusJDOHelper.java:434) at org.datanucleus.jdo.JDOPersistenceManager.jdoMakePersistent(JDOPersistenceManager.java:660) at org.datanucleus.jdo.JDOPersistenceManager.makePersistent(JDOPersistenceManager.java:680) at org.apache.hadoop.hive.metastore.ObjectStore.addPartition(ObjectStore.java:1019) at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.append_partition_common(HiveMetaStore.java:1381) at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.access$900(HiveMetaStore.java:139) at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler$20.run(HiveMetaStore.java:1411) at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler$20.run(HiveMetaStore.java:1408) at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.executeWithRetry(HiveMetaStore.java:358) at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.append_partition(HiveMetaStore.java:1408) at org.apache.hadoop.hive.metastore.HiveMetaStoreClient$5.run(HiveMetaStoreClient.java:379) at org.apache.hadoop.hive.metastore.HiveMetaStoreClient$5.run(HiveMetaStoreClient.java:376) at org.apache.hadoop.hive.metastore.HiveMetaStoreClient.executeWithRetry(HiveMetaStoreClient.java:2414) at org.apache.hadoop.hive.metastore.HiveMetaStoreClient.appendPartition(HiveMetaStoreClient.java:376) at org.apache.hadoop.hive.ql.metadata.Hive.getPartition(Hive.java:1559) at org.apache.hadoop.hive.ql.metadata.Hive.loadPartition(Hive.java:1275) at org.apache.hadoop.hive.ql.exec.MoveTask.execute(MoveTask.java:308) at org.apache.hadoop.hive.ql.exec.Task.executeTask(Task.java:140) at org.apache.hadoop.hive.ql.exec.TaskRunner.runSequential(TaskRunner.java:57) at org.apache.hadoop.hive.ql.Driver.launchTask(Driver.java:1481) at org.apache.hadoop.hive.ql.Driver.execute(Driver.java:1271) at org.apache.hadoop.hive.ql.Driver.run(Driver.java:1068) at org.apache.hadoop.hive.ql.processors.ImpalaProcessor.run(ImpalaProcessor.java:163) at org.apache.hadoop.hive.service.HiveServer$HiveServerHandler.execute(HiveServer.java:242) at org.apache.hadoop.hive.service.ThriftHive$Processor$execute.getResult(ThriftHive.java:645) at org.apache.hadoop.hive.service.ThriftHive$Processor$execute.getResult(ThriftHive.java:629) at org.apache.thrift.ProcessFunction.process(ProcessFunction.java:39) at org.apache.thrift.TBaseProcessor.process(TBaseProcessor.java:39) at org.apache.thrift.server.TThreadPoolServer$WorkerProcess.run(TThreadPoolServer.java:225) at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908) at java.lang.Thread.run(Thread.java:662) NestedThrowablesStackTrace: java.sql.SQLException: Binary logging not possible. Message: Transaction level 'READ-COMMITTED' in InnoDB is not safe for binlog mode 'STATEMENT' at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:1055)
解决:
因为,READ-COMMITTED需要把bin-log以mixed方式来记录,用以下命令来修改:进入mysql
set global binlog_format='MIXED';
相关推荐
hive metastore hive metastore是hive的元数据管理服务,实际应用中很多第三方框架需要访问metastore服务,如spark,impala等。同样hive metastore也提供了java接口。 使用 import org.apache.hadoop.hive.conf....
《Hive metastore 使用达梦数据库存储元数据详解》 在大数据处理领域,Hive作为一个分布式数据仓库工具,被广泛用于存储和管理大规模结构化数据。Hive的元数据是其核心组成部分,它包含了表、分区、列等信息,使得...
《深入理解Hive Metastore管理机制》 在大数据处理领域,Hive作为一个基于Hadoop的数据仓库工具,因其易用性和高效性而被广泛应用。其中,Hive Metastore是Hive的核心组件之一,它负责管理和存储元数据,是理解和...
背景:由于Hive需要开启权限管理,安装网上教程,开启权限配置,重启集群后。 使用root用户登录,进入Hive命令行界面。 执行 create database test; 发现报错: Authorization failed:No privilege 'Create' found ...
hive-metastore-3.1.2.jar
《3-9+HiveMetaStore服务在快手的挑战与优化》 在大数据处理领域,HiveMetaStore作为Hive的核心组件,负责管理元数据,包括表、分区、列、属性等信息,是Hive查询数据的基础。在快手这样的大型互联网公司中,Hive...
当更换磁盘阵列后,可能会出现查询Hive表数据时速度变慢甚至报错的问题。 1. **现象**:查询Hive表时,出现`BlockMissingException`异常,表示某些数据块丢失。 - **解决步骤**: - 分析元数据信息,确定哪些分区...
为了解决这个问题,我们可以创建自定义的Shell脚本以及使用systemd服务来实现一键启停Hive的相关服务。 首先,我们来看一下提供的Shell脚本。这个脚本定义了两个主要的功能:启动和停止Hive的Metastore服务和...
在Hive 2.0及更高版本中,启用Metastore审计日志是确保数据安全性与合规性的重要步骤。审计日志记录了用户对Hive Metastore的所有操作,包括元数据的创建、修改和查询等,这对于追踪系统活动、故障排查以及满足法规...
《PyPI上的Hive Metastore Client:大数据仓库的关键组件》 在大数据处理领域,Hadoop和Hive是两个至关重要的工具。Hadoop提供了一个分布式文件系统(HDFS),而Hive则是一个基于Hadoop的数据仓库系统,允许用户...
这里我们将深入探讨五个在Hive on Tez中常见的报错问题及其解决方案。 1. 错误一:Failing because I am unlikely to write too。 这个问题是由于Hive中的一个已知bug,具体问题可以在Apache JIRA的HIVE-16398中...
在hive java api的时候 : 需要导入hive运行所需的jar包,导入jar包有两种方式可实现 1.使用maven依赖直接修改配置文件,以下为配置内容:(不推荐,会下载额外很多无用包,而且时间很长在1小时左右) 2.挑选必须...
今天更新hive版本的时候,把关联的数据库删掉了,重新生成,之后出现MetaException(message:An exception was thrown while adding/validating class(es) : Column length too big for column 'PARAM_VALUE' (max = ...
在这个配置文件中,我们可以看到两个重要的参数:`hive.metastore.local` 和 `hive.metastore.uris`。 * `hive.metastore.local` 参数控制是否在 Hive 客户端 JVM 中打开一个新的 metastore 服务器。如果设置为 `...
bde2020_hive-metastore-postgresql.tar
### HDFS高可用机制与Hive兼容性问题详解 #### 一、背景介绍 Hadoop分布式文件系统(HDFS)是Hadoop项目的核心组件之一,主要用于存储海量数据。随着业务需求的增长,单一NameNode节点已经无法满足大规模集群的高...
为了有效地管理这些数据,Hive利用了一个称为Hive元数据服务(Hive Metastore)的组件来存储有关数据表结构的信息。本文将详细介绍Apache Hive元数据E-R图中涉及到的主要表结构和它们之间的关系。 #### 二、Hive元...
在这篇文章中,我们将详细介绍如何配置Hive环境,包括安装Hive、配置Hadoop环境、配置Hive Metastore数据库等步骤。同时,我们还将使用Xshell6工具来远程连接到Hive服务器,并学习如何使用Hive命令行工具来执行查询...
独立的Hive Metastore 该项目可在本地运行Hive Metastore,或将其嵌入到容器中。 尽管是公开的,但该项目目前尚未记录,并且可能仍承载某些基础结构特定配置。 该项目的灵感来自和多亏了他
Metastore组件是Hadoop生态系统中的一个重要组成部分,特别是在处理数据仓库任务的场景下,如使用Hive进行数据的查询和分析。Metastore的作用是存储和管理Hive的元数据信息。元数据(Metadata)是关于数据的数据,它...