`
weigang.gao
  • 浏览: 486007 次
  • 性别: Icon_minigender_1
  • 来自: 上海
文章分类
社区版块
存档分类
最新评论

使用Hive进行join查询的时报错

 
阅读更多

1.在使用hive时进行单表查询没问题,但是使用join查询报错,错误信息如下:

 

2.分析日志,估计是reduce task为0的原因,于是就测试了下(测试的时候,设置reduce task的数量为0),果然报一样的错误,错误信息如下:


 

解决办法:删除hive使用的mysql数据库,重新配置,设置hive的reduce task的默认个数为1,而不是-1,然后就好了。

在hive-site.xml中配置参数mapred.reduce.tasks=1,重新启动hive,就ok了

 <property>

    <name>mapred.reduce.tasks</name>

    <value>1</value>

    <description/>

 

  </property>

 

测试代码见附件。。。。。

 

参考:http://blog.csdn.net/wisgood/article/details/42125367

  • 大小: 36.1 KB
  • 大小: 39.2 KB
分享到:
评论

相关推荐

    hive sql + left join 数据缺失

    在大数据处理场景中,Hive 是一种广泛使用的工具,用于对存储在 Hadoop 文件系统中的数据进行数据汇总、查询和分析。随着Hive版本的不断更新,部分用户在升级至Hive 3之后遇到了数据处理中的一个常见问题——在执行...

    Hive Summit 2011-join

    在Hive Summit 2011-join的内容中,可以看到Hive join操作策略的深入讨论,这包括每种join策略的使用场景、优势和潜在问题,帮助数据工程师更好地理解和使用Hive的join操作。此外,提到的join策略也为数据仓库和大...

    部分普通sql查询在hive中的实现方式

    由于Hive的设计初衷是让用户能够使用类SQL的查询语言“HiveQL”来处理数据,它与传统的SQL数据库存在一定的差异。以下是一些常见的SQL查询在Hive中的实现方式: #### 1. 在查询中不能同时出现多条`COUNT(DISTINCT)`...

    java_hive简单查询

    本教程将深入探讨如何使用Java API与Hive进行集成,实现简单的查询操作。我们将围绕以下知识点展开讨论: 1. **Hive简介**: Hive是一个基于Hadoop的数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并...

    kettle执行hive相关ktr时报错

    总的来说,解决"Kettle执行hive相关ktr时报错"的问题需要综合考虑多个方面,包括但不限于Hive和Kettle的配置、环境变量、权限、认证、库的兼容性、文件路径和元数据一致性。通过逐一排查这些潜在问题,通常能找出...

    hive数据加载导出查询

    在使用 Hive 进行数据分析之前,首先需要创建一张表来存储数据。以下是一段创建分区表的 SQL 语句示例: ```sql CREATE TABLE db_0309.emp ( empno INT, ename STRING, job STRING, mgr INT, hiredate STRING,...

    Hive查询sql left join exists

    本文主要关注LEFT JOIN和EXISTS子句的使用,这两个都是数据查询中常见的技术,特别是在大数据处理领域,如Hadoop环境下的Hive。 首先,LEFT JOIN(左外连接)是连接两个表的一种方式,返回所有左表(在FROM子句中...

    Hive-Summit-2011-join.zip_hive

    【标题】:“Hive-Summit-2011-join.zip_hive”指的是一个关于HiveJoin策略的讨论,源自2011年Facebook峰会上的分享。 【描述】:“Hive: Join Strategies. Facebook summit-2011”说明了这个主题集中在Hive的连接...

    利用Hive进行复杂用户行为大数据分析及优化案例

    利用Hive进行复杂用户行为大数据分析及优化案例(全套视频+课件+代码+讲义+工具软件),具体内容包括: 01_自动批量加载数据到hive 02_Hive表批量加载数据的脚本实现(一) ...17_Hive中使用Python脚本进行预处理

    Spark不能使用hive自定义函数.doc

    Spark 是一种快速通用的大规模数据处理系统,而Hive 则是一种数据仓库工具,主要用于对存储在 Hadoop 文件中的数据集进行数据整理、特殊查询和分析存储。然而,在实际应用中,开发人员可能会遇到一个常见问题——...

    Hive总结.docx

    Hive支持大部分SQL标准,包括SELECT、FROM、WHERE、GROUP BY、JOIN等操作,使得用户可以方便地对Hadoop上的数据进行查询和分析。 【Hive函数】 Hive提供了丰富的内置函数,包括聚合函数(SUM、COUNT、AVG等)、数学...

    kettle执行hive相关ktr时报错: database type with plugin id [HIVE2] couldn't be found!

    java代码执行hive相关ktr时报错: database type with plugin id [HIVE2] couldn't be found! 解决:kettle-core-7.1.0.0-12.jar适配hive后的包。具体步骤请查看...

    HIVE安装及详解

    * 数据处理:HIVE使用MapReduce处理数据,而传统数据库使用SQL查询 * 扩展性:HIVE具有高可扩展性,可以处理大规模数据,而传统数据库的扩展性较差 HIVE数据存储 HIVE数据存储主要使用Hadoop分布式文件系统(HDFS...

    hive查询优化

    当Hive接收SQL查询请求后,会将其转换为一个或多个MapReduce作业,并通过YARN进行调度执行。 #### 三、Hive查询执行原理 Hive查询的执行流程大致如下: 1. **解析阶段**:HiveQL查询首先被解析成抽象语法树(AST...

    hive

    Hive 是一个基于 Hadoop 的数据仓库工具,它允许用户使用 SQL 类似的查询语言(称为 HiveQL)来处理和分析存储在 Hadoop 分布式文件系统(HDFS)中的大数据集。Hive 提供了一个数据层,使得非编程背景的用户也能方便...

    Hive查询优化整理与Hive简易版思维导图

    1. **Explain命令**:使用EXPLAIN分析查询执行计划,了解Hive如何处理SQL,找出性能瓶颈。 2. **Hive Metastore优化**:保持Metastore整洁,定期清理不再使用的表和分区,确保元数据检索高效。 3. **配置调优**:...

    龙战于野大数据MR原理启动hive查询表分区.docx

    Hive查询表分区的MR原理启动详解 Hive是一款基于Hadoop的数据仓库工具,主要用于处理结构化和半结构化的数据...Hive查询表分区的MR原理启动是指使用MapReduce来处理数据的方式,该方式可以提高数据查询的效率和性能。

    基于Hadoop+Hive的数据查询优化设计与实现

    "基于Hadoop+Hive的数据查询优化设计与实现" 本文旨在介绍基于Hadoop和Hive的数据查询优化设计与实现,旨在解决大数据处理的需求。该文涵盖了Hadoop和Hive的工作原理、系统设计与实现、数据查询优化等方面的知识点...

Global site tag (gtag.js) - Google Analytics