`
bupt04406
  • 浏览: 348233 次
  • 性别: Icon_minigender_1
  • 来自: 杭州
社区版块
存档分类
最新评论

hive genPlan

    博客分类:
  • Hive
阅读更多
(TOK_QUERY
(TOK_FROM (TOK_TABREF src))
(TOK_INSERT
(TOK_DESTINATION (TOK_DIR TOK_TMP_FILE))
(TOK_SELECT (TOK_SELEXPR TOK_ALLCOLREF))
(TOK_WHERE (< (. (TOK_TABLE_OR_COL src) key) 10))
)
)
一个查询会被Antlr解析成上面这种结构:root节点是TOK_QUERY,两个孩子节点是TOK_FROM,TOK_INSERT。
TOK_INSERT 有几个节点:(1)必须的 TOK_DESTINATION,数据写入到的目录 (2)必须的 TOK_SELECT,选取的字段 (3)其他节点非必须的,如TOK_WHERE,TOK_SORTBY,TOK_CLUSTERBY,TOK_DISTRIBUTEBY,TOK_ORDERBY,TOK_GROUPBY,TOK_LIMIT



from 有4种子节点:   见SemanticAnalyzer.doPhase1
(1) HiveParser.TOK_TABREF 普通的表
(2) HiveParser.TOK_SUBQUERY 子查询,这里有两种情况一种是无union的subq,或者是有union,两个subq union组成的:(subq1 union subq2) subqalias。 见SemanticAnalyzer.processSubQuery和SemanticAnalyzer.doPhase1QBExpr
(3) HiveParser.TOK_LATERAL_VIEW
(4) join:join节点有几个子节点,如两个TOK_TABREF+on表示的“=”节点三个子节点,或者两个子查询TOK_SUBQUERY节点。 join0.q,join1.q
(TOK_JOIN
(TOK_TABREF src src1)
(TOK_TABREF src src2)
(=
(. (TOK_TABLE_OR_COL src1) key)
(. (TOK_TABLE_OR_COL src2) key)
)
)



SemanticAnalyzer.genPlan(QB qb){
    (1) 递归遍历子查询(子查询来自from),生成子查询的operator,子查询的operator依然是通过调用SemanticAnalyzer.genPlan(QB qb)来生成,子查询有两种一种是union,一种是非union,两种情况处理不相同。
如果是非union,直接调用SemanticAnalyzer.genPlan(QB qb)来生成子查询的operator树。
如果是union,则union的两个子节点分别调用SemanticAnalyzer.genPlan(QB qb)来生成两个子查询的operator的树,然后生成一个UnionOperator来union这两个子operator树。见SemanticAnalyzer.genPlan(QBExpr qbexpr)
        operator如下:
         1.1 如果subquery是QBExpr.Opcode.NULLOP类型,生成subquery的operator树。
         1.2 如果subquery是QBExpr.Opcode.UNION,生成两个子subquery的operator树,生成一个union operator 做为两个子subquery的共同child。
    (2) 遍历所有的源表,针对每个源表生成一个对应的TableScanOperator
    (3) 处理lateral view
    (4) 处理join (join出现在from中)
        operator如下:
         4.1 如果join条件中有过滤条件,抽取出来生成FilterOperator过滤不需要的records,放到join操作前.
         4.2 生成JoinOperator,做为join操作两边的operator的child。
    (5) genBodyPlan(QB qb, Operator input)
}


SemanticAnalyzer.genBodyPlan(QB qb, Operator input){
   (1) multi-group by 看能够优化
   (2) 针对每个目标表(destination tables,doPhase1在处理HiveParser.TOK_SELECT时设置),destToSelExpr
        2.1 如果有where条件,生成一个FilterOperator
        2.2 如果有聚合函数或者groupby,做如下处理:
            插入一个select operator,选取所有的字段,用于优化阶段ColumnPruner的优化
            2.2.1  hive.map.aggr为true,默认是true,开启的,在map端做部分聚合
                  2.2.1.1 hive.groupby.skewindata为false,默认是关闭的,groupby的数据没有倾斜。     
                  生成的operator是: GroupByOperator+ReduceSinkOperator+GroupByOperator。
      GroupByOperator+ReduceSinkOperator用于在map端做操作,第一个GroupByOperator在map端先做部分聚合。第二个用于在reduce端做GroupBy操作
                  2.2.1.2 hive.groupby.skewindata为true
                  生成的operator是: GroupbyOperator+ReduceSinkOperator+GroupbyOperator+ReduceSinkOperator +GroupByOperator
               GroupbyOperator+ReduceSinkOperator(第一个MapredTask的map阶段)
               GroupbyOperator(第一个MapredTask的reduce阶段)
               ReduceSinkOperator (第二个MapredTask的map阶段)
               GroupByOperator(第二个MapredTask的reduce阶段)
            2.2.2  hive.map.aggr为false
                   2.2.2.1 hive.groupby.skewindata为true
                    生成的operator是: ReduceSinkOperator+GroupbyOperator+ReduceSinkOperator +GroupByOperator                   
               ReduceSinkOperator(第一个MapredTask的map阶段)
               GroupbyOperator(第一个MapredTask的reduce阶段)
               ReduceSinkOperator (第二个MapredTask的map阶段)
               GroupByOperator(第二个MapredTask的reduce阶段)
                   2.2.2.2 hive.groupby.skewindata为false
                    生成的operator是: ReduceSinkOperator(map阶段运行)+GroupbyOperator(reduce阶段运行)
        2.3 生成一个SelectOperator
        2.4 如果有ClusterBy、DistributedBy、OrderBy、SortBy生成ReduceSinkOperator+ExtractOperator
             如果是OrderBy,则会设置numReducers的个数为1
        2.5 是否是子查询,是2.5.1,否2.5.2
             2.5.1 是子查询
             2.5.2 不是子查询 
                 1. 是否有limit,无跳过,有进行相应处理。
                 2. 如果前面获得的字段类型跟最终的字段类型不同,需要做转换则生成一个SelectOperator用于类型转换,最后生成一个FileSinkOperator。
        结束。
}

任何一个Map Join都会由两阶段构成
第一阶段是本地任务把小表分发到每一台机
第二阶段是执行Map-Only Job,进行Map Join操作

还有待整理。。
分享到:
评论
1 楼 Link028 2011-11-04  
专家级别,膜拜了

相关推荐

    hive客户端安装_hive客户端安装_hive_

    在大数据处理领域,Hive是一个非常重要的工具,它提供了一个基于Hadoop的数据仓库基础设施,用于数据查询、分析和管理大规模数据集。本教程将详细讲解如何在Linux环境下安装Hive客户端,以便进行数据操作和分析。 ...

    HIVE安装及详解

    "HIVE安装及详解" HIVE是一种基于Hadoop的数据仓库工具,主要用于处理和分析大规模数据。下面是关于HIVE的安装及详解。 HIVE基本概念 HIVE是什么?HIVE是一种数据仓库工具,主要用于处理和分析大规模数据。它将...

    Hive_JDBC.zip_hive java_hive jdbc_hive jdbc pom_java hive_maven连

    在大数据处理领域,Apache Hive是一个基于Hadoop的数据仓库工具,它允许用户使用SQL(HQL,Hive Query Language)查询存储在Hadoop集群中的大型数据集。Hive JDBC(Java Database Connectivity)是Hive提供的一种...

    Ambari下Hive3.0升级到Hive4.0

    在大数据领域,Apache Ambari 是一个用于 Hadoop 集群管理和监控的开源工具,而 Hive 是一个基于 Hadoop 的数据仓库系统,用于处理和分析大规模数据集。本话题聚焦于如何在 Ambari 环境下将 Hive 3.0 升级到 Hive ...

    Hive驱动1.1.0.zip

    在大数据处理领域,Hive是一个基于Hadoop的数据仓库工具,它允许用户使用SQL(HQL,Hive Query Language)查询和管理存储在Hadoop分布式文件系统(HDFS)中的大量结构化数据。Hive 1.1.0是Hive的一个版本,提供了...

    连接hive依赖的jar包_hive连接方式

    在大数据处理领域,Hive是一个基于Hadoop的数据仓库工具,它可以将结构化的数据文件映射为一张数据库表,并提供SQL查询功能,使得用户可以使用SQL语句来处理存储在Hadoop分布式文件系统(HDFS)上的大数据。...

    DBeaver链接hive驱动包下载: hive-jdbc-uber-2.6.5.0-292.jar

    《DBeaver与Hive连接:hive-jdbc-uber-2.6.5.0-292.jar驱动详解》 在大数据处理领域,Hive作为一个基于Hadoop的数据仓库工具,广泛用于数据查询和分析。而DBeaver,作为一款跨平台的数据库管理工具,以其用户友好的...

    Hive3.1.2编译源码

    使用hive3.1.2和spark3.0.0配置hive on spark的时候,发现官方下载的hive3.1.2和spark3.0.0不兼容,hive3.1.2对应的版本是spark2.3.0,而spark3.0.0对应的hadoop版本是hadoop2.6或hadoop2.7。 所以,如果想要使用高...

    apache-hive-2.3.9-bin.tar大数据HIVE.zip

    Apache Hive 是一个基于 Hadoop 的数据仓库工具,用于组织、查询和分析大量数据。它提供了一个SQL-like(HQL,Hive SQL)接口,使得非专业程序员也能方便地处理存储在Hadoop分布式文件系统(HDFS)中的大规模数据集...

    hive相关jar包

    在大数据处理领域,Hive是一个基于Hadoop的数据仓库工具,它允许用户使用SQL(HQL,Hive Query Language)查询和管理存储在Hadoop分布式文件系统(HDFS)中的大量数据。Hive提供了数据整合、元数据管理、查询和分析...

    《Hive数据仓库案例教程》教学课件 第5章 Hive数据操作.pdf

    《Hive数据仓库案例教程》教学课件 第5章 Hive数据操作.pdf《Hive数据仓库案例教程》教学课件 第5章 Hive数据操作.pdf《Hive数据仓库案例教程》教学课件 第5章 Hive数据操作.pdf《Hive数据仓库案例教程》教学课件 第...

    hive 驱动包 hive 链接 datagrip的驱动包

    在大数据处理领域,Hive是一款基于Hadoop的数据仓库工具,它允许用户使用SQL类的语言(称为HQL)来查询、管理、分析存储在Hadoop分布式文件系统中的大规模数据集。而DataGrip是一款由JetBrains公司开发的强大数据库...

    SpringBoot整合hive-jdbc示例

    **SpringBoot整合Hive-JDBC详解** 在大数据处理领域,Hadoop生态中的Hive作为一个数据仓库工具,常常用于处理大规模的数据分析任务。而SpringBoot作为Java开发中的微服务框架,以其简洁的配置和快速的开发能力深受...

    Hive表生成工具,Hive表生成工具Hive表生成工具

    Hive表生成工具,Hive表生成工具Hive表生成工具

    hive驱动包hive-jdbc-uber-2.6.5.0-292.jar(用户客户端连接使用)

    Hive是Apache Hadoop生态系统中的一个数据仓库工具,它允许我们对存储在HDFS上的大数据进行结构化查询和分析。Hive JDBC驱动是Hive与各种数据库管理工具、应用程序之间建立连接的关键组件,使得用户可以通过标准的...

    hive-site.xml

    hive+hadoop配置文件hive+hadoop配置文件hive+hadoop配置文件hive+hadoop配置文件hive+hadoop配置文件hive+hadoop配置文件hive+hadoop配置文件hive+hadoop配置文件hive+hadoop配置文件hive+hadoop配置文件hive+...

    如何在python中写hive脚本

    在Python中编写Hive脚本主要是为了方便地与Hadoop HIVE数据仓库进行交互,这样可以在数据分析和机器学习流程中无缝地集成大数据处理步骤。以下将详细介绍如何在Python环境中执行Hive查询和管理Hive脚本。 1. **直接...

    hive所有jar文件

    Hive和HBase是两种大数据处理工具,它们在大数据生态系统中各自扮演着重要角色。Hive是一个基于Hadoop的数据仓库工具,它允许用户使用SQL-like语法(HQL,Hive Query Language)对大规模数据集进行分析。而HBase是...

    数据库工具连接hive的驱动包

    在IT行业中,数据库管理和分析是至关重要的任务,而Hive作为一个大数据处理的仓库系统,它提供了对结构化数据的查询和分析能力。当需要通过图形化的数据库管理工具,如DBeaver,与Hive进行交互时,就需要用到特定的...

    Hive总结.docx

    【Hive原理】 Hive是基于Hadoop平台的数据仓库解决方案,它主要解决了在大数据场景下,业务人员和数据科学家能够通过熟悉的SQL语言进行数据分析的问题。Hive并不存储数据,而是依赖于HDFS进行数据存储,并利用...

Global site tag (gtag.js) - Google Analytics