PostgreSQL服务过程中的那些事二：Pg服务进程处理简单查询五：规划成plantree

 

话说 查询“ select cname, comp from test1, test2 where test1.id=test2.id; ” 发送到服务器端， 走查询分支 exec_simple_query ，先调用 start_xact_command 初始化了事务管理相关对象和资源，接着调用 pg_parse_query ，通过 Lex 和 Yacc 对传入 SQL 语句进行词法语法解析，生成解析树。下来调用 GetTransactionSnapshot 方法做内存快照，然后调用 pg_analyze_and_rewrite 方法，进行语义分析把 parsetree 转换成 querytree ，然后对该 querytree 进行重写。接着调用 pg_plan_queries 方法，根据 querytree 做查询 规划，生成查询计划树 plantree 。

 

1

下面是对 querytree 进行优化并生成 plantree 的调用序列图。

Postgres 服务进程简查之查询规划调用序列图

 

上图红色方框中显示了 pg_plan_queries 方法对 querytree 做查询 规划，生成查询计划树 plantree 的方法调用过程，大致上处理步骤是提升子连接和子查询、生成最优查询路径、生成执行计划。

在 subquery_planner 方法里都有方法 pull_up_sublinks 提升子连接，调用方法 pull_up_subqueries 提升子查询，目的是尽量合并父查询和子查询中的 WHERE 子句里的条件，尽量在做最耗费时间的表连接操作之前，先用约束条件把涉及到的元组数目缩到最小。接着处理表达式等，都是和前面同样的目的。

还有其中的方法 inline_set_returning_functions 内联返回函数、方法 preprocess_rowmarks 预处理行标记、方法 expand_inherited_tables 扩展集成表、方法 preprocess_expression 预处理表达式、方法 reduce_outer_joins 尽量减少外连接。

接着调用方法 grouping_planner 做规划处理，规划处理主要是生成路径，路径就是告诉执行器如何取到要操作的元组，这些元组可以来自一个表，也可以来自多个表，对于多个表，是按两两逐个连接完成，即 转化成多个两表连接查询 。举个例子，如一个查询涉及三个表 A 、 B 、 C 的连接，处理时可以先 A 、 B 连接生成结果 D ，再 D 、 C 连接得到目标结果集。这样连接的顺序就有多种，就产生了多个路径。方法 query_planner 生成了这些路径。然后评估代价，找出最优路径，把和最优路径对应的执行计划树 plantree 返回。 Pg 里面的代价估算采用基于成本的代价估算，本节后面会简单讨论一下这个估算方法。

       这个过程涉及连接算法（ Hash Join 、 Nested Loop 、 Merge Join ）、扫描算法（ Seq Scan 、 Index Scan 、 Bitmap Scan ）、分组算法（ HashAggregate 、 GroupAggregate ）、排序算法等算法的选择。

       这部分内容涉及到结构和处理及代码量比上节只多不少，在这就不列举了，有兴趣的根据方法调用流程图看源码吧，下面给出处理完的结果 plantree 结构图。

例子里查询语句对应的 plantree 结构图

把这个例子再重复一下：

create table test1 (ID numeric(10), cname varchar(30));

create table test2 (ID numeric(10), comp varchar(30));

select cname,comp from test1,test2 where test1.id=test2.id;

上面的图《例子里查询语句对应的 plantree 结构图》就是 SQL 语句“ select cname,comp from test1,test2 where test1.id=test2.id ”在 pg 里产生的 plantree 。

pg 输出的 querytree 如下：

 

2011-11-23 06:57:39 HKT LOG:  plan:

2011-11-23 06:57:39 HKT DETAIL:      {PLANNEDSTMT

          :commandType 1

          :hasReturning false

          :hasModifyingCTE false

          :canSetTag true

          :transientPlan false

          :planTree

             {HASHJOIN

             :startup_cost 24.63

             :total_cost 116.69

             :plan_rows 2113

             :plan_width 156

             :targetlist (

                {TARGETENTRY

                :expr

                   {VAR

                   :varno 65001

                   :varattno 2

                   :vartype 1043

                   :vartypmod 34

                   :varcollid 100

                   :varlevelsup 0

                   :varnoold 1

                   :varoattno 2

                   :location 7

                   }

                :resno 1

                :resname cname

                :ressortgroupref 0

                :resorigtbl 16394

                :resorigcol 2

                :resjunk false

                }

                {TARGETENTRY

                :expr

                   {VAR

                   :varno 65000

                   :varattno 1

                   :vartype 1043

                   :vartypmod 34

                   :varcollid 100

                   :varlevelsup 0

                   :varnoold 2

                   :varoattno 2

                   :location 13

                   }

                :resno 2

                :resname comp

                :ressortgroupref 0

                :resorigtbl 16397

                :resorigcol 2

                :resjunk false

                }

             )

              :qual <>

             :lefttree

                {SEQSCAN

                :startup_cost 0.00

                :total_cost 16.50

                :plan_rows 650

                :plan_width 94

                :targetlist (

                   {TARGETENTRY

                   :expr

                      {VAR

                       :varno 1

                      :varattno 1

                      :vartype 1700

                      :vartypmod 655364

                      :varcollid 0

                      :varlevelsup 0

                      :varnoold 1

                      :varoattno 1

                      :location -1

                      }

                   :resno 1

                   :resname <>

                   :ressortgroupref 0

                   :resorigtbl 0

                   :resorigcol 0

                   :resjunk false

                   }

                   {TARGETENTRY

                   :expr

                      {VAR

                      :varno 1

                      :varattno 2

                      :vartype 1043

                      :vartypmod 34

                      :varcollid 100

                      :varlevelsup 0

                      :varnoold 1

                      :varoattno 2

                      :location -1

                      }

                   :resno 2

                   :resname <>

                   :ressortgroupref 0

                   :resorigtbl 0

                   :resorigcol 0

                   :resjunk false

                   }

                )

                 :qual <>

                :lefttree <>

                :righttree <>

                :initPlan <>

                :extParam (b)

                :allParam (b)

                :scanrelid 1

                }

             :righttree

                {HASH

                :startup_cost 16.50

                :total_cost 16.50

                :plan_rows 650

                :plan_width 94

                :targetlist (

                   {TARGETENTRY

                   :expr

                      {VAR

                      :varno 65001

                      :varattno 1

                      :vartype 1043

                       :vartypmod 34

                      :varcollid 100

                      :varlevelsup 0

                      :varnoold 2

                      :varoattno 2

                      :location -1

                      }

                   :resno 1

                   :resname <>

                   :ressortgroupref 0

                   :resorigtbl 0

                   :resorigcol 0

                   :resjunk false

                   }

                   {TARGETENTRY

                   :expr

                      {VAR

                      :varno 65001

                      :varattno 2

                       :vartype 1700

                      :vartypmod 655364

                      :varcollid 0

                      :varlevelsup 0

                      :varnoold 2

                      :varoattno 1

                      :location -1

                      }

                   :resno 2

                   :resname <>

                   :ressortgroupref 0

                   :resorigtbl 0

                   :resorigcol 0

                   :resjunk false

                   }

                )

                :qual <>

                :lefttree

                   {SEQSCAN

                   :startup_cost 0.00

                    :total_cost 16.50

                   :plan_rows 650

                   :plan_width 94

                   :targetlist (

                      {TARGETENTRY

                      :expr

                         {VAR

                         :varno 2

                         :varattno 2

                          :vartype 1043

                         :vartypmod 34

                         :varcollid 100

                         :varlevelsup 0

                         :varnoold 2

                         :varoattno 2

                         :location 13

                         }

                       :resno 1

                      :resname <>

                      :ressortgroupref 0

                      :resorigtbl 0

                      :resorigcol 0

                      :resjunk false

                      }

                      {TARGETENTRY

                      :expr

                          {VAR

                         :varno 2

                         :varattno 1

                         :vartype 1700

                         :vartypmod 655364

                         :varcollid 0

                         :varlevelsup 0

                         :varnoold 2

                         :varoattno 1

                         :location 50

                         }

                      :resno 2

                      :resname <>

                      :ressortgroupref 0

                      :resorigtbl 0

                      :resorigcol 0

                      :resjunk false

                      }

                   )

                   :qual <>

                   :lefttree <>

                   :righttree <>

                   :initPlan <>

                   :extParam (b)

                   :allParam (b)

                   :scanrelid 2

                   }

                :righttree <>

                :initPlan <>

                :extParam (b)

                :allParam (b)

                :skewTable 16394

                :skewColumn 1

                :skewInherit false

                :skewColType 1700

                :skewColTypmod 655364

                }

             :initPlan <>

             :extParam (b)

             :allParam (b)

             :jointype 0

             :joinqual <>

             :hashclauses (

                {OPEXPR

                :opno 1752

                :opfuncid 1718

                :opresulttype 16

                :opretset false

                :opcollid 0

                :inputcollid 0

                :args (

                   {VAR

                   :varno 65001

                   :varattno 1

                   :vartype 1700

                   :vartypmod 655364

                   :varcollid 0

                   :varlevelsup 0

                   :varnoold 1

                   :varoattno 1

                   :location 41

                   }

                   {VAR

                   :varno 65000

                   :varattno 2

                   :vartype 1700

                   :vartypmod 655364

                   :varcollid 0

                   :varlevelsup 0

                   :varnoold 2

                   :varoattno 1

                   :location 50

                   }

                )

                :location -1

                }

             )

             }

          :rtable (

             {RTE

             :alias <>

             :eref

                {ALIAS

                :aliasname test1

                :colnames ("id" "cname")

                }

             :rtekind 0

             :relid 16394

             :relkind r

             :inh false

             :inFromCl true

             :requiredPerms 2

             :checkAsUser 0

             :selectedCols (b 9 10)

             :modifiedCols (b)

             }

             {RTE

             :alias <>

             :eref

                {ALIAS

                :aliasname test2

                :colnames ("id" "comp")

                }

             :rtekind 0

             :relid 16397

             :relkind r

             :inh false

             :inFromCl true

              :requiredPerms 2

             :checkAsUser 0

             :selectedCols (b 9 10)

             :modifiedCols (b)

             }

          )

          :resultRelations <>

          :utilityStmt <>

          :intoClause <>

          :subplans <>

          :rewindPlanIDs (b)

          :rowMarks <>

          :relationOids (o 16394 16397)

          :invalItems <>

          :nParamExec 0

          }

 

2

规划器为每个 SQL 的不同执行计划进行基于成本的代价估算， 查询的总代价包括读取数据的 IO 代价加上各种操作的代价之和， IO 代价包括顺序读取数据或索引页（ seq_scan_cost ）和随机读取数据页（ random_scan_cost ）的代价，操作代价包括处理表元组（ cpu_tuple_cost ）、处理比较操作（ cpu_operator_cost ）和处理索引元组（ cpu_index_tuple_cost ），因此，如果在一个表上做全表顺序扫描并执行过滤，其代价是：

Cost = seq_scan_cost*relpages + cpu_tuple_cost*reltuples + cpu_operator_cost*reltuples

其中 relpages 、 reltuples 是系统表 pg_class 里的字段， seq_scan_cost 、 cpu_tuple_cost 、 cpu_operator_cost 是影响成本计算的参数，这些参数包括 cpu_index_tuple_cost (0.005) 、 cpu_operator_cost (0.0025) 、 cpu_tuple_cost (0.01) 、 random_page_cost (4.0) 、 seq_page_cost (1.0) ， 参数后面括号里的是默认值，这些参数值可以根据情况改变。 传统上，它们以抓取顺序页的成本作为基准单位，也就是将 seq_page_cost 设为 1.0 ，同时其它参数是对照它来设置的。

 

就到这儿吧。

 

 

------------
转载请注明出处，来自博客：
blog.csdn.net/beiigang
beigang.iteye.com