MySQL 利用多线程提升查询性能的一种思路

背景

       报表统计类的查询是一类耗时的查询。使用场景是QPS并不大，单每个查询由于需要访问较多数据，对大量数据做处理，执行时间较长（通常秒级以上）。

      

分析

可以将一个大查询分成多个子查询，如果子查询需要访问的数据为整个查询的1/n，则可估计执行时间为1/n。但由于MySQL一个查询只能在单线程中执行，导致即使将一个大查询拆分成多个子查询，多个子查询执行后合并，需要时间为n*1/n=1，仍不能提升其性能。

问题的症结在于只能单线程执行。本方案提供一种引擎Multi-thread-query，让MySQL能够用多线程同时执行多个子查询。由于还要做一点合并工作，整个查询的时间将略大于n个子查询中查询时间最长的一个，即性能接近n倍。

最后一部分举了一个例子，n=3。

 

方案说明

 

1、图示

 

2、用户对MTQ发起查询，MTQ拆分成多个子查询向实体表发起多线程查询。

3、MTQ等待全部线程执行完成后，可以在此基础上执行其他函数操作，如count、avg、group by等。

4、需要修改SQL查询格式，子查询如何拆分，由用户在查询里面指定。

5、适用于每个子查询都是计算量大，返回结果少的情况。（若返回结果越多，合并耗时越大）

举例

以一个统计查询需求为例（数据是构造的，木有神马泄密问题）

一个正常的查询如下：

 

查询结果

 

 

 

 

相同机器上使用MTQ查询语法：

 

 

MTQ查询结果

 

 

 

   可以看到，时间从3s减少为1.2s，查询结果相同，查询语句上可以直接做sum、group by操作。

评论

4 楼 sea267 2012-12-29  

   楼主能否说下这个怎么用啊？！现在被这个统计问题困扰了很久！~

3 楼 babaoqi 2012-07-27  

处理思路有点云处理的样子，只不过目标机器在同一台而已，呵呵

2 楼 qiuqiu3 2012-05-29  

这是什么引擎，网络上没找到

1 楼 JetMah 2012-03-01  

这语法也太复杂了些吧？