探究mysql预编译

探究mysql预编译     http://cs-css.iteye.com/blog/1847772

一．背景：

用Mybatis+mysql的架构做开发，大家都知道，Mybatis内置参数，形如#{xxx}的，均采用了sql预编译的形式，举例如下：

<select id=”aaa” parameterType=”int” returnType=”Blog”>
                   select * from blog where id = #{id}
    </select>

 

         查看日志后，会发现这个sql执行时被记录如下：

         

select * from blog where id =?

 

        之前上网查过一些资料，大致知道mybatis底层使用PreparedStatement，过程是先将带有占位符（即”?”）的sql模板发送至mysql服务器，由服务器对此无参数的sql进行编译后，将编译结果缓存，然后直接执行带有真实参数的sql。网上关于这个问题的资料较少，但基本结论是，使用预编译，可以提高sql的执行效率，并且有效地防止了sql注入。我一直对这个结论深信不疑，直到看了一篇名叫“Java中连结MySQL启用预编译的先决条件是useServerPstmts=true.”的文章，说mysql是默认不开启预编译的，大多数持久层框架（例如mybatis）和jdbc代码都没有做到真实开启预编译，文章链接如下：http://blog.csdn.net/axman/article/details/6913527  ，另外还有一些文章说mysql是不支持预编译的，总之，众说纷纭，因为项目中使用的就是mysql，所以我决定花一些时间来探究一下这个问题。

二．问题：

       我的疑问有两点：1.mysql是否默认开启了预编译功能？若没有，将如何开启？ 2.预编译是否能有效地节省sql执行的成本？

三．探究一：mysql是否默认开启预编译？

       首先针对第一个问题。懒得开linux虚拟机了，我电脑上已经安装了mysql，版本是5.0.18，打开配置文件my.ini，在“port=3306“这一行下面加了配置：log=d:/logs/mysql50_log.txt，这样就开启了mysql日志功能，该日志主要记录mysql执行sql的过程。重启mysql，并建立一个库prepare_stmt_test，在该库下建一个叫users的表，有id（主键）和name两个字段。

         接着，我建立了一个简单的java工程，引入jdbc驱动包mysql-connector-java-5.0.3-bin.jar。然后写了如下的代码：

        

public static void main(String []a) throws Exception{
       String sql = "select * from users where name = ?";
       Class.forName("com.mysql.jdbc.Driver");
       Connection conn = null;
       try{
           conn = DriverManager.getConnection("jdbc:mysql://localhost:3306/prepare_stmt_test?user=root&password=root");
           PreparedStatement stmt = conn.prepareStatement(sql);
           stmt.setString(1, "aaa");
           ResultSet rs = stmt.executeQuery();
           rs.close();
           stmt.close();
       }catch(Exception e){
           e.printStackTrace();
       }finally{
           conn.close();
       }
   }

 

    执行这些代码后，打开刚才配置的mysql日志文件mysql50_log.txt，日志记录如下：

    1 Query       SET NAMES utf8

                         1 Query       SET character_set_results = NULL

                         1 Query       SHOW VARIABLES

                         1 Query       SHOW COLLATION

                         1 Query       SET autocommit=1

                         1 Prepare     [1]

                         1 Execute     [1] select * from users where name = 'aaa'

                         1 Quit      

         日志格式有点奇怪，明明打出了prepare关键字，但没有我设定的预编译的语句“select * from users where name = ?”，更令人疑惑的是，刚才说的那篇名叫“Java中连结MySQL启用预编译的先决条件是useServerPstmts=true.”的文章里提到的，若jdbc连接没有加useServerPrepStmts =true，mysql日志里连prepare关键字都不会记录。而我的测试结果是，不加useServerPrepStmts =true，prepare关键字是有的，但没有预编译的sql模板“select * from users where name = ?”。

         可能是我的mysql版本比较老吧，于是我停掉mysql5.0服务，安装了mysql5.5，依照刚才那样建库建表，并启用了一个新的mysql日志文件mysql55_log.txt。一切OK后，我又一次执行了刚才的测试程序，然后打开日志文件mysql55_log.txt，发现了这样的记录：

            1 Query      SET NAMES utf8

                       1 Query    SET character_set_results = NULL

                       1 Query    SHOW VARIABLES

                       1 Query    SHOW WARNINGS

                       1 Query    SHOW COLLATION

                       1 Query    SET autocommit=1

                       1 Prepare          select * from users where name = ?

                       1 Execute          select * from users where name = 'aaa'

                       1 Close stmt   

                       1 Quit      

         终于看到sql模板“select * from users where name = ?”了，但仍然有很多疑惑，首先，刚才的mysql5.0到底开启预编译了吗？其次，我并没有加useServerPrepStmts =true配置，但mysql5.5的确是做了预编译的操作的，这与“Java中连结MySQL启用预编译的先决条件是useServerPrepStmts =true.<!--[if !supportNestedAnchors]--><!--[endif]-->”这篇文章的测试结果大相径庭。

         带着这些问题，又仔细阅读了一下CSDN上这篇文章，作者的结论是：jdbc连接mysql时配置useServerPrepStmts参数为true后才能开启mysql预编译功能。看来这个useServerPrepStmts参数是很重要的，于是我将刚才代码里的jdbc连接修改如下：

DriverManager.getConnection("jdbc:mysql://localhost:3306/prepare_stmt_test?user=root&password=root&useServerPrepStmts =false")

 

执行代码后，再次查看mysql日志：

1 Query    SET NAMES utf8

                       1 Query    SET character_set_results = NULL

                       1 Query    SHOW VARIABLES

                       1 Query    SHOW WARNINGS

                       1 Query    SHOW COLLATION

                       1 Query    SET autocommit=1

                       1 Query    select * from users where name = 'aaa'

130410 15:06:48          1 Quit      

果然，日志了没有了prepare这一行，说明mysql没有进行预编译。这意味着useServerPrepStmts这个参数是起效的，且默认值为true。那么，为什么在刚才那篇文章里，作者得出的结论是useServerPrepStmts默认为false呢？

继续思考了一阵，我突然意识到，useServerPrepStmts这个参数是jdbc的连接参数，这说明此问题与jdbc驱动程序可能有关系。打开mysql官网，发现在线的官方文档很强大，支持全文检索，于是我将“useServerPrepStmts”做为关键字，搜索出了一些信息，原文如下：

Important change: Due to a number of issues with the use of server-side prepared statements, Connector/J 5.0.5 has disabled their use by default. The disabling of server-side prepared statements does not affect the operation of the connector in any way.

To enable server-side prepared statements, add the following configuration property to your connector string:

useServerPrepStmts=true

The default value of this property is false (that is, Connector/J does not use server-side prepared statements)

       这段文字说，Connector/J在5.0.5以后的版本，默认useServerPrepStmts参数为false，Connector/J就是我们熟知的jdbc驱动程序。看来，如果我们的驱动程序为5.0.5或之后的版本，想启用mysql预编译，就必须设置useServerPrepStmts=true。我的jdbc驱动用的是5.0.3，这个版本的useServerPrepStmts参数默认值是true。于是我将java工程中的jdbc驱动程序替换为5.0.8的版本，去掉代码里jdbc连接中的useServerPrepStmts参数，再执行，发现mysql5.5的日志打印如下：

           2 Query         SHOW SESSION VARIABLES

                       2 Query    SHOW WARNINGS

                       2 Query    SHOW COLLATION

                       2 Query    SET NAMES utf8

                       2 Query    SET character_set_results = NULL

                       2 Query    SET autocommit=1

                       2 Query    select * from users where name = 'aaa'

                       2 Quit      

         那么，mysql5.0呢？我停掉mysql5.5服务，开启mysql5.0，再执行java代码，查看mysql5.0的日志：

         1 Query       SHOW SESSION VARIABLES

                         1 Query       SHOW COLLATION

                         1 Query       SET NAMES utf8

                         1 Query       SET character_set_results = NULL

                         1 Query       SET autocommit=1

                         1 Query       select * from users where name = 'aaa'

                         1 Quit 

         果然，在mysql5.0日志里，prepare关键字没有了。mysql5.0的日志格式和mysql5.5的不太一样，5.0日志只打印一个“prepare”关键字，而不打印预编译sql模板。

   第一个问题解决了，结论就是：mysql是否默认开启预编译，与MySQL server的版本无关，而与 MySQL Connector/J（驱动程序）的版本有关，Connector/J 5.0.5及以后的版本默认不支持预编译，Connector/J 5.0.5之前的版本默认支持预编译。

四．探究二：预编译是否能有效地节省sql执行的成本？

       首先，我们要明白mysql执行一个sql语句的过程。查了一些资料后，我得知，mysql执行脚本的大致过程如下：prepare（准备）-> optimize（优化）-> exec（物理执行），其中，prepare也就是我们所说的编译。开篇时已经说过，对于同一个sql模板，如果能将prepare的结果缓存，以后如果再执行相同模板而参数不同的sql，就可以节省掉prepare（准备）的环节，从而节省sql执行的成本。明白这一点后，我写了如下测试程序：

      

public static void main(String []a) throws Exception{
      String sql = "select * from users where name = ?";
      Class.forName("com.mysql.jdbc.Driver");
      Connection conn = null;
      try{
          conn = DriverManager.getConnection("jdbc:mysql://localhost:3306/prepare_stmt_test?user=root&password=root&useServerPrepStmts=true");
          PreparedStatement stmt = conn.prepareStatement(sql);
          stmt.setString(1, "aaa");
          ResultSet rs1 = stmt.executeQuery();//第一次执行
s1.close();
          stmt.setString(1, "ddd");
          ResultSet rs2 = stmt.executeQuery();//第二次执行
          rs2.close();
          stmt.close();
      }catch(Exception e){
          e.printStackTrace();
      }finally{
          conn.close();
      }
   }

 

    执行该程序后，查看mysql日志：

1 Query    SHOW SESSION VARIABLES

                       1 Query    SHOW WARNINGS

                       1 Query    SHOW COLLATION

                       1 Query    SET NAMES utf8

                       1 Query    SET character_set_results = NULL

                       1 Query    SET autocommit=1

                       1 Prepare          select * from users where name = ?

                       1 Execute          select * from users where name = 'aaa'

                       1 Execute          select * from users where name = 'ddd'

                       1 Close stmt   

                       1 Quit      

按照日志看来，PreparedStatement重新设置sql参数后，并没有重新prepare，看来预编译起到了效果。但刚才我使用的是同一个stmt，如果将stmt关闭呢？

public static void main(String []a) throws Exception{
       String sql = "select * from users where name = ?";
       Class.forName("com.mysql.jdbc.Driver");
       Connection conn = null;
       try{
           conn = DriverManager.getConnection("jdbc:mysql://localhost:3306/prepare_stmt_test?user=root&password=root&useServerPrepStmts=true");
           PreparedStatement stmt = conn.prepareStatement(sql);
           stmt.setString(1, "aaa");
           ResultSet rs1 = stmt.executeQuery();//第一次执行
           rs1.close();
           stmt.close();
           stmt = conn.prepareStatement(sql);//重新获取一个statement
           stmt.setString(1, "ddd");
           ResultSet rs2 = stmt.executeQuery();//第二次执行
           rs2.close();
           stmt.close();
       }catch(Exception e){
           e.printStackTrace();
       }finally{
           conn.close();
       }
    }

 

mysql日志打印如下：

1 Query    SHOW SESSION VARIABLES

                       1 Query    SHOW WARNINGS

                       1 Query    SHOW COLLATION

                       1 Query    SET NAMES utf8

                       1 Query    SET character_set_results = NULL

                       1 Query    SET autocommit=1

                       1 Prepare          select * from users where name = ?

                       1 Execute          select * from users where name = 'aaa'

                       1 Close stmt   

                       1 Prepare          select * from users where name = ?

                       1 Execute          select * from users where name = 'ddd'

                       1 Close stmt   

                       1 Quit

很明显，关闭stmt后再执行第二个sql，mysql就重新进行了一次预编译，这样是无法提高sql执行效率的。而在实际的应用场景中，我们不可能保持同一个statement。那么，mysql如何缓存预编译结果呢？

搜索一些资料后得知，jdbc连接参数中有另外一个重要的参数：cachePrepStmts，设置为true后可以缓存预编译结果。于是我将测试代码中jdbc连接串改为了这样：

          

conn = DriverManager.getConnection("jdbc:mysql://localhost:3306/prepare_stmt_test?user=root&password=root&useServerPrepStmts=true&cachePrepStmts=true");

 

再执行代码后，发现mysql日志记录又变成了这样：

1 Prepare          select * from users where name = ?

                           1 Execute          select * from users where name = 'aaa'

                       1 Execute          select * from users where name = 'ddd'

OK，现在我们开启了预编译，并开启了缓存预编译的功能，那么开始性能测试。我向刚才的单表中插入了10000条数据，并做10000次同样sql模板，不同参数的select。记录结果如下：

当不开启预编译功能时，做5次测试，10000个select总时间为（单位毫秒）：

49172,49172,49000,49047,48922

开启预编译，但不开启预编译缓存时，测试数值如下：

50797,50860,50672,50750,50703

开启预编译，开启预编译缓存，测试数值如下：

49547,49250,49593,49093,49078.

从测试结果看来，若开启预编译，但不开启预编译缓存，查询效率会有明显下降；但开启预编译且开启预编译缓存时，查询效率比不开启缓存有提高，但和不开启预编译基本持平。

结论出来了：对于Connector/J5.0.5以上的版本，若使用useServerPrepStmts=true开启预编译，则一定要同时使用cachePrepStmts=true 开启预编译缓存，否则性能会下降，若二者都开启，性能并没有显著的提高，这个可能是我测试程序的原因，有待进一步研究。

五．总结：

       经过这一系列的探究，能够得出一些结论：

首先批一下《Java中连结MySQL启用预编译的先决条件是useServerPstmts=true.》这篇文章吧，文章写得很不科学，作者并没有关注mysql和Connector/J的版本之间的差异，对于mysql，他说mysql一定支持预编译，事实上，经过我查询官方文档后，得知MySQL Server 4.1之前的版本是不支持预编译的；对于Connector/J，他也没有关注5.0.5这个版本节点。所以，虽然被浏览转载了很多次，但这篇文章的结论仍然是错误的，应该也误导了不少人；对于开启预编译和预编译缓存后对性能的影响，这篇文章也没有涉及，事实上经过我测试，若jdbc驱动是5.0.5及之后的版本，同时开启预编译和预编译缓存，sql的执行性能并没有显著提高，若jdbc驱动是5.0.5之前的版本，默认开启了预编译，则一定要加cachePrepStmts=true，否则mysql的执行效率会比较低。总之，预编译和预编译缓存一定要同时开启或同时关闭，不同Connector/J的版本，useServerPrepStmts的默认值会有所不同。

再谈谈SQL预编译这个东西，其实“预编译”这个叫法不是很准确，官方文档里把它叫做“预准备”。经过我测试，对于mysql，开启了预编译缓存后，不同connection之间，预编译的结果是独立的，是无法共享的，一个connection无法得到另外一个connection的预编译缓存结果，对于这一点，我想mysql的开发人员应该会在以后逐步改进吧。再一点，关于预编译缓存的内容，我查了相关的资料后得知，mysql执行一个预编译操作后，会将sql模板（即带占位符“?”的sql），以及参数列表（模板中用各个占位符表示）缓存，下一次有同样的sql模板发来的时候，直接将参数传给这个模板，拼好后execute。虽然mysql的预编译功能对性能影响不大，但在jdbc中使用PreparedStatement是必要的，可以有效地防止sql注入，这一点大家都明白。