mysql的jdbc驱动分析

annegu

浏览: 99634 次
性别:
来自: 杭州

最近访客更多访客>>

h521999

raoyutao

xiongc

frk

博主相关

博客

微博

相册

留言

关于我

文章分类

全部博客 (16)

社区版块

存档分类

MySQL JDBC SQL Server SQL Oracle

/**
*作者:annegu
*日期:2009-07-01
*/

Mysql是一个中小型关系型数据库管理系统，目前使用的也比较广泛。为了对开发中间dao层的问题能有更深的理解，在遇到问题的时候能够有更多的思路，于是研究了一下mysql驱动的使用，并且在这过程中也发现了一直以来关于PreparedStatement常识理解上的错误，与大家分享。

下面是个最简单的使用jdbc取得数据的应用。在例子之后我将分成4步，分别是①取得连接，②创建PreparedStatement，③设置参数，④执行查询，来分步分析这个过程。除了设置参数那一步之外，其他的我都画了时序图，如果不想看文字的话，可以对着时序图

。文中的第4步是组装mysql协议并发送数据包的关键，而且在这部分的(b)环节，我对于PreparedStatement的应用有详细的代码注释分析，建议大家关注一下。

public class DBHelper {
	public static Connection getConnection() {
		Connection conn = null;
		try {
			Class.forName("com.mysql.jdbc.Driver");
			conn = DriverManager.getConnection("jdbc:mysql://localhost/ad?useUnicode=true&characterEncoding=GBK&jdbcCompliantTruncation=false",
					"root", "root");
		} catch (Exception e) {
			e.printStackTrace();
		}
		return conn;
	}
}

        /*dao中的方法*/
	public List<Adv> getAllAdvs() {
		
		Connection conn = null;
		ResultSet rs = null;
		PreparedStatement stmt = null;
		String sql = "select * from adv where id = ?";
		List<Adv> advs = new ArrayList<Adv>();

		conn = DBHelper.getConnection();
		if (conn != null) {
			try {
				stmt = conn.prepareStatement(sql);
                                stmt.setInt(1, new Integer(1));
				rs = stmt.executeQuery();

				if (rs != null) {
					while (rs.next()) {
						Adv adv = new Adv();
						adv.setId(rs.getLong(1));
						adv.setName(rs.getString(2));
						adv.setDesc(rs.getString(3));
						adv.setPicUrl(rs.getString(4));

						advs.add(adv);
					}
				}
			} catch (SQLException e) {
				e.printStackTrace();
			} finally {
				try {
					stmt.close();
					conn.close();
				} catch (SQLException e) {
					e.printStackTrace();
				}
			}
		}
		return advs;
	}

1、首先我们看到要的到一个数据库连接，得到数据库连接这部分放在DBHelper类中的getConnection方法中实现。Class.forName("com.mysql.jdbc.Driver");用来加载mysql的jdbc驱动。

public class Driver extends NonRegisteringDriver implements java.sql.Driver {
	static {
		try {
			java.sql.DriverManager.registerDriver(new Driver());
		} catch (SQLException E) {
			throw new RuntimeException("Can't register driver!");
		}
	}
	public Driver() throws SQLException {
	}
}

Mysql的Driver类实现了java.sql.Driver接口，任何数据库提供商的驱动类都必须实现这个接口。在DriverManager类中使用的都是接口Driver类型的驱动，也就是说驱动的使用不依赖于具体的实现，这无疑给我们的使用带来很大的方便。如果需要换用其他的数据库的话，只需要把Class.forName()中的参数换掉就可以了，可以说是非常方便的。

在com.mysql.jdbc.Driver类中，除了构造方法，就是一个static的方法体，它调用了DriverManager的registerDriver()方法，这个方法会加载所有系统提供的驱动，并把它们都假如到具体的驱动类中，当然现在就是mysql的Driver。在这里我们第一次看到了DriverManager类，这个类中提供了jdbc连接的主要操作，创建连接就是在这里完成的，可以说这是一个管理驱动的工具类。

    public static synchronized void registerDriver(java.sql.Driver driver)
	throws SQLException {
	if (!initialized) {
	    initialize();
	}
      
	DriverInfo di = new DriverInfo();

   /*把driver的信息封装一下，组成一个DriverInfo对象*/
	di.driver = driver;
	di.driverClass = driver.getClass();
	di.driverClassName = di.driverClass.getName();

	writeDrivers.addElement(di); 
	println("registerDriver: " + di);
	
	readDrivers = (java.util.Vector) writeDrivers.clone();

    }

注册驱动首先就是初始化，然后把驱动的信息封装一下放进一个叫做DriverInfo的驱动信息类中，最后放入一个驱动的集合中。初始化工作主要是完成所有驱动的加载。
至于驱动的集合writeDrivers和readDrivers，很有趣的是，无论是registerDriver还是deregisterDriver，都是先对writeDrivers中的数据进行添加或者删除，然后再把writeDrivers中的驱动都拷贝到readDrivers中，但每次取出driver却从来不从writeDrivers中取，都是通过readDrivers来获得。我认为可以这样理解，writeDrivers只负责注册driver与注销driver，而readDrivers只负责提供可用的driver，只有当writeDrivers中准备好了驱动，这些驱动才是可以使用的，所以才能被copy至readDrivers中以备使用。这样一来，对内的注册注销与对外的提供使用就分开来了。

第二步就要根据url和用户名，密码来获得数据库的连接了。url一般都是这样的格式：jdbc:protocol://host_name:port/db_name?parameter_name=param_value。开头部分的protocal是对应于不同的数据库提供商的协议，例如mysql的就是mysql。

DriverManager中有重载了四个getConnection()，因为我们有用户名和密码，就把用户和密码存放在Properties中，最后进入终极getConnection()，如下：

    private static Connection getConnection(
	String url, java.util.Properties info, ClassLoader callerCL) throws SQLException {
	java.util.Vector drivers = null;
	...
	if (!initialized) {
	    initialize();
	}
    /*取得连接使用的driver从readDrivers中取*/
	synchronized (DriverManager.class){ 
	    drivers = readDrivers;  
        }

	SQLException reason = null;
	for (int i = 0; i < drivers.size(); i++) {
	    DriverInfo di = (DriverInfo)drivers.elementAt(i);
      
	    if ( getCallerClass(callerCL, di.driverClassName ) != di.driverClass ) {
		continue;
	    }
	    try {
        /*找到可供使用的驱动，连接数据库server*/
		Connection result = di.driver.connect(url, info);
		if (result != null) {
		    return (result);
		}
	    } catch (SQLException ex) {
		if (reason == null) {
		    reason = ex;
		}
	    }
	}
    
	if (reason != null)    {
	    println("getConnection failed: " + reason);
	    throw reason;
	}    
	throw new SQLException("No suitable driver found for "+ url, "08001");
    }

Initialize()简直无所不在，DriverManager中只要使用driver之前，就要检查一下有没有初始化，非常小心。然后开始遍历所有驱动，直到找到一个可用的驱动，用这个驱动来取得一个数据库连接，最后返回这个连接。当然，这是正常的情况，从上面我们可以看到，程序中对异常的处理很仔细。如果连接失败，会记录抛出的第一个异常信息，如果没有找到合适的驱动，就抛出一个08001的错误。

现在重点就是假如一切正常，就应该从driver.connect()返回一个数据库连接，所以我们来看看如何通过url提供的数据库。

	public java.sql.Connection connect(String url, Properties info)
			throws SQLException {
		Properties props = null;
		if ((props = parseURL(url, info)) == null) {
			return null;
		}

		try {
			Connection newConn = new com.mysql.jdbc.Connection(host(props),
					port(props), props, database(props), url);

			return newConn;
		} catch (SQLException sqlEx) {
			throw sqlEx;
		} catch (Exception ex) {
			throw SQLError.createSQLException(...);
		}
	}

很简洁的写法，就是新建了一个mysql的connection，host, port, database给它传进入，让它去连接就对了，props里面是些什么东西呢，就是把url拆解一下，什么host，什么数据库名，然后url后面的一股脑的参数，再把用户跟密码也都放进入，反正就是所有的连接数据都放进入了。
在com.mysql.jdbc.Connection的构造方法里面，会先做一些连接的初始化操作，例如创建PreparedStatement的cache，创建日志等等。然后就进入createNewIO()来建立连接了。

从时序图中可以看到，createNewIO()就是新建了一个com.mysql.jdbc.MysqlIO，利用com.mysql.jdbc.StandardSocketFactory来创建一个socket。然后就由这个mySqlIO来与MySql服务器进行握手(doHandshake())，这个doHandshake主要用来初始化与Mysql server的连接，负责登陆服务器和处理连接错误。在其中会分析所连接的mysql server的版本，根据不同的版本以及是否使用SSL加密数据都有不同的处理方式，并把要传输给数据库server的数据都放在一个叫做packet的buffer中，调用send()方法往outputStream中写入要发送的数据。

2、PreparedStatement stmt = conn.prepareStatement(sql);使用得到的connection创建一个Statement。Statement有许多种，我们常用的就是PreparedStatement，用于执行预编译好的SQL语句，CallableStatement用于调用数据库的存储过程。它们的继承关系如下图所示。

一旦有了一个statement，就可以通过执行statement.executeQuery()并通过ResultSet对象读出查询结果（如果查询有返回结果的话）。

创建statement的方法一般都有重载，我们看下面的prepareStatement:

	public java.sql.PreparedStatement prepareStatement(String sql)
			throws SQLException {
		return prepareStatement(sql, java.sql.ResultSet.TYPE_FORWARD_ONLY,
				java.sql.ResultSet.CONCUR_READ_ONLY);
	}

        public java.sql.PreparedStatement prepareStatement(String sql,
			int resultSetType, int resultSetConcurrency) throws SQLException;

如果没有指定resultSetType和resultSetConcurrency的话，会给它们默认设置一个值。
ResultSet中的参数常量主要有以下几种：
TYPE_FORWARD_ONLY： ResultSet的游标只能向前移动。
TYPE_SCROLL_INSENSITIVE：ResultSet的游标可以滚动，但对于resultSet下的数据改变不敏感。
TYPE_SCROLL_SENSITIVE：ResultSet的游标可以滚动，但对于resultSet下的数据改变是敏感的。
CONCUR_READ_ONLY：不可以更新的ResultSet的并发模式。
CONCUR_UPDATABLE：可以更新的ResultSet的并发模式。
FETCH_FORWARD：按正向（即从第一个到最后一个）处理结果集中的行。
FETCH_REVERSE：按反向（即从最后一个到第一个）处理结果集中的行处理。
FETCH_UNKNOWN：结果集中的行的处理顺序未知。
CLOSE_CURSORS_AT_COMMIT：调用Connection.commit方法时应该关闭 ResultSet 对
HOLD_CURSORS_OVER_COMMIT：调用Connection.commit方法时不应关闭ResultSet对象。

prepareStatement的创建如下图所示：

在new ParseInfo中，会对这个sql语句进行分析，例如看看这个sql是什么语句；有没有limit条件语句，还有一个重要的工作，如果使用的是PreparedStatement来准备sql语句的话，会在这里把sql语句进行分解。我们知道PreparedStatement对象在实例化创建时就被设置了一个sql语句，使用PreparedStatement对象执行的sql语句在首次发送到数据库时，sql语句就会被编译，这样当多次执行同一个sql语句时，mysql就不用每次都去编译sql语句了。这个sql语句如果包含参数的话，可以用问号(”?”)来为参数进行占位，而不需要立即为参数赋值，而在语句执行之前，必须通过适当的set***()来为问号处的参数赋值。New ParseInfo()中，包含了参数的sql语句就会被分解为多段，放在staticSql中，以便需要设置参数时定位参数的位置。假如sql语句为“select * from adv where id = ? and name = ?”的话，那么staticSql中的元素就是3个，staticSql[3]={ ”select * from adv where id = ”, ” and name = ” , ””}。注意数组中最后一个元素，在这个例子中是””，因为我的例子里面最后一个就是”?”，如果sql语句是这样的“select * from adv where id = ? and name = ? order by id”的话，staticSql就变成是这样的{ ”select * from adv where id = ”, ” and name = ” , ” order by id”}。

3、stmt.setInt(1, new Integer(1));
设置sql语句中的参数值。
对于参数而言，PreparedStatement中一共有四个变量来储存它们，分别是
a) byte[][] parameterValues：参数转换为byte后的值。
b) InputStream[] parameterStreams：只有在调用存储过程batch（CallableStatement）的时候才会用到它，否则它的数组中的值设置为null。
c) boolean[] isStream：是否为stream的标志，如果调用的是preparedStatement，isStream数组中的值均为false，若调用的是CallableStatement，则均设置为true。
d) boolean[] isNull：标识参数是否为空，设置为false。
这四个变量的一维数组的大小都是一样的，sql语句中有几个待set的参数（几个问号），一维的元素个数就是多大。

4、ResultSet rs = stmt.executeQuery();
一切准备就绪，开始执行查询罗！
a) 检查preparedStatement是否已关闭，如果已关闭，抛出一个SQLError.SQL_STATE_CONNECTION_NOT_OPEN的错误。

b) fillSendPacket：创建数据包，其中包含了要发送到服务器的查询。
这个sendPacket就是mysql驱动要发送给数据库服务器的协议数据。一般来说，协议的数据格式有两种，一种是二进制流的格式，还有一种是文本的格式。文本协议就是基本上人可以直接阅读的协议，一般是用ascii字符集，也有用utf8格式的，优点是便于理解，读起来方便，扩充容易，缺点就是解析的时候比较麻烦，而且占用的空间比较大，冗余的数据比较多。二进制格式话，就需要服务器与客户端协议规定固定的数据结构，哪个位置放什么数据，如果单独看协议内容的话，很难理解数据含义，优点就是数据量小，解析的时候只要根据固定位置的值就能知道具体标识什么意义。
在这里使用的是二进制流的格式，也就是说协议中的数据格式是固定的，而且都要转换成二进制。格式为第一个byte标识操作信号，后面开始就是完整的sql语句的二进制流，请看下面的代码分析。

	protected Buffer fillSendPacket(byte[][] batchedParameterStrings,
			InputStream[] batchedParameterStreams, boolean[] batchedIsStream,
			int[] batchedStreamLengths) throws SQLException {
        // 从connection的IO中得到发送数据包，首先清空其中的数据
		Buffer sendPacket = this.connection.getIO().getSharedSendPacket();
		sendPacket.clear();
        
        /* 数据包的第一位为一个操作标识符（MysqlDefs.QUERY），表示驱动向服务器发送的连接的操作信号，包括有QUERY, PING, RELOAD, SHUTDOWN, PROCESS_INFO, QUIT, SLEEP等等，这个操作信号并不是针对sql语句操作而言的CRUD操作，从提供的几种参数来看，这个操作是针对服务器的一个操作。一般而言，使用到的都是MysqlDefs.QUERY，表示发送的是要执行sql语句的操作。
*/
		sendPacket.writeByte((byte) MysqlDefs.QUERY);

		boolean useStreamLengths = this.connection
				.getUseStreamLengthsInPrepStmts();

		int ensurePacketSize = 0;
		for (int i = 0; i < batchedParameterStrings.length; i++) {
			if (batchedIsStream[i] && useStreamLengths) {
				ensurePacketSize += batchedStreamLengths[i];
			}
		}

        /* 判断这个sendPacket的byte buffer够不够大，不够大的话，按照1.25倍来扩充buffer
*/
		if (ensurePacketSize != 0) {
			sendPacket.ensureCapacity(ensurePacketSize);
		}

        /* 遍历所有的参数。在prepareStatement阶段的new ParseInfo()中，驱动曾经对sql语句进行过分割，如果含有以问号标识的参数占位符的话，就记录下这个占位符的位置，依据这个位置把sql分割成多段，放在了一个名为staticSql的字符串中。这里就开始把sql语句进行拼装，把staticSql和parameterValues进行组合，放在操作符的后面。
*/
		for (int i = 0; i < batchedParameterStrings.length; i++) {

        /* batchedParameterStrings就是parameterValues，batchedParameterStreams就是parameterStreams，如果两者都为null，说明在参数的设置过程中出了错，立即抛出错误。
*/
			if ((batchedParameterStrings[i] == null)
					&& (batchedParameterStreams[i] == null)) {
				throw SQLError.createSQLException(Messages
						.getString("PreparedStatement.40") //$NON-NLS-1$
						+ (i + 1), SQLError.SQL_STATE_WRONG_NO_OF_PARAMETERS);
			}

        /*在sendPacket中加入staticSql数组中的元素，就是分割出来的没有”?”的sql语句，并把字符串转换成byte。
*/
			sendPacket.writeBytesNoNull(this.staticSqlStrings[i]);

        /* batchedIsStream就是isStream，如果参数是通过CallableStatement传递进来的话，batchedIsStream[i]==true，就用batchedParameterStreams中的值填充到问号占的参数位置中去。
*/
			if (batchedIsStream[i]) {
				streamToBytes(sendPacket, batchedParameterStreams[i], true,
						batchedStreamLengths[i], useStreamLengths);
			} else {
			
        /*否则的话，就用batchedParameterStrings，也就是parameterValues来填充参数位置。在循环中，这个操作是跟在staticSql后面的，因此就把第i个参数加到了第i个staticSql段中。参考前面的staticSql的例子，发现当循环结束的时候，原始sql语句最后一个”?”之前的sql语句就拼成了正确的语句了。
*/
	sendPacket.writeBytesNoNull(batchedParameterStrings[i]);
			}
		}

        /*由于在原始的包含问号的sql语句中，在最后一个”?”后面可能还有order by等语句，因此staticSql数组中的元素个数一定比参数的个数多1，所以这里把staticSqlString中的最后一段sql语句放入sendPacket中。
*/
		sendPacket
				.writeBytesNoNull(this.staticSqlStrings[batchedParameterStrings.length]);

		return sendPacket;
	}

假如sql语句为“select * from adv where id = ?”的话，这个sendPacket中第一个byte的值就是3(MysqlDefs.QUERY的int值)，后面接着的就是填充了参数值的完整的sql语句字符串(例如：select * from adv where id = 1)转换成的byte格式。

于是，我们看到，好像sql语句在这里就已经不是带”?”的preparedStatement，而是在驱动里面把参数替代到”?”中，再把完整的sql语句发送给mysql server来编译，那么尽管只是参数改变，但对于mysql server来说，每次都是新的sql语句，都要进行编译的。这与我们之前一直理解的PreparedStatement完全不一样。照理来说，应该把带”?”的sql语句发送给数据库server，由mysql server来编译这个带”?”的sql语句，然后用实际的参数来替代”?”，这样才是实现了sql语句只编译一次的效果。sql语句预编译的功能取决于server端，oracle就是支持sql预编译的。

所以说，从mysql驱动的PreparedStatement里面，好像我们并没有看到mysql支持预编译功能的证据。（实际测试也表明，如果server没有预编译功能的话，PreparedStatement和Statement的效率几乎一样，甚至当使用次数不多的时候，PreparedStatement比Statement还要慢一些）。
但是并不是说PreparedStatement除了给我们带来高效率就没有其他作用了，它还有非常好的其他作用：
i. 极大的提高了sql语句的安全性，可以防止sql注入
ii. 代码结构清晰，易于理解，便于维护。

2009-07-02增加（感谢gembler）：其实，在mysql5上的版本是支持预编译sql功能的。我用的驱动是5.0.6的，在com.mysql.jdbc.Connection中有一个参数useServerPreparedStmts，表明是否使用预编译功能，所以如果把useServerPreparedStmts置为true的话，mysql驱动可以通过PreparedStatement的子类ServerPreparedStatement来实现真正的PreparedStatement的功能。在这个类的serverExecute方法里面，就负责告诉server，用现在提供的参数来动态绑定到编译好的sql语句上。所以说，ServerPreparedStatement才是真正实现了所谓prepare statement。

c) 设置当前的数据库名，并把之前的数据库名记录下来，在查询完成之后还要恢复原状。

d) 检查一下之前是否有缓存的数据，如果不久之前执行过这个查询，并且缓存了数据的话，就直接从缓存中取出。

e) 如果sql查询没有限制条件的话，为其设置默认的返回行数，若preparedStatement中已经设置了maxRows的话，就使用它。

f) executeInternal：执行查询。
i. 设置当前数据库连接，并调用connection的execSQL来执行查询.然后继续把要发送的查询包，就是之间组装完毕的sendPacket传递进入MysqlIO的sqlQueryDirect()。
ii. 接下来就要往server端发送我们的查询指令啦(sendCommand)，说到发送数据，不禁要问，如果这个待发送的数据包超级大，难道每次都是一次性的发送吗？当然不是，如果数据包超过规定的最大值的话，就会把它分割一下，分成几个不超过最大值的数据包来发送。
所以可以肯定，在分割的过程中，除了最后一个数据包，其他数据包的大小都是一样的。那就这样的数据包直接切割了进行发送的话，假如现在被分成了三个数据包，发送给mysql server，服务器怎么知道那个包是第一个呢，它读数据该从什么地方开始读呢，这都是问题，所以，我们要给每个数据包的前面加上一点属性标志，这个标志一共占了4个byte。从代码①处开始就是头标识位的设置。第一位表示数据包的开始位置，就是数据存放的起始位置，一般都设置为0，就是从第一个位置开始。第二和第三个字节标识了这个数据包的大小，注意的是，这个大小是出去标识的4个字节的大小，对于非最后一个数据包来说，这个大小都是一样的，就是splitSize，也就是maxThreeBytes，它的值是255 * 255 * 255。
最后一个字节中存放的就是数据包的编号了，从0开始递增。
在标识位设置完毕之后，就可以把255 * 255 * 255大小的数据从我们准备好的待发送数据包中copy出来了，注意，前4位已经是标识位了，所以应该从第五个位置开始copy数据。
在数据包都装配完毕之后，就可以往socket的outputSteam中发送数据了。接下来的事情，就是由mysql服务器接收数据并解析，执行查询了。

            while (len >= this.maxThreeBytes) {
                this.packetSequence++;
                /*设置包的开始位置*/
    ①          headerPacket.setPosition(0); 
                /*设置这个数据包的大小，splitSize=255 * 255 * 255*/
                headerPacket.writeLongInt(splitSize); 
                /*设置数据包的序号*/
                headerPacket.writeByte(this.packetSequence); 
                /*origPacketBytes就是sendPacket，所以这里就是把sendPacket中大小为255 * 255 * 255的数据放入headPacket中，headerPacketBytes是headPacket的byte buffer*/
                System.arraycopy(origPacketBytes, originalPacketPos,
                    headerPacketBytes, 4, splitSize);

                int packetLen = splitSize + HEADER_LENGTH;
                if (!this.useCompression) {
                    this.mysqlOutput.write(headerPacketBytes, 0,
                        splitSize + HEADER_LENGTH);
                    this.mysqlOutput.flush();
                } else {
                    Buffer packetToSend;

                    headerPacket.setPosition(0);
                    packetToSend = compressPacket(headerPacket, HEADER_LENGTH,
                            splitSize, HEADER_LENGTH);
                    packetLen = packetToSend.getPosition();
                    /*往IO的output stream中写数据*/
                    this.mysqlOutput.write(packetToSend.getByteBuffer(), 0,
                        packetLen);
                    this.mysqlOutput.flush();
                }

                originalPacketPos += splitSize;
                len -= splitSize;
            }

iii. 通过readAllResults方法读取查询结果。这个读取的过程与发送过程相反，如果接收到的数据包有多个的话，通过IO不断读取，并根据第packet第4个位置上的序号来组装这些packet。然后把读到的数据组装成resultSet中的rowData，这个结果就是我们要的查询结果了。

结合下面的executeQuery的时序图再理一下思路就更清楚了。

至此，把resultSet一步步的返回给dao，接下来的过程，就是从resultSet中取出rowData，组合成我们自己需要的对象数据了。

总结一下，经过这次对mysql驱动的探索，我发现了更多关于mysql的底层细节，对于以后分析问题解决问题有很大帮助，当然，这里面还有很多细节文中没有写。另外一个就是对于PreparedStatement有了重新的认识，有些东西往往都是想当然得出来的结论，真相还是要靠实践来发现。

查看图片附件

分享到：

多线程断点续传实践 | 解读Tomcat（五）请求处理Part_3

2009-07-01 22:23
浏览 9705
评论(56)
论坛回复 / 浏览 (52 / 39921)
分类:企业架构
查看更多

16 楼 annegu 2009-07-02

mikewang说的是对的，我用的驱动是5.0.6的，预编译的功能是取决于server的。

15 楼 mikewang 2009-07-02

gembler 写道

mikewang 写道

gembler 写道

同样怀疑你官方文档都没看完

Property Name: useServerPrepStmts
Definition: Use server-side prepared statements if the server supports them?
Default Value: false
Since Version: 3.1.0

Definition: Use server-side prepared statements if the server supports them?
这句话我看的很清楚呀。

你的反应，果然不出我所料

首先，现在是讨论jdbc connector，不是server。

如果硬是要讨论server，可以
server side的prepared statements是从mysql4.1开始实现的

LZ用4.1以下的几率甚低
而且目前mysql官方只提供>=4.1的版本下载

我就知道你会这么说，所以，在前面的帖子中，我仿佛强调的是需要仔细阅读jdbc的规范和厂家的文档。
你确实仔细阅读了mysql的文档，但是，这个问题，在jdbc规范中说的也很清楚，是否支持预编译取决于server， jdbc驱动的prepared statements只是用于支持server的的预编译功能而已。
这个是两回事，同时我也可以找出prepared statements不支持server端预编译的例子。（本文就是一个绝好的例子）

所以，还是要仔细阅读jdbc 的规范和厂商的说明。（都要仔细阅读）

14 楼 gembler 2009-07-02

annegu 写道

gembler 写道

怀疑你官方文档都没看完，JDBC Connector有这么一个参数：useServerPrepStmts，而默认是false。

因为之前在公司用的是oracle，研究mysql的驱动是因为它比较简单，所以没有先读文档。

修改你的结论吧
会误人子弟的

13 楼 annegu 2009-07-02

gembler 写道

怀疑你官方文档都没看完，JDBC Connector有这么一个参数：useServerPrepStmts，而默认是false。

你好，能请教一下replication和loadbalace这两个驱动的具体做法是怎么样的呢？
能给我详细解释一下吗，大体上我也知道一些，但是还是希望能有懂的人详细解释一下，希望不要用google或者一句话就带过，因为这个用的确实比较少，所以希望能了解一下。

12 楼 gembler 2009-07-02

mikewang 写道

gembler 写道

同样怀疑你官方文档都没看完

Property Name: useServerPrepStmts
Definition: Use server-side prepared statements if the server supports them?
Default Value: false
Since Version: 3.1.0

Definition: Use server-side prepared statements if the server supports them?
这句话我看的很清楚呀。

11 楼 mikewang 2009-07-02

annegu 写道

因为之前在公司用的是oracle，研究mysql的驱动是因为它比较简单，所以没有先读文档。

oracle的驱动相对来说比较简单一些，尤其是 oci 方式的。你反编译一下源代码，看看，其实就是prepared statements 就是调用了oracle的一个存储过程实现的。

包括， 2pc 失误，字符转变，等等都是通过oracle的存储过程实现的。研究起来相对mysql 来说要简单一些。不过没源代码，需要自己反编译一下。

10 楼 annegu 2009-07-02

gembler 写道

怀疑你官方文档都没看完，JDBC Connector有这么一个参数：useServerPrepStmts，而默认是false。

因为之前在公司用的是oracle，研究mysql的驱动是因为它比较简单，所以没有先读文档。

9 楼 mikewang 2009-07-02

gembler 写道

同样怀疑你官方文档都没看完

Property Name: useServerPrepStmts
Definition: Use server-side prepared statements if the server supports them?
Default Value: false
Since Version: 3.1.0

Definition: Use server-side prepared statements if the server supports them?
这句话我看的很清楚呀。

8 楼 gembler 2009-07-02

mikewang 写道

gembler 写道

怀疑你官方文档都没看完，JDBC Connector有这么一个参数：useServerPrepStmts，而默认是false。

他的文章没有说明mysql jdbc驱动的版本，我记得mysql 5 大搞了一次，支持了存储过程，试图，触发器，规则优化器等等新功能，预编译sql 估计就是那个时候加上去的。但即便是这样，也不是每个版本的jdbc 驱动都支持的。

同样怀疑你官方文档都没看完

Property Name: useServerPrepStmts
Definition: Use server-side prepared statements if the server supports them?
Default Value: false
Since Version: 3.1.0

7 楼 mikewang 2009-07-02

gembler 写道

怀疑你官方文档都没看完，JDBC Connector有这么一个参数：useServerPrepStmts，而默认是false。

6 楼 mikewang 2009-07-02

PreparedStatement 属于常见问题。文档和规范中交代的很清楚，而且这个问题非常重要。
如果不去仔细把文档看上几遍就去用，是否过于冒失了？

5 楼 gembler 2009-07-02

annegu 写道

于是，我们看到，好像sql语句在这里就已经不是带”?”的preparedStatement，而是在驱动里面把参数替代到”?”中，再把完整的sql语句发送给mysql server来编译，那么尽管只是参数改变，但对于mysql server来说，每次都是新的sql语句，都要进行编译的。这与我们之前一直理解的PreparedStatement完全不一样。照理来说，应该把带 ”?”的sql语句发送给数据库server，由mysql server来编译这个带”?”的sql语句，然后用实际的参数来替代”?”，这样才是实现了sql语句只编译一次的效果。

所以说，从mysql驱动的实现里面，我们并没有看到mysql支持预编译功能的证据，由此，annegu得出结论，在mysql数据库上使用 PreparedStatement并不能提高效率（实际测试也表明，PreparedStatement和Statement的效率几乎一样，甚至当使用次数不多的时候，PreparedStatement比Statement还要慢一些）。

怀疑你官方文档都没看完，JDBC Connector有这么一个参数：useServerPrepStmts，而默认是false。

4 楼 ahuaxuan 2009-07-02

mikewang 写道

关于 PreparedStatement 的问题，我在javaeye上也回答过很多次这样的问题了，你可以去搜索一下。
jdbc 规范上说的非常清楚， PreparedStatement 的实现取决于后端database的实现。也就是预编译的功能是由后端database 提供的。 jdbc 本身并不支持这个功能。

而且，在mysql驱动的readme 文件中也明确的提出由于mysql 不支持服务端sql 预编译功能，所以，PreparedStatement 的实现仅仅是参数替换和sql拼接！

规范和文档上写的清清楚楚。在决定使用一个现成的产品或者lib 之前，一定要仔细阅读他的说明。

人家只是顺便发现自己的问题，难道你用一个东西之前就已经把一个框架所有的说明都了解了？？真有这本事，那精通ssh的人就真的太多了，还有能否不要全文引用别人的文章？

3 楼 mikewang 2009-07-02

annegu 写道

public class DBHelper {
	public static Connection getConnection() {
		Connection conn = null;
		try {
			Class.forName("com.mysql.jdbc.Driver");
			conn = DriverManager.getConnection("jdbc:mysql://localhost/ad?useUnicode=true&characterEncoding=GBK&jdbcCompliantTruncation=false",
					"root", "root");
		} catch (Exception e) {
			e.printStackTrace();
		}
		return conn;
	}
}

        /*dao中的方法*/
	public List<Adv> getAllAdvs() {
		
		Connection conn = null;
		ResultSet rs = null;
		PreparedStatement stmt = null;
		String sql = "select * from adv";
		List<Adv> advs = new ArrayList<Adv>();

		conn = DBHelper.getConnection();
		if (conn != null) {
			try {
				stmt = conn.prepareStatement(sql);
				rs = stmt.executeQuery();

				if (rs != null) {
					while (rs.next()) {
						Adv adv = new Adv();
						adv.setId(rs.getLong(1));
						adv.setName(rs.getString(2));
						adv.setDesc(rs.getString(3));
						adv.setPicUrl(rs.getString(4));

						advs.add(adv);
					}
				}
			} catch (SQLException e) {
				e.printStackTrace();
			} finally {
				try {
					stmt.close();
					conn.close();
				} catch (SQLException e) {
					e.printStackTrace();
				}
			}
		}
		return advs;
	}

上面是个最简单的使用jdbc取得数据的应用。
1、首先我们看到要的到一个数据库连接，得到数据库连接这部分放在DBHelper类中的getConnection方法中实现。Class.forName("com.mysql.jdbc.Driver");用来加载mysql的jdbc驱动。

public class Driver extends NonRegisteringDriver implements java.sql.Driver {
	static {
		try {
			java.sql.DriverManager.registerDriver(new Driver());
		} catch (SQLException E) {
			throw new RuntimeException("Can't register driver!");
		}
	}
	public Driver() throws SQLException {
	}
}

    public static synchronized void registerDriver(java.sql.Driver driver)
	throws SQLException {
	if (!initialized) {
	    initialize();
	}
      
	DriverInfo di = new DriverInfo();

   /*把driver的信息封装一下，组成一个DriverInfo对象*/
	di.driver = driver;
	di.driverClass = driver.getClass();
	di.driverClassName = di.driverClass.getName();

	writeDrivers.addElement(di); 
	println("registerDriver: " + di);
	
	readDrivers = (java.util.Vector) writeDrivers.clone();

    }

    public static Connection getConnection(String url, 
	String user, String password) throws SQLException {
        java.util.Properties info = new java.util.Properties();
	ClassLoader callerCL = DriverManager.getCallerClassLoader();

	if (user != null) {
	    info.put("user", user);
	}
	if (password != null) {
	    info.put("password", password);
	}

        return (getConnection(url, info, callerCL));
     }

DriverManager中有重载了四个getConnection()，现在我们有用户名和密码，就调用了上面这个getConnection()方法，它把用户和密码存放在Properties中，最后进入终极getConnection()，如下：

    private static Connection getConnection(
	String url, java.util.Properties info, ClassLoader callerCL) throws SQLException {
	java.util.Vector drivers = null;
	...
	if (!initialized) {
	    initialize();
	}
    /*取得连接使用的driver从readDrivers中取*/
	synchronized (DriverManager.class){ 
	    drivers = readDrivers;  
        }

	SQLException reason = null;
	for (int i = 0; i < drivers.size(); i++) {
	    DriverInfo di = (DriverInfo)drivers.elementAt(i);
      
	    if ( getCallerClass(callerCL, di.driverClassName ) != di.driverClass ) {
		continue;
	    }
	    try {
        /*找到可供使用的驱动，连接数据库server*/
		Connection result = di.driver.connect(url, info);
		if (result != null) {
		    return (result);
		}
	    } catch (SQLException ex) {
		if (reason == null) {
		    reason = ex;
		}
	    }
	}
    
	if (reason != null)    {
	    println("getConnection failed: " + reason);
	    throw reason;
	}    
	throw new SQLException("No suitable driver found for "+ url, "08001");
    }

Initialize()简直无所不在，DriverManager中只要使用driver之前，就要检查一下有没有初始化，非常小心。然后开始遍历所有驱动，直到找到一个可用的驱动，用这个驱动来取得一个数据库连接，最后返回这个连接。当然，这是正常的情况，从上面我们可以看到，程序中对异常的处理很仔细。如果连接失败，会记录抛出的第一个异常信息，如果没有找到合适的驱动，就抛出一个08001的错误。关于SQLException，请看附录，有常见的几种SQLException。

现在重点就是假如一切正常，就应该从driver.connect()返回一个数据库连接，所以我们来看看如何通过url提供的数据库。

	public java.sql.Connection connect(String url, Properties info)
			throws SQLException {
		Properties props = null;
		if ((props = parseURL(url, info)) == null) {
			return null;
		}

		try {
			Connection newConn = new com.mysql.jdbc.Connection(host(props),
					port(props), props, database(props), url);

			return newConn;
		} catch (SQLException sqlEx) {
			throw sqlEx;
		} catch (Exception ex) {
			throw SQLError.createSQLException(...);
		}
	}

	public java.sql.PreparedStatement prepareStatement(String sql)
			throws SQLException {
		return prepareStatement(sql, java.sql.ResultSet.TYPE_FORWARD_ONLY,
				java.sql.ResultSet.CONCUR_READ_ONLY);
	}

        public java.sql.PreparedStatement prepareStatement(String sql,
			int resultSetType, int resultSetConcurrency) throws SQLException;

	protected Buffer fillSendPacket(byte[][] batchedParameterStrings,
			InputStream[] batchedParameterStreams, boolean[] batchedIsStream,
			int[] batchedStreamLengths) throws SQLException {
        // 从connection的IO中得到发送数据包，首先清空其中的数据
		Buffer sendPacket = this.connection.getIO().getSharedSendPacket();
		sendPacket.clear();
        
        /* 数据包的第一位为一个操作标识符（MysqlDefs.QUERY），表示驱动向服务器发送的连接的操作信号，包括有QUERY, PING, RELOAD, SHUTDOWN, PROCESS_INFO, QUIT, SLEEP等等，这个操作信号并不是针对sql语句操作而言的CRUD操作，从提供的几种参数来看，这个操作是针对服务器的一个操作。一般而言，使用到的都是MysqlDefs.QUERY，表示发送的是要执行sql语句的操作。
*/
		sendPacket.writeByte((byte) MysqlDefs.QUERY);

		boolean useStreamLengths = this.connection
				.getUseStreamLengthsInPrepStmts();

		int ensurePacketSize = 0;
		for (int i = 0; i < batchedParameterStrings.length; i++) {
			if (batchedIsStream[i] && useStreamLengths) {
				ensurePacketSize += batchedStreamLengths[i];
			}
		}

        /* 判断这个sendPacket的byte buffer够不够大，不够大的话，按照1.25倍来扩充buffer
*/
		if (ensurePacketSize != 0) {
			sendPacket.ensureCapacity(ensurePacketSize);
		}

        /* 遍历所有的参数。在prepareStatement阶段的new ParseInfo()中，驱动曾经对sql语句进行过分割，如果含有以问号标识的参数占位符的话，就记录下这个占位符的位置，依据这个位置把sql分割成多段，放在了一个名为staticSql的字符串中。这里就开始把sql语句进行拼装，把staticSql和parameterValues进行组合，放在操作符的后面。
*/
		for (int i = 0; i < batchedParameterStrings.length; i++) {

        /* batchedParameterStrings就是parameterValues，batchedParameterStreams就是parameterStreams，如果两者都为null，说明在参数的设置过程中出了错，立即抛出错误。
*/
			if ((batchedParameterStrings[i] == null)
					&& (batchedParameterStreams[i] == null)) {
				throw SQLError.createSQLException(Messages
						.getString("PreparedStatement.40") //$NON-NLS-1$
						+ (i + 1), SQLError.SQL_STATE_WRONG_NO_OF_PARAMETERS);
			}

        /*在sendPacket中加入staticSql数组中的元素，就是分割出来的没有”?”的sql语句，并把字符串转换成byte。
*/
			sendPacket.writeBytesNoNull(this.staticSqlStrings[i]);

        /* batchedIsStream就是isStream，如果参数是通过CallableStatement传递进来的话，batchedIsStream[i]==true，就用batchedParameterStreams中的值填充到问号占的参数位置中去。
*/
			if (batchedIsStream[i]) {
				streamToBytes(sendPacket, batchedParameterStreams[i], true,
						batchedStreamLengths[i], useStreamLengths);
			} else {
			
        /*否则的话，就用batchedParameterStrings，也就是parameterValues来填充参数位置。在循环中，这个操作是跟在staticSql后面的，因此就把第i个参数加到了第i个staticSql段中。参考前面的staticSql的例子，发现当循环结束的时候，原始sql语句最后一个”?”之前的sql语句就拼成了正确的语句了。
*/
	sendPacket.writeBytesNoNull(batchedParameterStrings[i]);
			}
		}

        /*由于在原始的包含问号的sql语句中，在最后一个”?”后面可能还有order by等语句，因此staticSql数组中的元素个数一定比参数的个数多1，所以这里把staticSqlString中的最后一段sql语句放入sendPacket中。
*/
		sendPacket
				.writeBytesNoNull(this.staticSqlStrings[batchedParameterStrings.length]);

		return sendPacket;
	}

假如sql语句为“select * from adv where id = ?”的话，这个sendPacket中第一个byte的值就是3(MysqlDefs.QUERY的int值)，后面接着的就是填充了参数值的完整的sql语句字符串(例如：select * from adv where id = 1)转换成的byte格式。

于是，我们看到，好像sql语句在这里就已经不是带”?”的preparedStatement，而是在驱动里面把参数替代到”?”中，再把完整的sql语句发送给mysql server来编译，那么尽管只是参数改变，但对于mysql server来说，每次都是新的sql语句，都要进行编译的。这与我们之前一直理解的PreparedStatement完全不一样。照理来说，应该把带”?”的sql语句发送给数据库server，由mysql server来编译这个带”?”的sql语句，然后用实际的参数来替代”?”，这样才是实现了sql语句只编译一次的效果。

所以说，从mysql驱动的实现里面，我们并没有看到mysql支持预编译功能的证据，由此，annegu得出结论，在mysql数据库上使用PreparedStatement并不能提高效率（实际测试也表明，PreparedStatement和Statement的效率几乎一样，甚至当使用次数不多的时候，PreparedStatement比Statement还要慢一些）。
但是并不是说PreparedStatement不能给我们带来高效率就没有用了，它有非常好的作用：
i. 极大的提高了sql语句的安全性，可以防止sql注入
ii. 代码结构清晰，易于理解，便于维护。

c) 设置当前的数据库名，并把之前的数据库名记录下来，在查询完成之后还要恢复原状。

d) 检查一下之前是否有缓存的数据，如果不久之前执行过这个查询，并且缓存了数据的话，就直接从缓存中取出。

e) 如果sql查询没有限制条件的话，为其设置默认的返回行数，若preparedStatement中已经设置了maxRows的话，就使用它。

f) executeInternal：执行查询。
i. 设置当前数据库连接，并调用connection的execSQL来执行查询.然后继续把要发送的查询包，就是之间组装完毕的sendPacket传递进入MysqlIO的sqlQueryDirect()。
ii. 接下来就要往server端发送我们的查询指令啦(sendCommand)，说到发送数据，不禁要问，如果这个待发送的数据包超级大，难道每次都是一次性的发送吗？当然不是，如果数据包超过规定的最大值的话，就会把它分割一下，分成几个不超过最大值的数据包来发送。
所以可以肯定，在分割的过程中，除了最后一个数据包，其他数据包的大小都是一样的。那就这样的数据包直接切割了进行发送的话，假如现在被分成了三个数据包，发送给mysql server，服务器怎么知道那个包是第一个呢，它读数据该从什么地方开始读呢，这都是问题，所以，我们要给每个数据包的前面加上一点属性标志，这个标志一共占了4个byte。从代码①处开始就是头标识位的设置。第一位表示数据包的开始位置，就是数据存放的起始位置，一般都设置为0，就是从第一个位置开始。第二和第三个字节标识了这个数据包的大小，注意的是，这个大小是出去标识的4个字节的大小，对于非最后一个数据包来说，这个大小都是一样的，就是splitSize，也就是maxThreeBytes，它的值是255 * 255 * 255。
最后一个字节中存放的就是数据包的编号了，从0开始递增。
在标识位设置完毕之后，就可以把255 * 255 * 255大小的数据从我们准备好的待发送数据包中copy出来了，注意，前4位已经是标识位了，所以应该从第五个位置开始copy数据。
在数据包都装配完毕之后，就可以往socket的outputSteam中发送数据了。接下来的事情，就是由mysql服务器接收数据并解析，执行查询了。

            while (len >= this.maxThreeBytes) {
                this.packetSequence++;
                /*设置包的开始位置*/
    ①          headerPacket.setPosition(0); 
                /*设置这个数据包的大小，splitSize=255 * 255 * 255*/
                headerPacket.writeLongInt(splitSize); 
                /*设置数据包的序号*/
                headerPacket.writeByte(this.packetSequence); 
                /*origPacketBytes就是sendPacket，所以这里就是把sendPacket中大小为255 * 255 * 255的数据放入headPacket中，headerPacketBytes是headPacket的byte buffer
*/
                System.arraycopy(origPacketBytes, originalPacketPos,
                    headerPacketBytes, 4, splitSize);

                int packetLen = splitSize + HEADER_LENGTH;
                if (!this.useCompression) {
                    this.mysqlOutput.write(headerPacketBytes, 0,
                        splitSize + HEADER_LENGTH);
                    this.mysqlOutput.flush();
                } else {
                    Buffer packetToSend;

                    headerPacket.setPosition(0);
                    packetToSend = compressPacket(headerPacket, HEADER_LENGTH,
                            splitSize, HEADER_LENGTH);
                    packetLen = packetToSend.getPosition();
                    /*往IO的output stream中写数据*/
                    this.mysqlOutput.write(packetToSend.getByteBuffer(), 0,
                        packetLen);
                    this.mysqlOutput.flush();
                }

                originalPacketPos += splitSize;
                len -= splitSize;
            }

2 楼 KimShen 2009-07-01

对题目很感兴趣,不过近来看到一朵托文字.顿时泄了

1 楼 kjj 2009-07-01

没有最后陈词........................!!!!

发表评论

您还没有登录,请您登录后再发表评论

最近访客更多访客>>

博主相关

文章分类

社区版块

存档分类

最新评论