论坛首页 Java企业应用论坛

java.sql.SQLException: 违反协议异常的一种解释

浏览 8721 次
精华帖 (0) :: 良好帖 (7) :: 新手帖 (0) :: 隐藏帖 (0)
作者 正文
   发表时间:2011-01-31   最后修改:2011-02-09
一次做应用升级出现了一个问题,描述如下:
   升级分为两块,一块是数据库结构变更(表结构增加新字段);一块是应用程序的升级。
   应用环境为:jboss4.0.5 + ibatis + spring 数据源在jboss的oracle-ds.xml文件中进行配置,通过spring的jndi方式进行查找 。
   我先将数据库进行升级,更改表结构(增加字段),因为应用中的ibatis的查询采用的是ResultMap返回方式,返回定义的表结构字段,即使数据库发生变更,也不会产生影响。于是我大胆的进行脚本的执行。结果当我下午16:00数据库变更之后,几乎在同时就有人反应应用的一些查询功能无法使用,立刻查看出错日志:
   Caused by: com.alibaba.generalorm.dao.DataAccessException: Data query error!   
--- The error occurred in sqlmap/CiaDissension.xml.  
--- The error occurred while applying a parameter map.  
--- Check the QUERY_ALL_DISSENSION_CATEGORY-InlineParameterMap.  
--- Check the statement (query failed).  
--- Cause: java.sql.SQLException: OALL8 处于不一致状态
	at com.alibaba.ibatis.BasicIBatisDao.query(BasicIBatisDao.java:315)
	at com.alibaba.china.rcc.riskdc.dao.DissensionCategoryDAO.getAll(DissensionCategoryDAO.java:40)
	at com.alibaba.china.rcc.riskdc.service.impl.DissensionServiceImpl.getCategoryMap(DissensionServiceImpl.java:495)
	at com.alibaba.china.rcc.riskdc.service.impl.DissensionServiceImpl.getCategory(DissensionServiceImpl.java:188)
	at com.alibaba.china.rcc.riskdc.web.action.DissensionAction.getCategory(DissensionAction.java:263)
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
	at java.lang.reflect.Method.invoke(Method.java:597)
	at com.alibaba.webx.action.invoker.AbstractModuleMethodInvoker.executeNoArgMethod(AbstractModuleMethodInvoker.java:401)
	... 33 more

   Caused by: com.alibaba.generalorm.dao.DataAccessException: Data query error!   
--- The error occurred in sqlmap/CiaDissension.xml.  
--- The error occurred while applying a parameter map.  
--- Check the QUERY_ALL_DISSENSION_BUSINESS-InlineParameterMap.  
--- Check the statement (query failed).  
--- Cause: java.sql.SQLException: 违反协议
	at com.alibaba.ibatis.BasicIBatisDao.query(BasicIBatisDao.java:315)
	at com.alibaba.china.rcc.riskdc.dao.DissensionBusinessDAO.getAll(DissensionBusinessDAO.java:19)
	at com.alibaba.china.rcc.riskdc.service.impl.DissensionServiceImpl.getBusiness(DissensionServiceImpl.java:178)
	at com.alibaba.china.rcc.riskdc.web.action.DissensionAction.getBusiness(DissensionAction.java:249)
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
	at java.lang.reflect.Method.invoke(Method.java:597)
	at com.alibaba.webx.action.invoker.AbstractModuleMethodInvoker.executeNoArgMethod(AbstractModuleMethodInvoker.java:401)
	... 33 more

为什么会出现违反协议的问题?马上google一下,有些人说是因为数据库的字段类型与java中使用的类型不一致导致,但查看了ibtais的map文件,老的应用代码根本还没有使用新的的字段!后来找pla共同排查,也没有发现应用程序哪里会出现问题,便打电话给DBA让他查下数据库,DBA咨询了一位资格较老的DBA,他说以前也出现过这种情况,只要将应用重启下,就好了。马上重启,果然问题解决了,违反协议的错误没有再报。

查找原因:
在做升级前,我自己在开发环境也做过模拟,并没有出现如果应用不重启,数据库变更而报“违反协议”的错误。而我看了下发布环境与开发环境差异,唯一的差异是开发环境没有采用jboss+jndi的方式获取数据源,而采用了tomcat+c3p0的方式获取数据源。

于是我开始实验。
Tomcat+C3P0启动方式:
1.准备好更改数据库脚本。
2.在开发环境用tomcat启动应用,并访问到涉及表结构变更的页面。
3.执行数据库脚本,确保表结构发生了变更。
4.刷新在步骤2的页面,查看后台输出和前台页面输出。
5.一切正常,没有抛出违反协议或处于不一致状态的错误日志。
JBoss4.0.5+JNDI启动方式
1.准备好更改数据库脚本。
2.在开发环境用jboss启动应用,并访问到涉及表结构变更的页面。
3.执行数据库脚本,确保表结构发生了变更。
4.刷新在步骤2的页面,查看后台输出和前台页面输出。
5.出现了违反协议和处于不一致状态的问题。

总结:

由此可以看出,出现这个问题与ibatis没有关系,而与数据源的获取方式有关,一种是通过Spring+c3p0直接注入DataSource;一种是在oracle-ds.xml文件中配置,然后在spring中通过jndi的方式进行查找,获取数据源。第二种在数据库变更的情况下,就必须进行应用重启,否则就会抛出违反协议或处于不一致的状态。

但根本原因到底是什么呢?我还在寻找。
===================================================
咨询了大少,并不是因为数据源配置模式没有关系,用c3p0或者jndi等,而是与数据源的配置方式有关:

在oracle-ds的配置如下:
   <local-tx-datasource>
        <jndi-name>rccBopsDataSource</jndi-name>
        <use-java-context>false</use-java-context>
        <connection-url>jdbc:oracle:thin:@xx.xx.xx.xx:1521:xx</connection-url>
        <connection-property name="SetBigStringTryClob">true</connection-property>
        <connection-property name="defaultRowPrefetch">50</connection-property>
        <connection-property name="clientEncoding">GBK</connection-property>
        <connection-property name="serverEncoding">ISO-8859-1</connection-property>
        <driver-class>com.alibaba.china.jdbc.SimpleDriver</driver-class>
        <min-pool-size>1</min-pool-size>
        <max-pool-size>14</max-pool-size>
        <prepared-statement-cache-size>20</prepared-statement-cache-size>
        <metadata>
            <type-mapping>Oracle9i</type-mapping>
        </metadata>
        <idle-timeout-minutes>15</idle-timeout-minutes>
        <exception-sorter-class-name>org.jboss.resource.adapter.jdbc.vendor.OracleExceptionSorter</exception-sorter-class-name>
        <user-name>xx</user-name>
        <password>xx</password>
    </local-tx-datasource>


其中prepared-statement-cache-size参数解释为:
<prepared-statement-cache-size> - the number of prepared statements per connection to be kept open and reused in subsequent requests. They are stored in a LRU cache. The default is 0 (zero), meaning no cache.
为每个打开的数据库连接缓存了一定数量的prepared statement.他们是存在LRU cache中,如果设值为0,那么将不缓冲。这里我们设值了每个连接缓存20条prepared statment。

而在c3p0的配置中:
   <bean id="testDataSource"
		class="org.springframework.beans.factory.config.MethodInvokingFactoryBean">
		<property name="staticMethod">
			<value>com.mchange.v2.c3p0.DataSources.pooledDataSource</value>
		</property>
		<property name="arguments">
			<list>
				<ref local="unpooledDataSource" />
				<props>
					<prop key="acquireIncrement">1</prop>
					<prop key="initialPoolSize">1</prop>
					<prop key="minPoolSize">1</prop>
					<prop key="maxPoolSize">5</prop>
					<prop key="maxIdleTime">1800</prop>					
					<prop key="maxIdleTimeExcessConnections">1000</prop>
					<!-- 自动收缩连接用的,单位秒 -->
					<!-- 自动重连需要的三个参数 -->
					<prop key="acquireRetryAttempts">30</prop>
					<prop key="acquireRetryDelay">1000</prop>
					<prop key="breakAfterAcquireFailure">false</prop>
					<!-- 获取一个connection需要的时间,单位毫秒 -->
					<prop key="checkoutTimeout">5000</prop>
				</props>
			</list>
		</property>
	</bean>

上网查了下,影响到preparedStatment cache的参数有两个:maxStatements和maxStatementsPerConnection 如果maxStatements与maxStatementsPerConnection均为0,则缓存被关闭,默认为0。

继续实验:

1、将c3p0配置增加maxStatements和maxStatementsPerConnection并都设值20。
修改数据库表结构,刷新访问页面。
后台抛出违反协议和处于不一致状态的错误提示。

2.将oracle-ds.xml文件配置更改prepared-statement-cache-size为0。
修改数据库表结构,刷新访问页面。
后台没有抛出违反协议和处于不一致状态的错误提示。

附参考文章:

http://community.jboss.org/wiki/configdatasources   讲解jboss中关于datasource的参数
http://msq.iteye.com/blog/60387   讲解c3p0的详细参数


   发表时间:2011-02-09  
又是一例使用prepare statement cache的潜在风险,研究的不错
0 请登录后投票
   发表时间:2011-02-10  
研究得够深入的。不错。
记得很早之前,就遇到过这样的问题。
ps cached确实存在一定的使用风险。
并且,我还有一个疑问,在我们这样杂和的应用中,ps cached,真的有性能提升吗?
楼上上次有做过对应测试吗?
0 请登录后投票
   发表时间:2011-02-10  
stone2083 写道
研究得够深入的。不错。
记得很早之前,就遇到过这样的问题。
ps cached确实存在一定的使用风险。
并且,我还有一个疑问,在我们这样杂和的应用中,ps cached,真的有性能提升吗?
楼上上次有做过对应测试吗?


同问,我公司的项目还算较小,如果数据库的压力过大的时候,都是做业务的切割,数据库分表。ps cache 是否对性能有提升,我们没做过实验,请楼主给予指点
0 请登录后投票
   发表时间:2011-02-10  
biocy 写道
stone2083 写道
研究得够深入的。不错。
记得很早之前,就遇到过这样的问题。
ps cached确实存在一定的使用风险。
并且,我还有一个疑问,在我们这样杂和的应用中,ps cached,真的有性能提升吗?
楼上上次有做过对应测试吗?


同问,我公司的项目还算较小,如果数据库的压力过大的时候,都是做业务的切割,数据库分表。ps cache 是否对性能有提升,我们没做过实验,请楼主给予指点


我没有做过性能上的测试,有时间我会去做下。
0 请登录后投票
   发表时间:2011-02-14  
stone2083 写道
研究得够深入的。不错。
记得很早之前,就遇到过这样的问题。
ps cached确实存在一定的使用风险。
并且,我还有一个疑问,在我们这样杂和的应用中,ps cached,真的有性能提升吗?
楼上上次有做过对应测试吗?


从profile分析上看,理论上有20%的性能提升,也在一个应用上实施过

但在其他的几个应用实施时,会有莫名的close statement cache的错误。网上也有相应的bug报告

查了几天没查到原因,线下做过比较多的稳定性测试也没能重现线上的问题,比较诡异,后来没时间弄了就放弃了。

总之一句话,慎用ps cache!

0 请登录后投票
   发表时间:2011-02-16  
研究得太深了吧,不错!
0 请登录后投票
   发表时间:2011-06-13  

我想应该可以清除Statement Pool ,不过没仔细研究过连接池的接口,楼主研究过么?

0 请登录后投票
   发表时间:2011-06-13  
学习了不少知识。。。
0 请登录后投票
   发表时间:2011-06-14  
恩,很不错的文章,受益不少!!
0 请登录后投票
论坛首页 Java企业应用版

跳转论坛:
Global site tag (gtag.js) - Google Analytics