`

DBCP连接池原理分析

 
阅读更多

 

DBCP连接池介绍

-----------------------------

目前 DBCP 有两个版本分别是 1.3 和 1.4。

DBCP 1.3 版本需要运行于 JDK 1.4-1.5 ,支持 JDBC 3。

DBCP 1.4 版本需要运行于 JDK 1.6 ,支持 JDBC 4。

1.3和1.4基于同一套源代码,含有所有的bug修复和新特性。因此在选择DBCP版本的时候,要看你用的是什么JDK版本。

DBCP1.2版本性能一般,比c3p0差挺多。DBCP1.4和1.3,配合(依赖)commons pool 1.6的jar包,各方面功能、性能推进到新的高峰。相对1.2版本提高不少。超越(或相当)了c3p0.建议使用DBCP1.4或1.3 +  commons pool 1.6

 

Tomcat7 中保留DBCP连接池,以兼容已有应用。并提供了新的Tomcat JDBC pool作为DBCP的可选替代。新出的Tomcat JDBC pool,据说比DBCP 1.4要好,未接触,也不在本文讨论范围内。

 

DBCP连接池配置参数讲解

-----------------------------

一、Apache官方DBCP文档给出的配置示例:

可参见:http://tomcat.apache.org/tomcat-6.0-doc/jndi-datasource-examples-howto.html

<Context>

  <Resource name="jdbc/TestDB" auth="Container" type="javax.sql.DataSource"

               maxActive="100" maxIdle="30" maxWait="10000"

               username="javauser" password="javadude" driverClassName="com.mysql.jdbc.Driver"

               url="jdbc:mysql://localhost:3306/javatest"/>

</Context>

 

tomcat JDBC连接池配置示例,自动检查连接的可用性,dbcp定时检测连接,dbcp自动重连的配置

<Resource
name="jdbc/TestDB"  JNDI数据源的name,查找时用:java:comp/env/jdbc/TestDB
type="javax.sql.DataSource"
factory="org.apache.tomcat.dbcp.dbcp.BasicDataSourceFactory"
driverClassName="com.mysql.jdbc.Driver" JDBC驱动类
url="jdbc:mysql://localhost:3306/test?
characterEncoding=UTF-8&amp;autoReconnectForPools=true&amp;rewriteBatchedStatements=true&amp;useCursorFetch=true&amp;defaultFetchSize=20" 数据库URL地址  
username="xxx" 访问数据库用户名
password="xxx" 访问数据库的密码
 
maxWait="3000" 从池中取连接的最大等待时间,单位ms.
initialSize="10"  初始化连接
maxIdle="60"   最大空闲连接
minIdle="10"   最小空闲连接
maxActive="80" 最大活动连接
 
validationQuery = "SELECT 1"  验证使用的SQL语句
testWhileIdle = "true"      指明连接是否被空闲连接回收器(如果有)进行检验.如果检测失败,则连接将被从池中去除.
testOnBorrow = "false"   借出连接时不要测试,否则很影响性能
timeBetweenEvictionRunsMillis = "30000"  每30秒运行一次空闲连接回收器
minEvictableIdleTimeMillis = "1800000"  池中的连接空闲30分钟后被回收
numTestsPerEvictionRun="10" 在每次空闲连接回收器线程(如果有)运行时检查的连接数量
    
removeAbandoned="true"  连接泄漏回收参数,当可用连接数少于3个时才执行
removeAbandonedTimeout="180"  连接泄漏回收参数,180秒,泄露的连接可以被删除的超时值
/>

 

 

DBCP连接池的自我检测

-----------------------------

默认配置的DBCP连接池,是不对池中的连接做测试的,有时连接已断开了,但DBCP连接池不知道,还以为连接是好的呢。

应用从池中取出这样的连接访问数据库一定会报错。这也是好多人不喜欢DBCP的原因。

 

问题例一:

MySQL8小时问题,Mysql服务器默认连接的“wait_timeout”是8小时,也就是说一个connection空闲超过8个小时,Mysql将自动断开该 connection。

但是DBCP连接池并不知道连接已经断开了,如果程序正巧使用到这个已经断开的连接,程序就会报错误。

 

问题例二:

    以前还使用Sybase数据库,由于某种原因,数据库死了后重启、或断网后恢复。

    等了约10分钟后,DBCP连接池中的连接还都是不能使用的(断开的),访问数据应用一直报错,最后只能重启Tomcat问题才解决 。

 

解决方案:

    方案1、定时对连接做测试,测试失败就关闭连接。

    方案2、控制连接的空闲时间达到N分钟,就关闭连接,(然后可再新建连接)。

    以上两个方案使用任意一个就可以解决以述两类问题。如果只使用方案2,建议 N <= 5分钟。连接断开后最多5分钟后可恢复。

    也可混合使用两个方案,建议 N = 30分钟。

    

    下面就是DBCP连接池,同时使用了以上两个方案的配置配置

    validationQuery = "SELECT 1"  验证连接是否可用,使用的SQL语句

    testWhileIdle = "true"      指明连接是否被空闲连接回收器(如果有)进行检验.如果检测失败,则连接将被从池中去除.

    testOnBorrow = "false"   借出连接时不要测试,否则很影响性能

    timeBetweenEvictionRunsMillis = "30000"  每30秒运行一次空闲连接回收器

    minEvictableIdleTimeMillis = "1800000"  池中的连接空闲30分钟后被回收,默认值就是30分钟。

    numTestsPerEvictionRun="3" 在每次空闲连接回收器线程(如果有)运行时检查的连接数量,默认值就是3.

    

    解释:

    配置timeBetweenEvictionRunsMillis = "30000"后,每30秒运行一次空闲连接回收器(独立线程)。并每次检查3个连接,如果连接空闲时间超过30分钟就销毁。销毁连接后,连接数量就少了,如果小于minIdle数量,就新建连接,维护数量不少于minIdle,过行了新老更替。

    testWhileIdle = "true" 表示每30秒,取出3条连接,使用validationQuery = "SELECT 1" 中的SQL进行测试 ,测试不成功就销毁连接。销毁连接后,连接数量就少了,如果小于minIdle数量,就新建连接。

    testOnBorrow = "false" 一定要配置,因为它的默认值是true。false表示每次从连接池中取出连接时,不需要执行validationQuery = "SELECT 1" 中的SQL进行测试。若配置为true,对性能有非常大的影响,性能会下降7-10倍。所在一定要配置为false.

    每30秒,取出numTestsPerEvictionRun条连接(本例是3,也是默认值),发出"SELECT 1" SQL语句进行测试 ,测试过的连接不算是“被使用”了,还算是空闲的。连接空闲30分钟后会被销毁。

    

 

DBCP连接池配置参数注意事项  

-----------------------------

maxIdle值与maxActive值应配置的接近。

因为,当连接数超过maxIdle值后,刚刚使用完的连接(刚刚空闲下来)会立即被销毁。而不是我想要的空闲M秒后再销毁起一个缓冲作用。这一点DBCP做的可能与你想像的不一样。

若maxIdle与maxActive相差较大,在高负载的系统中会导致频繁的创建、销毁连接,连接数在maxIdle与maxActive间快速频繁波动,这不是我想要的。

高负载系统的maxIdle值可以设置为与maxActive相同或设置为-1(-1表示不限制),让连接数量在minIdle与maxIdle间缓冲慢速波动。

 

timeBetweenEvictionRunsMillis建议设置值

initialSize="5",会在tomcat一启动时,创建5条连接,效果很理想。

但同时我们还配置了minIdle="10",也就是说,最少要保持10条连接,那现在只有5条连接,哪什么时候再创建少的5条连接呢?

1、等业务压力上来了, DBCP就会创建新的连接。

2、配置timeBetweenEvictionRunsMillis=“时间”,DBCP会启用独立的工作线程定时检查,补上少的5条连接。销毁多余的连接也是同理。

 

连接销毁的逻辑

------------------------------

DBCP的连接数会在  0 - minIdle - maxIdle - maxActive  之间变化。变化的逻辑描述如下:

 

默认未配置initialSize(默认值是0)和timeBetweenEvictionRunsMillis参数时,刚启动tomcat时,连接数是0。当应用有一个并发访问数据库时DBCP创建一个连接。

目前连接数量还未达到minIdle,但DBCP也不自动创建新连接已使数量达到minIdle数量(没有一个独立的工作线程来检查和创建)。

随着应用并发访问数据库的增多,连接数也增多,但都与minIdle值无关,很快minIdle被超越,minIdle值一点用都没有。

直到连接的数量达到maxIdle值,这时的连接都是只增不减的。 再继续发展,连接数再增多并超过maxIdle时,使用完的连接(刚刚空闲下来的)会立即关闭,总体连接的数量稳定在maxIdle但不会超过maxIdle。

但活动连接(在使用中的连接)可能数量上瞬间超过maxIdle,但永远不会超过maxActive。

这时如果应用业务压力小了,访问数据库的并发少了,连接数也不会减少(没有一个独立的线程来检查和销毁),将保持在maxIdle的数量。

 

默认未配置initialSize(默认值是0),但配置了timeBetweenEvictionRunsMillis=“30000”(30秒)参数时,刚启动tomcat时,连接数是0。马上应用有一个并发访问数据库时DBCP创建一个连接。

目前连接数量还未达到minIdle,每30秒DBCP的工作线程检查连接数是否少于minIdle数量,若少于就创建新连接直到达到minIdle数量。

随着应用并发访问数据库的增多,连接数也增多,直到达到maxIdle值。这期间每30秒DBCP的工作线程检查连接是否空闲了30分钟,若是就销毁。但此时是业务的高峰期,是不会有长达30分钟的空闲连接的,工作线程查了也是白查,但它在工作。到这里连接数量一直是呈现增长的趋势。

当连接数再增多超过maxIdle时,使用完的连接(刚刚空闲下来)会立即关闭,总体连接的数量稳定在maxIdle。停止了增长的趋势。但活动连接(在使用中的连接)可能数量上瞬间超过maxIdle,但永远不会超过maxActive。

这时如果应用业务压力小了,访问数据库的并发少了,每30秒DBCP的工作线程检查连接(默认每次查3条)是否空闲达到30分钟(这是默认值),若连接空闲达到30分钟,就销毁连接。这时连接数减少了,呈下降趋势,将从maxIdle走向minIdle。当小于minIdle值时,则DBCP创建新连接已使数量稳定在minIdle,并进行着新老更替。

 

配置initialSize=“10”时,tomcat一启动就创建10条连接。其它同上。

 

minIdle要与timeBetweenEvictionRunsMillis配合使用才有用,单独使用minIdle不会起作用。

 

 

Tomcat中配置DBCP连接池

-----------------------------

Tomcat自带DBCP的包,是$CATALINA_HOME/lib/tomcat-dbcp.jar。

tomcat-dbcp.jar含有commons pool、commons DBCP两个包的内容。但只含有与连接池有关的类。

数据源配置在context.xml文件中, 要在tomcat的lib目录中放jdbc 驱动包

数据源配置在server.xml的host中,不需要在tomcat的lib目录中放jdbc 驱动包,只使用工程中的jdbc驱动包

 

 

JNDI配置:更改tomcat的server.xml或context.xml

 

    全局的数据源:

    如果需要配置全局的 Resource,则在server.xml的GlobalNamingResources节点里加入Resource,再在Context节点里加入ResourceLink的配置。

    全局的resource只是为了重用,方便所有该tomcat下的web工程的数据源管理,但如果你的tomcat不会同时加载多个web工程,也就是说一个tomcat只加载一个web工程时,是没有必要配置全局的resource的。

 

每个web工程一个数据源:

在$CATALINA_HOME/conf/context.xml的根节点Context里加入Resource配置。这种配置方法,你在context.xml配置了一个数据源,但Tomcat中有同时运行着5个工程,那了就坏事儿了,这个在Tomcat启动时数据源被创建了5份,每个工程1份数据源。连接数会是你配置的参数的5倍。

只有在你的Tomcat只加载一个web工程时,才可以直接以context.xml配置数据源。

 

<Resource name="jdbc/testDB"       //指定的jndi名称,会用于spring数据源bean的配置和ResourceLink的配置

               type="javax.sql.DataSource"   //数据源类型,使用标准的javax.sql.DataSource

               driverClassName="com.mysql.jdbc.Driver"    //JDBC驱动器 

               url="jdbc:mysql://localhost:3306/test" //数据库URL地址             

               username="test"     //数据库用户名

               password="test"   //数据库密码

               maxIdle="40"   //最大的空闲连接数

               maxWait="4000" //当池的数据库连接已经被占用的时候,最大等待时间

               maxActive="40" //连接池当中最大的数据库连接

               removeAbandoned="true" 

               removeAbandonedTimeout="180"

               logAbandoned="true" //被丢弃的数据库连接是否做记录,以便跟踪

               factory="org.apache.tomcat.dbcp.dbcp.BasicDataSourceFactory" />

 

      这里的factory指的是该Resource 配置使用的是哪个数据源配置类,这里使用的是tomcat自带的标准数据源Resource配置类,这个类也可以自己写,实现javax.naming.spi.ObjectFactory 接口即可。某些地方使用的commons-dbcp.jar中的org.apache.commons.dbcp.BasicDataSourceFactory,如果使用这个就需把commons-dbcp.jar及其依赖的jar包,都放在tomcat的lib下,光放在工程的WEB-INF/lib下是不够的。

 

     ResourceLink 的配置有多种:

 

     1)tomcat安装目录下的conf/context.xml,把全局的resource直接公开给该tomcat下的所有web工程,在Context节点中加入:

<ResourceLink global="jdbc/testMDB" name="jdbc/testMDB" type="javax.sql.DataSource"/>   

不建议在此文件中,不使用<ResourceLink/>,而使用<Resource/>直接配置数据源,原因上面已说明了。   

 

     2)tomcat安装目录下的conf/server.xml,该方法可以指定把哪些source绑定到哪个web工程下。

<!-- 新增,第一行为加载的工程配置,第二行是该工程需要的ResourceLink配置 -->

<context docBase="/web/webapps/phoenix" path="" reloadable="false"> 

      <ResourceLink global="jdbc/testMDB" name="jdbc/testMDB" type="javax.sql.DataSource"/>

</context>

也可在此文件中,不使用<ResourceLink/>,而使用<Resource/>直接配置数据源。

 

     3)安装目录下的conf/localhost/下建立一个xml文件,文件名是<yourAppName>.xml。比如工程名为test,则该xml名为test.xml。

<?xml version="1.0" encoding="UTF-8"?>

<Context>   

    <ResourceLink global="jdbc/testMDB" name="jdbc/testMDB" type="javax.sql.DataSource"/>       

</context>

也可在此文件中,不使用<ResourceLink/>,而使用<Resource/>直接配置数据源。

 

     4)tomcat安装目录下的\webapps\test\META-INF\context.xml的Context节点中增加:

<ResourceLink global="jdbc/testMDB" name="jdbc/testMDB" type="javax.sql.DataSource"/>

也可在此文件中,不使用<ResourceLink/>,而使用<Resource/>直接配置数据源。

 

 

本文内容都在tomcat6.0上运行测试过,还下载了commons DBCP的源码,加入了跟踪日志,用于验证本文的理论。

 

连接池排名(纯个人看法)

-----------------------------

Tomcat JDBC pool

DBCP 1.4

c3p0   速度不错

BoneCP 速度不错,但会启用很多附加线程做回收、关闭工作。

Proxool 在高并发时出现异常

DBCP 1.2

DBPool 最差,垫底。

参考文档《Java连接池评估报告》

 

分享到:
评论
8 楼 gary_bu 2017-07-28  
7 楼 WilliamHoward 2014-10-10  
能否介绍一下borrow的工作流程,因为不了解 所以不太理解性能低下的说法?
6 楼 WilliamHoward 2014-10-10  
很有用 十分感谢分享!
5 楼 yj18925044132 2014-06-04  
[/img][/img][/img][/img][/img][/img][/img]
4 楼 Arthur_sky 2013-09-05  
   赞一个  谢谢分享
3 楼 jacking124 2013-08-28  
jacking124 写道
连接池目前还有一个淘宝开源社区的druid!!性能在dbcp之上!!

http://code.alibabatech.com/wiki/pages/viewpage.action?pageId=2916539
这个是测试对比!
谢谢主任分享,受益匪浅,对DBCP连接池原理有了很深的理解
2 楼 discovercong 2013-08-28  
1 楼 jacking124 2013-08-28  
连接池目前还有一个淘宝开源社区的druid!!性能在dbcp之上!!

相关推荐

    自己封装的dbcp连接池封装,可以同时连接多个数据库

    1. **数据库连接池原理**:数据库连接池的核心思想是在应用程序启动时预创建一组数据库连接,并将它们存储在内存中。当需要执行数据库操作时,程序从池中获取一个连接,执行完毕后再将其放回。这样减少了创建和销毁...

    day18 16.dbcp连接池使用介绍

    标题中的“day18 16.dbcp连接池使用介绍”指的是一个关于数据库连接池(DBCP)的教程,可能是第18天课程的第16个部分。DBCP是Apache Commons的一个组件,全称为“Database Connection Pool”,它提供了一个数据库...

    JDBC数据库连接池实现原理

    1. **选择连接池实现**:首先,我们需要选择一个合适的数据库连接池实现,如Apache的DBCP、C3P0、HikariCP或Tomcat JDBC连接池等。这些连接池库提供了管理和维护数据库连接的功能。 2. **配置连接池**:在应用的...

    连接池实现原理及效率测试

    本文将深入探讨连接池的实现原理,并通过实际测试分析其效率。 首先,我们需要理解连接池的基本概念。数据库连接池,即Database Connection Pool,是在应用服务器中维护的一组数据库连接。这些连接可以被多个客户端...

    mysql连接池java源码

    MySQL连接池在Java应用开发中扮演着至关重要的角色...总的来说,这个项目提供了一个学习和研究数据库连接池实现的绝佳机会,通过分析和实践,开发者可以更好地掌握数据库连接管理的技巧,提高Java应用的性能和稳定性。

    java连接池实例.doc

    #### 三、Java连接池内部原理 连接池内部通常包括以下几个核心组件: 1. **连接工厂**:负责创建新的数据库连接。 2. **连接池管理器**:管理连接的生命周期,包括创建、分配、回收等操作。 3. **连接对象**:表示一...

    数据库连接池驱动程序包

    在这个“数据库连接池驱动程序包”中,包含了三种主流的连接池实现:C3P0、DBCP和Druid。这三种驱动程序各自有其特点和优势,下面将详细阐述它们的原理、使用方法以及适用场景。 1. C3P0 C3P0是一个开源的JDBC连接...

    Java 连接池源码

    Java连接池是Java应用程序中管理数据库连接的一种机制,它的出现大大提高了数据库操作的性能和效率。...通过分析个人实现的源码,你可以深入学习连接池的工作原理,了解如何设计和实现高效的数据访问策略。

    dbcp2-2.1.1和pool2-2.4.2 jar包

    《dbcp2-2.1.1与pool2-2.4.2:Java数据库连接池的基石》 在Java编程领域,数据库连接池(Database Connection Pool)是提高应用程序性能和资源管理的关键技术之一。Apache的Commons DBCP2-2.1.1和Commons Pool2-...

    Java 连接池【示例】

    通过日志记录连接池的状态和活动,方便进行性能分析和问题排查。某些连接池如Druid还提供了Web监控界面,可实时查看连接池的各项指标。 总结,Java连接池是Java开发中不可或缺的一部分,它极大地提高了应用程序处理...

    java手写数据库连接池

    在实际开发中,虽然手写数据库连接池可以加深对数据库连接池原理的理解,但更常见的情况是使用成熟的连接池实现,如C3P0、Apache DBCP、HikariCP等,它们经过大量优化,提供了更好的性能和稳定性。 总的来说,理解...

    java数据库连接池源码及使用示例

    在实际项目中,常见的Java连接池实现有C3P0、DBCP、HikariCP和Apache DBCP2等。每个都有其特点和优势,例如HikariCP以其高性能和低延迟著称。而手写连接池虽然能帮助理解连接池的工作原理,但在生产环境中,通常推荐...

    java数据库连接池

    #### 二、连接池内部原理分析 连接池的核心在于管理一定数量的数据库连接,并确保这些连接的有效性和可用性。一般而言,连接池会维护以下几个关键属性: 1. **初始连接数**(`initialConnections`):连接池启动时...

    一个Demo小例子让你了解数据库连接池实现的4种方式

    首先,让我们了解数据库连接池的基本原理。数据库连接池在初始化时会创建一定数量的数据库连接,这些连接在应用程序需要时被复用,而不是每次请求都创建新的连接。当连接不再使用时,会被放回池中,供后续请求使用,...

    java写的数据库连接池

    在Java中,有许多成熟的数据库连接池库,如Apache的DBCP、C3P0、HikariCP以及Tomcat JDBC Connection Pool等。这些库提供了完善的连接管理和优化功能,包括连接的自动获取与释放、空闲连接检测、超时控制、事务支持...

    DB_Conn_Pool.rar_创建数据库_数据库 连接池_数据库连接池_连接池

    1. 选择连接池实现:有许多成熟的数据库连接池实现,如Apache的DBCP、C3P0,以及HikariCP等。这些组件提供了丰富的配置选项,可以根据项目需求选择合适的连接池。 2. 配置连接池:配置包括数据库驱动类、URL、用户名...

    连接池资料

    本资料集合了我在上学时学习连接池的知识,包含源码分析和PPT讲解,旨在帮助读者深入理解并掌握连接池的工作原理和应用。 首先,我们需要理解连接池的基本工作流程。当一个应用程序需要与数据库交互时,它不再直接...

Global site tag (gtag.js) - Google Analytics