- 浏览: 280747 次
- 性别:
- 来自: 北京
文章分类
- 全部博客 (129)
- 数据交互---协议---编码---乱码 (6)
- 客户端技术---JS---JQUERY (25)
- 客户端技术---CSS (2)
- 平台技术---类加载器 (5)
- 平台技术---线程安全 (3)
- 平台技术---JAVA---API---反射PROXY---AOP---IO (15)
- 服务端技术---SERVLET、JSP (2)
- 服务端技术---WEB容器 (12)
- 服务端技术---EJB容器 (1)
- 服务端技术---SSH (4)
- 持久技术---SQL、连接池、数据库 (22)
- 系统---设计模式 (3)
- 系统---报表---BRIT (2)
- 系统---UML (2)
- 开源项目---RED5 (2)
- 开源项目---JDK_JAVAC (1)
- 开源项目---BEANSHELL (2)
- 有技术含量的面试题 (3)
- IDE---ECLIPSE---MAVEN (11)
- 自我总结 (4)
- 性能调优 (2)
最新评论
-
jaywcjlove:
http://jaywcjlove.github.io/hot ...
JS 网页快捷键设置 -
xubindehao:
编译后的字节码放到缓存中
JAVAC动态编译 -
luyanfei78:
"maven.test.skip同时控制maven- ...
Maven编译打包时如何忽略测试用例 -
石斧砍柴好慢:
学习了!
修改Maven本地仓库和eclipse3.6的Maven本地仓库地址 -
至尊宝_唯一:
今天在myeclipse中出现了定义在META-INF在的co ...
数据源放于:/META-INF/context.xml
最近在做一个内部测试工具类的优化工作中接触到了连接池, 对象池技术, 将原有的未使用连接池的数据库访问操作改成连接池方式.性能有了非常大的提升, 事实证明, 经过两次改造, 原来一个比较大的测试类需要500多秒, 第一次优化后只需要300多秒, 第二次改用连接池之后同一个测试类只需要80多秒.下面是改造过程中的一些总结.
对象池就是以"空间换时间"的一种常用缓存机制, 这里的"时间"特指创建时间,因此这也给出了对象池的适用范围:如果一种对象的创建过程非常耗时的话, 那么请使用对象池. 内部原理简单的说, 就是将创建的对象放到一个容器中, 用完之后不是销毁而是再放回该容器, 让其他的对象调用, 对象池中还涉及到一些高级的技术, 比如过期销毁, 被破坏时销毁, 对象数超过池大小销毁, 对象池中没有可用空闲对象时等待等等.
apache的common-pool工具库是对池化技术原理的一种具体实现. 在阐述原来之前, 这里先理解几个概念:
对象池(ObjectPool接口): 可以把它认为是一种容器, 它是用来装池对象的, 并且包含了用来创建池对象的工厂对象
池对象:就是要放到池容器中的对象, 理论上可以是任何对象.
对象池工厂(ObjectPoolFactory接口):用来创建对象池的工厂, 这个没什么好说的.
池对象工厂(PoolableObjectFactory接口):用来创建池对象, 将不用的池对象进行钝化(passivateObject), 对要使用的池对象进行激活(activeObject), 对池对象进行验证(validateObject), 对有问题的池对象进行销毁(destroyObject)等工作
对象池中封装了创建, 获取, 归还, 销毁池对象的职责, 当然这些工作都是通过池对象工厂来实施的, 容器内部还有一个或多个用来盛池对象的容器.对象池会对容器大小, 存放时间, 访问等待时间, 空闲时间等等进行一些控制, 因为可以根据需要来调整这些设置.
当需要拿一个池对象的时候, 就从容器中取出一个, 如果容器中没有的话, 而且又没有达到容器的最大限制, 那么就调用池对象工厂, 新建一个池对象, 并调用工厂的激活方法, 对创建的对象进行激活, 验证等一系列操作. 如果已经达到池容器的最大值, 而对象池中又经没有空闲的对象, 那么将会继续等待, 直到有新的空闲的对象被丢进来, 当然这个等待也是有限度的, 如果超出了这个限度, 对象池就会抛出异常.
"出来混, 总是要还的", 池对象也是如此, 当将用完的池对象归还到对象池中的时候, 对象池会调用池对象工厂对该池对象进行验证, 如果验证不通过则被认为是有问题的对象, 将会被销毁, 同样如果容器已经满了, 这个归还池对象将变的"无家可归", 也会被销毁, 如果不属于上面两种情况, 对象池就会调用工厂对象将其钝化并放入容器中. 在整个过程中, 激活, 检查, 钝化处理都不是必须的, 因此我们在实现PoolableObjectFactory接口的时候, 一般不作处理, 给空实现即可, 所以诞生了BasePoolableObjectFactory.
当然你也可以将要已有的对象创建好, 然后通过addObject放到对象池中去, 以备后用.
为了确保对对象池的访问都是线程安全的, 所有对容器的操作都必须放在synchronized中.
在apache的common-pool工具库中有5种对象池:GenericObjectPool和GenericKeyedObjectPool, SoftReferenceObjectPool, StackObjectPool, StackKeyedObjectPool.
五种对象池可分为两类, 一类是无key的:
另一类是有key的:
前面两种用CursorableLinkedList来做容器, SoftReferenceObjectPool用ArrayList做容器, 一次性创建所有池化对象, 并对容器中的对象进行了软引用(SoftReference)处理, 从而保证在内存充足的时候池对象不会轻易被jvm垃圾回收, 从而具有很强的缓存能力. 最后两种用Stack做容器. 不带key的对象池是对前面池技术原理的一种简单实现, 带key的相对复杂一些, 它会将池对象按照key来进行分类, 具有相同的key被划分到一组类别中, 因此有多少个key, 就会有多少个容器. 之所以需要带key的这种对象池, 是因为普通的对象池通过makeObject()方法创建的对象基本上都是一模一样的, 因为没法传递参数来对池对象进行定制. 因此四种池对象的区别主要体现在内部的容器的区别, Stack遵循"后进先出"的原则并能保证线程安全, CursorableLinkedList是一个内部用游标(cursor)来定位当前元素的双向链表, 是非线程安全的, 但是能满足对容器的并发修改.ArrayList是非线程安全的, 便利方便的容器.
使用对象池的一般步骤:创建一个池对象工厂, 将该工厂注入到对象池中, 当要取池对象, 调用borrowObject, 当要归还池对象时, 调用returnObject, 销毁池对象调用clear(), 如果要连池对象工厂也一起销毁, 则调用close().
下面是一些时序图:
borrowObject:
returnObject:
invalidateObject:
apache的连接池工具库common-dbcp是common-pool在数据库访问方面的一个具体应用.当对common-pool熟悉之后, 对common-dbcp就很好理解了. 它通过对已有的Connection, Statment对象包装成池对象PoolableConnection, PoolablePreparedStatement. 然后在这些池化的对象中, 持有一个对对象池的引用, 在关闭的时候, 不进行真正的关闭处理, 而是通过调用:
_pool.returnObject(this); 或 _pool.returnObject(_key,this);
这样一句, 将连接对象放回连接池中.
而对应的对象池前者采用的是ObjectPool, 后者是KeyedObjectPool, 因为一个数据库只对应一个连接, 而执行操作的Statement却根据Sql的不同会分很多种. 因此需要根据sql语句的不同多次进行缓存
在对连接池的管理上, common-dbcp主要采用两种对象:
一个是PoolingDriver, 另一个是PoolingDataSource, 二者的区别是PoolingDriver是一个更底层的操作类, 它持有一个连接池映射列表, 一般针对在一个jvm中要连接多个数据库, 而后者相对简单一些. 内部只能持有一个连接池, 即一个数据源对应一个连接池.
下面是common-dbcp的结构关系:
下面是参考了common-dbcp的例子之后写的一个从连接池中获取连接的工具类
/** * 创建连接 * * @since 2009-1-22 下午02:58:35 */ public class ConnectionUtils { // 一些common-dbcp内部定义的protocol private static final String POOL_DRIVER_KEY = "jdbc:apache:commons:dbcp:"; private static final String POLLING_DRIVER = "org.apache.commons.dbcp.PoolingDriver"; /** * 取得池化驱动器 * * @return * @throws ClassNotFoundException * @throws SQLException */ private static PoolingDriver getPoolDriver() throws ClassNotFoundException, SQLException { Class.forName(POLLING_DRIVER); return (PoolingDriver) DriverManager.getDriver(POOL_DRIVER_KEY); } /** * 销毁所有连接 * * @throws Exception */ public static void destory() throws Exception { PoolingDriver driver = getPoolDriver(); String[] names = driver.getPoolNames(); for (String name : names) { driver.getConnectionPool(name).close(); } } /** * 从连接池中获取数据库连接 */ public static Connection getConnection(TableMetaData table) throws Exception { String key = table.getConnectionKey(); PoolingDriver driver = getPoolDriver(); ObjectPool pool = null; // 这里找不到连接池会抛异常, 需要catch一下 try { pool = driver.getConnectionPool(key); } catch (Exception e) { } if (pool == null) { // 根据数据库类型构建连接工厂 ConnectionFactory connectionFactory = null; if (table.getDbAddr() != null && TableMetaData.DB_TYPE_MYSQL == table.getDbType()) { Class.forName(TableMetaData.MYSQL_DRIVER); connectionFactory = new DriverManagerConnectionFactory(table .getDBUrl(), null); } else { Class.forName(TableMetaData.ORACLE_DRIVER); connectionFactory = new DriverManagerConnectionFactory(table .getDBUrl(), table.getDbuser(), table.getDbpass()); } // 构造连接池 ObjectPool connectionPool = new GenericObjectPool(null); new PoolableConnectionFactory(connectionFactory, connectionPool, null, null, false, true); // 将连接池注册到driver中 driver.registerPool(key, connectionPool); } // 从连接池中拿一个连接 return DriverManager.getConnection(POOL_DRIVER_KEY + key); } }
虽然对象池技术在实际开发过程中用的不是很多, 但是理解之后对我们写程序还是有莫大的好处的, 至少我是这样的
原文:http://macrochen.iteye.com/blog/320077
发表评论
-
JDBC执行存储过程的四种情况
2012-05-29 10:33 1345本文主要是总结 如何实现 JDBC调用Oracle的存储过程, ... -
spring事务处理:如果一个事务中有两个SQL,一个成功,另一个失败但被Try catch住了,这时会有什么问题
2012-03-24 21:34 1621try { con.setAutoCommit(false ... -
JDBC中,Connection 、ResultSet 和 Statement 的关闭
2012-03-19 16:45 2700一、JDBC中,如果ResultSet 和 Statement ... -
关于START WITH 和CONNECT BY PRIOR 的记法
2012-03-13 17:20 1094--往上select t.*, t.rowid from ... -
常用的SQL
2012-03-01 11:02 904单建表: create table SEC_LOGIN_LO ... -
in和=无法查出为NULL的值
2012-02-22 15:04 1000select * from base.persons x wh ... -
ORACLE删除重复记录方法
2012-02-22 14:30 905几个删除重复记录的SQL语句1.用rowid方法2.用grou ... -
java.sql.SQLException: ORA-01000: maximum open cursors exceeded
2012-02-08 17:41 1570java.sql.SQLException: ORA ... -
dbcp 属性说明及完整配置
2011-11-29 23:25 1275initialSize :连接池启动时创建的初始化连接数量(默 ... -
使用dbcp的简单例子 .
2011-11-29 23:24 1233运行时需要用到的类包: commons-dbcp-1.2.2 ... -
oracel SQL注意 IS NULL
2011-10-28 16:41 981原先对主用户的判断逻辑为: a.main_prod_inst ... -
OJDBC版本不同引发的DATE问题
2011-09-26 16:37 1981一般的数据库中,DATE字段仅仅表示日期,不包括日期信息,而O ... -
Java连接访问Oracle--Connection.setSavepoint()方法使用
2011-09-25 15:41 4245使用时有一个重要前提:你不能使用oracle的classes1 ... -
事务解说
2011-09-22 10:14 448描述: 事务就是对一系列的数据库操作(比如插入多条数据)进行 ... -
JDBC--日期类型处理
2011-09-16 10:22 1287对表里字段类型为:DATE 不同版本的OJDBC驱动包使用g ... -
游标学习
2011-09-15 20:31 922游标: --定义游标、变量、打开、关闭 DECLARE ... -
触发器学习
2011-09-15 20:30 941触发器: create or replace trigger ... -
包学习
2011-09-15 20:30 879包: create or replace package M ... -
函数学习
2011-09-15 20:28 959函数: create or replace function ... -
存储过程学习
2011-09-14 17:46 926一、 匿名块 --set serveroutput on; ...
相关推荐
DBCP(DataBase Connection Pool)是 apache common上的一个 java 连接池项目,也是 tomcat 使用的连接池组件,依赖 于Jakarta commons-pool 对象池机制,DBCP可以直接的在应用程序中使用。 使用DBCP会用到commons-...
标题中的“最新commons-pool与commons-dbcp”指的是Apache Commons中的两个重要组件,它们主要用于数据库连接管理和资源池化。Apache Commons是Apache软件基金会提供的一系列Java实用工具库,其中DBCP(Database ...
《Apache Commons Pool与Commons DBCP在Struts框架中的应用》 Apache Commons是一个由Apache软件基金会维护的Java库集合,其中包括两个非常重要的组件:Commons Pool和Commons DBCP,它们在处理数据库连接池方面起...
Apache Commons DBCP(Database Connection Pool)和Apache Commons Pool是两个在Java开发中广泛使用的开源库,主要用于数据库连接管理和对象池服务。这两个JAR文件,`commons-dbcp-1.4.jar` 和 `commons-pool-1.5.6...
《Apache Commons Pool与Commons DBCP:SSH组合中的关键组件》 Apache Commons是一个由Apache软件基金会维护的项目集合,提供了大量可重用的Java组件。在这些组件中,"commons-pool"和"commons-dbcp"是两个非常重要...
DBCP(DataBase Connection Pool)是 apache common上的一个 java 连接池项目,也是 tomcat 使用的连接池组件,依赖 于Jakarta commons-pool 对象池机制,DBCP可以直接的在应用程序中使用。 使用DBCP会用到commons-...
Apache Commons Pool 是一个通用的对象池服务,它是DBCP的基础,负责对象的创建、维护和复用。Pool 1.6 提供了基本的池化服务,可以为任何可池化的对象(如数据库连接)创建池。其核心功能包括: 1. 对象池的创建和...
Apache Commons Pool是一个对象池设计模式的实现,它提供了一种在应用程序中高效管理和重用对象的方式。对象池的基本思想是预先创建一定数量的对象,当需要使用时,不再创建新的对象,而是从池中获取已经存在的对象...
首先,Apache Commons Pool 是一个通用的对象池实现,它提供了一个框架,用于管理和复用对象,以提高性能和减少资源消耗。对象池的概念是创建一组预先初始化的对象,当需要时可以从池中获取,而不是每次需要时都创建...
commons-dbcp-1.4 jar java连接池. .commons-dbcp 是 apache 上的一个 java 连接池项目,也是 tomcat 使用的连接池组件。单独使用dbcp需要3个包:
Apache Commons Pool则是Apache Commons项目下的一套对象池API,它是DBCP的基础,用于创建和管理各种对象池,包括数据库连接。Pool 1.3版本提供了基本的对象池服务,包括对象的创建、分配、回收和销毁。它具有以下...
这些文件是Apache Commons项目中的三个重要组件:Commons Collections、Commons DBCP(数据库连接池)和Commons Pool。Apache Commons是Java编程语言中一个非常重要的库集合,提供了大量实用工具类和算法,帮助...
Apache Commons Pool是一个对象池设计模式的实现,主要用于管理资源,如数据库连接或其他昂贵的对象。在Java应用中,创建和销毁对象会消耗一定的系统资源,特别是在高并发环境下。对象池通过重用已创建的对象,避免...
3. **Apache Commons Pool** (commons-pool-1.2.jar):这是Apache Commons的一个子项目,提供了通用的对象池服务。对象池化是一种设计模式,用于减少创建和销毁对象的开销,通过重用已创建的对象来提高性能。DBCP...
`commons-pool-1.4.jar` 是Apache Commons项目中的对象池库,它是DBCP依赖的基础,用于创建和管理对象池,包括数据库连接池。DBCP利用了这个库的功能来管理其内部的数据库连接。Apache Commons Pool提供了基础框架...
接下来是`commons-pool.jar`,它是Apache Commons Pool项目的一部分,主要提供对象池服务。对象池设计模式是一种内存管理技术,通过重用已创建的对象,避免频繁地创建和销毁对象带来的性能开销。Apache Commons Pool...
Apache Commons Pool 是一个通用的对象池库,它提供了一种机制来管理和复用昂贵或创建/初始化耗时的对象。对象池设计的核心理念是减少创建和销毁对象的开销,通过预先创建一定数量的对象并保持在池中,供应用程序...
Apache Commons Pool是对象池设计模式的实现,它提供了一种在多个应用之间共享昂贵资源的机制,比如数据库连接。对象池允许开发者创建一个对象池,而不是每次需要时都创建新对象,从而节省了内存和提高了性能。在...
3. `commons-pool-1.6.jar`:Apache Commons Pool是通用的对象池服务,它是DBCP连接池依赖的基础。DBCP利用了Pool库来实现对象(这里是数据库连接)的池化管理,包括创建、分配、回收和销毁连接等操作。 使用DBCP...
赠送jar包:commons-pool2-2.10.0.jar; 赠送原API文档:commons-pool2-2.10.0-javadoc.jar; 赠送源代码:commons-pool2-2.10.0-sources.jar; 赠送Maven依赖信息文件:commons-pool2-2.10.0.pom; 包含翻译后的API...