`
北极的。鱼
  • 浏览: 159237 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

【转】C#实现连接池

阅读更多

转自:http://www.cnblogs.com/woodcutter/archive/2010/04/22/1718145.html

 

一般的数据库应用程序大致都遵循下面的步骤:

  1. 初始化程序
  2. 用户在UI上输入操作
  3. 由用户操作产生数据库操作
  4. 将数据库操作递交到数据库服务器
  5. .... (重复2~4)
  6. 关闭应用程序

  而本文则着重讲解上面第4步骤.在着一步骤中我们经常是,打开数据库连接操作数据库,最后关闭数据库.
  在服务器端程序设计上与数据库的操作显得十分重要,因为你要处理的数据操作十分巨大.如果频繁创建数据库连接频繁关闭数据库连接则会引起效率低下甚至引发程序崩溃.
  也许我们可以有另一种操作数据库的形式,我们可以在程序运行时打开一个数据库连接,让这个连接永久存在直到程序'死亡',那么这样做也有不安全隐患,我们知道一个对象存在时间越长或被使用次数越多则它表现的越不稳定,着不稳定因素是由于对象内部可能存在的潜在设计问题产生,对于数据库连接对象道理也一样.我们不能保证一个Connection对象里面能一点问题不存在.所以我们也不敢长时间将它长时间占用内存.
  既然有这么多的问题由此我们需要一个能帮我们维护数据库连接的东西-它就是连接池,网上有很多的连接池例子,但是多数都是简单的例子,或者介绍比较复杂的连接池原理,没有一个比较完整介绍和实现连接池的例子.这里就介绍你如何自己制作一个连接池.
  对于共享资源,有一个很著名的设计模式:资源池(Resource Pool)。该模式正是为了解决资源的频繁分配﹑释放所造成的问题。为解决我们的问题,可以采用数据库连接池技术。数据库连接池的基本思想就是为数据库连接建立一个“缓冲池”。预先在缓冲池中放入一定数量的连接,当需要建立数据库连接时,只需从“缓冲池”中取出一个,使用完毕之后再放回去。我们可以通过设定连接池最大连接数来防止系统无尽的与数据库连接。更为重要的是我们可以通过连接池的管理机制监视数据库的连接的数量﹑使用情况,为系统开发﹑测试及性能调整提供依据。连接池的基本工作原理见下图。

数据库连接池(Connection Pool)的工作原理

 



 

连接池关键问题分析

  1、并发问题

  为了使连接管理服务具有最大的通用性,必须考虑多线程环境,即并发问题。这个问题相对比较好解决,因为各个语言自身提供了对并发管理的支持像java,c#等等,使用synchronized(java)lock(C#)关键字即可确保线程是同步的。使用方法可以参考,相关文献。

  2、事务处理

  我们知道,事务具有原子性,此时要求对数据库的操作符合“ALL-ALL-NOTHING”原则,即对于一组SQL语句要么全做,要么全不做。
  我们知道当2个线程公用一个连接Connection对象,而且各自都有自己的事务要处理时候,对于连接池是一个很头疼的问题,因为即使Connection类提供了相应的事务支持,可是我们仍然不能确定那个数据库操作是对应那个事务的,这是由于我们有2个线程都在进行事务操作而引起的。为此我们可以使用每一个事务独占一个连接来实现,虽然这种方法有点浪费连接池资源但是可以大大降低事务管理的复杂性。

  3、连接池的分配与释放

  连接池的分配与释放,对系统的性能有很大的影响。合理的分配与释放,可以提高连接的复用度,从而降低建立新连接的开销,同时还可以加快用户的访问速度。
  对于连接的管理可使用一个List。即把已经创建的连接都放入List中去统一管理。每当用户请求一个连接时,系统检查这个List中有没有可以分配的连接。如果有就把那个最合适的连接分配给他(如何能找到最合适的连接文章将在关键议题中指出);如果没有就抛出一个异常给用户,List中连接是否可以被分配由一个线程来专门管理捎后我会介绍这个线程的具体实现。

   4、连接池的配置与维护

  连接池中到底应该放置多少连接,才能使系统的性能最佳?系统可采取设置最小连接数(minConnection)和最大连接数(maxConnection)等参数来控制连接池中的连接。比方说,最小连接数是系统启动时连接池所创建的连接数。如果创建过多,则系统启动就慢,但创建后系统的响应速度会很快;如果创建过少,则系统启动的很快,响应起来却慢。这样,可以在开发时,设置较小的最小连接数,开发起来会快,而在系统实际使用时设置较大的,因为这样对访问客户来说速度会快些。最大连接数是连接池中允许连接的最大数目,具体设置多少,要看系统的访问量,可通过软件需求上得到。
  如何确保连接池中的最小连接数呢?有动态和静态两种策略。动态即每隔一定时间就对连接池进行检测,如果发现连接数量小于最小连接数,则补充相应数量的新连接,以保证连接池的正常运转。静态是发现空闲连接不够时再去检查。

关键议题

  • 引用记数

 

  在分配、释放策略对于有效复用连接非常重要,我们采用的方法也是采用了一个很有名的设计模式:Reference Counting(引用记数)。该模式在复用资源方面用的非常广泛,我们把该方法运用到对于连接的分配释放上。每一个数据库连接,保留一个引用记数,用来记录该连接的使用者的个数。具体的实现上,我们对Connection类进行进一步包装来实现引用记数。被包装的Connection类我们提供2个方法来实现引用记数的操作,一个是Repeat(被分配出去)Remove(被释放回来);然后利用RepeatNow属性来确定当前被引用多少,具体是哪个用户引用了该连接将在连接池中登记;最后提供IsRepeat属性来确定该连接是否可以使用引用记数技术。一旦一个连接被分配出去,那么就会对该连接的申请者进行登记,并且增加引用记数,当被释放回来时候就删除他已经登记的信息,同时减少一次引用记数。

  这样做有一个很大的好处,使得我们可以高效的使用连接,因为一旦所有连接都被分配出去,我们就可以根据相应的策略从使用池中挑选出一个已经正在使用的连接用来复用,而不是随意拿出一个连接去复用。策略可以根据需要去选择,我们有4策略可是使用:

1.ConnLevel_ReadOnly 独占方式
  使用空闲的实际连接分配连接资源,并且在该资源释放回之前,该资源在连接池中将不能将其引用分配给其他申请者。如果连接池中所有实际连接资源都已经分配出去,那么即使连接池可以在分配引用资源在该模式下连接迟将不会分配连接资源,连接池会产生一个异常,标志连接池资源耗尽。
  例:假如一个实际连接可以被分配5次,那么使用该模式申请连接的话您将损失4个可分配的连接,只将得到一个连接资源。 直至该资源被释放回连接池,连接池才继续分配它剩余的4次机会。 
  当你在使用连接时可能应用到事务时,可以使用该模式的连接,以确定在事务进行期间您可以对该连接具有独享权限,以避免各个数据库操作访问的干扰。
2.ConnLevel_High 优先级-高
  使用空闲的实际连接分配连接资源,并且在该资源释放回之前,该资源在连接池中将可能将其引用分配给其他申请者。*注意:此级别不保证在分配该资源后,仍然保持独立占有连接资源,若想独立占有资源请使用ReadOnely, 因为当连接池达到某一时机时该资源将被重复分配(引用记数)然而这个时机是不可预测的。如果您申请的连接会用于事务处理您可以使用ConnLevel_ReadOnly级别。
3.ConnLevel_None 优先级-中
  适当应用引用记数技术分配连接资源。
在该模式下,连接池内部会按照实际连接已经使用次数排序(多->少),然后在结果中选取 1/3 位置的连接资源返回。与优先级-高相同该模式也不具备保持独立占有连接资源的特性。如果您申请的连接会用于事务处理您可以使用
ConnLevel_ReadOnly
级别。
4.ConnLevel_Bottom 优先级-底
尽可能使用引用记数技术分配连接。在该模式下,连接池内部会按照实际连接已经使用次数排序(多->少),然后在结果中选取被使用最多的返回。该模式适合处理较为不重要的连接资源请求。与优先级-高相同该模式也不具备保持独立占有连接资源的特性。如果您申请的连接会用于事务处理您可以使用ConnLevel_ReadOnly级别。

以上4条策略选自datebasepool_SDK(datebasepool是本文所开发的最终产物)

  • 如何实现事务处理

   前面谈到的都是关于使用数据库连接进行普通的数据库访问。对于事务处理,情况就变得比较复杂。因为事务本身要求原子性的保证,此时就要求对于数据库的操作符合"All-All-Nothing"原则,即要么全部完成,要么什么都不做。如果简单的采用上述的连接复用的策略,就会发生问题,因为没有办法控制属于同一个事务的多个数据库操作方法的动作,可能这些数据库操作是在多个连接上进行的,并且这些连接可能被其他非事务方法复用。
  Connection本身具有提供了对于事务的支持,具体实现方法请参看Connection的msdn,显式的调用commit或者rollback方法来实现。但是要安全、高效的进行Connection进行复用,就必须提供相应的事务支持机制。我们采用的方法是:用户以ConnLevel_ReadOnly模式申请一个连接之后该连接就由该申请者独自享有该连接,具体事务操作由用户自行设计编写,连接池只提供用户独自占有。

  •  管理连接池

  在上文中我们说过这个连接池内部连接管理使用的是独立的线程来工作(threadCreate和threadCheck)threadCreate线程负责创建连接 ,threadCheck线程负责检查每个连接是否达到自己的寿命,标志连接寿命的条件是被引用的次数超过它最大被引用次数,或者达到最大生存时间。这些参数都由ConnStruct类管理,ConnStruct类是包装连接的类,下面定义的就是连接池使用到的属性变量(C#代码)

 

 

//属性 private int _realFormPool;//连接池中存在的实际连接数(包含失效的连接) private int _potentRealFormPool;//连接池中存在的实际连接数(有效的实际连接) private int _spareRealFormPool;//空闲的实际连接 private int _useRealFormPool;//已分配的实际连接 private int _readOnlyFormPool;//连接池已经分配多少只读连接 private int _useFormPool;//已经分配出去的连接数 private int _spareFormPool;//目前可以提供的连接数 private int _maxConnection;//最大连接数,最大可以创建的连接数目 private int _minConnection;//最小连接数 private int _seepConnection;//每次创建连接的连接数 private int _keepRealConnection;//保留的实际空闲连接,以攻可能出现的ReadOnly使用,当空闲连接不足该数值时,连接池将创建seepConnection个连接 private int _exist = 20;//每个连接生存期限 20分钟 private int _maxRepeatDegree = 5;//可以被重复使用次数(引用记数),当连接被重复分配该值所表示的次数时,该连接将不能被分配出去 //当连接池的连接被分配尽时,连接池会在已经分配出去的连接中,重复分配连接(引用记数)。来缓解连接池压力 private DateTime _startTime;//服务启动时间 private string _connString = null;//连接字符串 private ConnTypeEnum _connType;//连接池连接类型 private PoolState _ps;//连接池状态 //内部对象 private ArrayList al_All = new ArrayList();//实际连接 private Hashtable hs_UseConn = new Hashtable();//正在使用的连接 private System.Timers.Timer time;//监视器记时器 private Thread threadCreate;//创建线程 private bool isThreadCheckRun = false;

 


 

当用户调用连接池的StartService方法时,在StartService方法中会通知threadCreate线程创建静态连接,然后将这些静态连接加入到List,同时启动threadCheck线程,threadCheck线程负责检测List中的最小空闲连接是否少于连接池配置的最少空闲连接数,当条件为真时threadCheck线程会负责再次唤醒threadCreate线程同时给threadCreate线程传递这次要创建的连接个数。
  对于threadCreate线程有2种工作模式,模式0为初始化创建模式,该模式会创建连接迟池配置的最小连接数目;模式1即每隔一定时间就对连接池进行检测,如果发现连接数量小于最小连接数,则补充相应数量的新连接时的工作模式。
  申请连接,当用户申请连接时必须指定一个发起者和一个申请优先级别,优先级由ConnLevel_*系列指定。一旦用户从连接池中申请到一个连接时就将申请到的连接引用和申请者,同时加入到HashTable来注册到连接池。
  释放连接,将注册的用户删除。  
 

 

其它更多详细信息,请参考书:http://www.csharpwin.com/dotnetspace/10690r3378.shtml

  • 大小: 25.5 KB
分享到:
评论

相关推荐

    c# mysql数据库连接池实现

    在.NET Core中,对于MySQL数据库,我们可以使用`MySql.Data`或`Pomelo.EntityFrameworkCore.MySql`库来实现连接池。 1. 安装依赖库 使用NuGet包管理器安装`Pomelo.EntityFrameworkCore.MySql`或者`MySql.Data`。`...

    C# 数据库连接池 C# 数据库连接池

    本文将深入探讨C#中数据库连接池的工作原理、实现方式以及最佳实践。 ### 数据库连接池的工作机制 1. **初始化**:当应用程序首次请求数据库连接时,连接池会创建一定数量的初始连接,这些连接保持空闲状态以备...

    C# Socket连接池

    本文将深入探讨“C# Socket连接池”的实现原理、优势以及如何利用线程池技术来构建和优化它。同时,我们也会提及Windows计数器在监控和分析线程池性能中的作用。 首先,理解Socket连接池的概念。Socket是网络通信的...

    C#高效数据库连接池源码

    在C#中,我们可以利用这些类来实现连接池的管理。 3. **自定义数据库连接池**: 自定义数据库连接池需要考虑的关键点包括连接的初始化、分配、回收以及超时管理。在C#中,可以使用`System.Data.Common....

    C# 数据库连接池

    在C#中,ADO.NET框架内置了对数据库连接池的支持,主要通过`System.Data.SqlClient.SqlConnection`类实现。当我们使用`SqlConnection`的`Open()`方法打开连接时,实际上是从连接池中获取一个可用的连接;调用`Close...

    MySql数据库连接池C#代码(有注释含测试代码)

    在C#编程中,我们可以使用自定义的连接池或者第三方库如ADO.NET的DBConnection类来实现这一功能。本示例包含的代码文件`ConnectionPool.cs`、`TestConnectionPool.cs`和`PooledConnection.cs`提供了自定义数据库连接...

    C# 数据库连接池实例

    数据库连接池是数据库管理中的一个重要概念,特别是在使用像C#这样的编程语言进行数据库操作时,它的存在极大地...通过合理的配置和编程实践,我们可以充分利用数据库连接池带来的优势,实现高效、稳定的数据库访问。

    C#编写的数据库连接池

    本项目标题为“C#编写的数据库连接池”,说明我们将探讨如何利用C#语言实现数据库连接的复用,从而减少创建和关闭数据库连接的开销。 首先,我们需要理解什么是数据库连接池。数据库连接池是在应用程序中预先建立一...

    RabbitMQ客户端连接池的原理及源码

    RabbitMQ客户端库,如Java的`com.rabbitmq.client`包,通常不直接提供连接池的实现,但可以通过第三方库,如Apache Commons Pool或HikariCP等,实现连接的复用。这些库通常会封装RabbitMQ的连接创建和管理,提供一个...

    数据库连接池的实现(很完整(支持多种数据库

    在给定的压缩包中,"数据库连接池的实现(很完整(支持多种数据库)"显然提供了一个支持多种数据库的连接池实现。这通常意味着该实现具备以下功能: 1. **多数据库支持**:它能够兼容Oracle和SQL Server等不同类型的...

    winform数据库连接池源码

    `SqlConnectionPool`就是一种针对SQL Server数据库的连接池实现,它通过管理和重用已建立的数据库连接,减少了创建和销毁连接的开销。 数据库连接池的基本原理是:当一个应用请求一个新的数据库连接时,连接池不会...

    万能对象池【C#实现】

    总结来说,C#实现的万能对象池是通过泛型和面向对象的设计来提供一种通用的资源管理机制,优化了对象生命周期的管理,减少了垃圾回收的频率,提升了程序运行效率。在实际项目中,根据需求对对象池进行适当的定制和...

    C#自定义对象池

    对于数据库连接池,我们可以扩展这个概念,创建一个专门针对数据库连接的池,例如`DbConnectionPool`。这个类需要处理更复杂的情况,如连接的打开和关闭,以及连接的有效性检查。数据库连接池通常会集成到ORM框架...

    C# ajax和数据库连接池小实例

    下面将详细探讨C#、Ajax以及数据库连接池的相关知识点。 一、C#与Ajax的结合使用 1. C# Web应用基础:C#通常与ASP.NET框架一起使用,构建服务器端的Web应用。通过编写C#代码,开发者可以处理HTTP请求,生成动态...

    C#中的数据库连接池:原理、实践与性能优化

    在C#中,数据库连接池的实现主要依赖于ADO.NET框架,该框架提供了强大的连接池管理功能。本文将深入探讨C#中数据库连接池的工作原理、如何使用以及性能优化策略。 数据库连接池是提高C#应用程序性能的关键技术。通过...

    c#的mysql数据库连接池源码,已稳定运行多年

    标题中的“c#的mysql数据库连接池源码”指的是一个特定的C#项目,这个项目提供了自定义的MySQL连接池实现。这种实现可能包含了一些优化策略,比如连接的创建、回收、验证以及过期策略,使得在实际应用中能够稳定运行...

    设置数据库连接串连接池信息 编程小实例,C++.net源代码编写

    数据库连接池是一种优化资源管理的技术,它能够高效地处理多个并发数据库请求,提高系统性能并减少资源消耗。在这个编程小实例中,我们将探讨如何在C++.NET环境中设置数据库连接串和连接池信息。 首先,我们需要...

    ActiveMQ连接池完整封装实例工具类

    在ActiveMQ中,我们可以使用PooledConnectionFactory来实现连接池。 以下是一个简化的ActiveMQ连接池工具类实现思路: 1. **初始化配置**:在工具类初始化时,需要配置ActiveMQ服务器的URL、用户名、密码等信息。...

    实现高效的数据库连接池(附带完整代码C#和Java实现).docx

    提供的文档可能包含了C#和Java两种语言的完整代码实现,旨在帮助读者理解并自定义连接池。这些代码会涵盖上述提到的各个功能点,如连接的获取、释放、属性更新和线程管理等。 综上所述,数据库连接池是提高数据库...

    sql200连接池配置代码

    在SQL Server 2000中,可以通过ADO.NET(ActiveX Data Objects .NET)的SqlConnection类来实现连接池。在C#或VB.NET等.NET语言中,配置SQL Server 2000的连接池主要涉及以下几个关键参数: 1. `MinPoolSize`:定义...

Global site tag (gtag.js) - Google Analytics