XXXX项目是目前在实际工作中正在做的事情,该项目是一个大型系统的内容管理内核,负责最核心的meta data的集中管理,性能有较高的要求,设计初期就要求能够支持cluster。项目使用hibernate 3.2,针对开发过程中对于各种缓存的不同看法,撰写了本文。重点在于澄清一些hibernate的缓存细节,纠正一些错误的缓存用法。
一、hibernate的二级缓存
如果开启了二级缓存,hibernate在执行任何一次查询的之后,都会把得到的结果集放到缓存中,缓存结构可以看作是一个hash table,key是数据库记录的id,value是id对应的pojo对象。当用户根据id查询对象的时候(load、iterator方法),会首先 在缓存中查找,如果没有找到再发起数据库查询。但是如果使用hql发起查询(find, query方法)则不会利用二级缓存,而是直接从数据库获得数据,但是它会把得到的数据放到二级缓存备用。也就是说,基于hql的查询,对二级缓存是只写 不读的。
针对二级缓存的工作原理,采用iterator取代 list来提高二级缓存命中率的想法是不可行的。Iterator的工作方式是根据检索条件从数据库中选取所有目标数据的id,然后用这些id一个一个的 到二级缓存里面做检索,如果找到就直接加载,找不到就向数据库做查询。因此假如iterator检索100条数据的话,最好情况是100%全部命中,最坏 情况是0%命中,执行101条sql把所有数据选出来。而list虽然不利用缓存,但是它只会发起1条sql取得所有数据。在合理利用分页查询的情况下, list整体效率高于iterator。
二级缓存的失效机制由hibernate控制,当某条数据被修改之后,hibernate会根据它的id去做缓存失效操作。基于此机制,如果数据表不是被hibernate独占(比如同时使用jdbc或者ado等),那么二级缓存无法得到有效控制。
由于hibernate的缓存接口很灵活,cache provider可以方便的切换,因此支持cluster环境不是大问题,通过使用swarmcache、jboss cache等支持分布式的缓存方案,可以实现。但是问题在于:
1、 分布式缓存本身成本偏高(比如使用同步复制模式的jboss cache)
2、 分布式环境通常对事务控制有较高要求,而目前的开源缓存方案对事务缓存(transaction cache)支持得不够好。当jta事务发生会滚,缓存的最后更新结果很难预料。这一点会带来很大的部署成本,甚至得不偿失。
结论:XXXX不应把hibernate二级缓存作为优化的主要手段,一般情况下建议不要使用。
原因如下:
1、 XXXX 的DAO类大部分是从1.0升级过来,由于1.0采用的是hibernate 2.1,所以在批量删除数据的时候采用了native sql的方式。虽然XXXX2.0已经完全升级到hibernate 3.2,支持hibernate原生的批量删改,但是由于hibernate批量操作的性能不如sql,而且为了兼容1.0的dao类,所以很多地方保留 了sql操作。哪些数据表是单纯被hibernate独占无法统计,而且随着将来业务的发展可能会有很大变数。因此不宜采用二级缓存。
2、 针对系统业务来说,基于id检索的二级缓存命中率极为有限,hql被大量采用,二级缓存对性能的提升很有限。
3、 hibernate 3.0在做批量修改、批量更新的时候,是不会同步更新二级缓存的,该问题在hibernate 3.2中是否仍然存在尚不确定。
二、hibernate的查询缓存
查询缓存的实现机制与二级缓存基本一致,最大的差异在于放入缓存中的key是查询的语句,value是查询之后得到的结果集的id列表。表面看来这 样的方案似乎能解决hql利用缓存的问题,但是需要注意的是,构成key的是:hql生成的sql、sql的参数、排序、分页信息等。也就是说如果你的 hql有小小的差异,比如第一条hql取1-50条数据,第二条hql取20-60条数据,那么hibernate会认为这是两个完全不同的key,无法 重复利用缓存。因此利用率也不高。
另外一个需要注意的问题是,查询缓存和二级缓存是有关联关系的,他们不是完全独立的两套东西。假如一个查询条件hql_1,第一次被执行的时候,它 会从数据库取得数据,然后把查询条件作为 key,把返回数据的所有id列表作为value(请注意仅仅是id)放到查询缓存中,同时整个结果集放到class缓存(也就是二级缓存),key是 id,value是pojo对象。当你再次执行hql_1,它会从缓存中得到id列表,然后根据这些列表一个一个的到class缓存里面去找pojo对 象,如果找不到就向数据库发起查询。也就是说,如果二级缓存配置了超时时间(或者发呆时间),就有可能出现查询缓存命中了,获得了id列表,但是 class里面相应的pojo已经因为超时(或发呆)被失效,hibernate就会根据id清单,一个一个的去向数据库查询,有多少个id,就执行多少 个sql。该情况将导致性能下降严重。
查询缓存的失效机制也由 hibernate控制,数据进入缓存时会有一个timestamp,它和数据表的timestamp对应。当hibernate环境内发生save、 update等操作时,会更新被操作数据表的timestamp。用户在获取缓存的时候,一旦命中就会检查它的timestamp是否和数据表的 timestamp匹配,如果不,缓存会被失效。因此查询缓存的失效控制是以数据表为粒度的,只要数据表中任何一条记录发生一点修改,整个表相关的所有查 询缓存就都无效了。因此查询缓存的命中率可能会很低。
结论:XXXX不应把hibernate二级缓存作为优化的主要手段,一般情况下建议不要使用。
原因如下:
1、 XXXX的上层业务中检索条件都比较复杂,尤其是涉及多表操作的地方。很少出现重复执行一个排序、分页、参数一致的查询,因此命中率很难提高。
2、 查询缓存必须配合二级缓存一起使用,否则极易出现1+N的情况,否则性能不升反降
3、 使用查询缓存必须在执行查询之前显示调用Query.setCacheable(true)才能激活缓存,这势必会对已有的hibernate封装类带来问题。
总结
详细分析hibernate的二级缓存和查询缓存之后,针对XXXX项目的具体情况做出结论,在底层使用通用缓存方案的想法基本上是不可取的。比较好的做 法是在高层次中(业务逻辑层面),针对具体的业务逻辑状况手动使用数据缓存,不仅可以完全控制缓存的生命周期,还可以针对业务具体调整缓存方案提交命中 率。 Cluster中的缓存同步可以完全交给缓存本身的同步机制来完成。比如开源缓存swarmcache采用invalidate的机制,可以根据用户指定 的策略,在需要的时候向网络中的其他swarmcache节点发送失效消息,这一机制和XXXX1.0中已经采用的MappingCache的同步方案基 本一致。建议采用。
转自:http://www.wujianrong.com/archives/2007/08/hibernate-13.html
分享到:
相关推荐
以Ehcache为例,它是Hibernate常用的一种二级缓存解决方案,提供了内存和磁盘两层缓存,支持自动过期策略,确保数据的实时性。 配置二级缓存主要包括以下几个步骤: 1. 引入依赖:在项目的pom.xml或build.gradle...
Ehcache 是一个开源的、高性能的缓存解决方案,它可以被集成到各种Java应用中,包括Hibernate框架。Ehcache 提供了内存和磁盘存储,以及分布式缓存的能力,使得数据能够在多个节点之间共享,增强了系统的可扩展性。 ...
总结,理解并熟练运用Hibernate的二级缓存和分页功能,能帮助我们构建高效、稳定的企业级应用。在具体实现时,还需要根据业务需求和系统环境选择合适的缓存策略和分页方案。文件`s.7z`和`h.7z`可能包含示例代码或...
在企业级Java应用开发中,Spring和...总之,合理利用Hibernate的二级缓存机制,结合Spring的管理能力,可以有效地提升Java应用的性能。通过优化缓存配置和策略,可以在不牺牲数据一致性的情况下,达到良好的用户体验。
EhCache是一个广泛使用的开源Java缓存解决方案,它被集成到Hibernate中,用于实现二级缓存。 3. **EhCache配置**:`ehcache.xml`文件是EhCache的配置文件,用于定义缓存策略,如缓存的最大大小、存活时间和过期时间...
Ehcache 是一个广泛使用的开源缓存解决方案,它支持本地缓存和分布式缓存,与 Hibernate 集成方便,可以提供高效的二级缓存服务。Infinispan 则是一个更强大的内存数据网格,不仅提供缓存功能,还支持数据分布式存储...
简单来说,缓存是一种存储技术,位于应用程序与物理数据之间,目的是为了减少应用程序对物理数据的访问频率,从而提升整体系统的性能。 #### 二、缓存的重要性 缓存之所以能够提高系统性能,是因为对物理数据(如...
Ehcache是Hibernate常用的二级缓存解决方案,它可以提高应用程序的性能和响应速度。这篇博客文章“hibernate缓存ehcache用法”可能详细介绍了如何在Hibernate中配置和使用Ehcache。 首先,我们需要理解什么是缓存。...
总结来说,Hibernate的二级缓存是一个强大的性能优化工具,通过理解缓存的基本原理和配置细节,我们可以有效地利用缓存提高系统的响应速度,同时避免潜在的数据一致性问题。正确配置和使用二级缓存,是每个Hibernate...
Hibernate 二级缓存是Java持久化框架Hibernate中的一个重要特性,它提供了一种在多个数据库会话之间共享数据的机制,从而提高应用性能。在数据库访问频繁的应用中,二级缓存可以显著减少对数据库的直接访问,进而...
总结起来,本文介绍了如何结合Hibernate和EhCache实现数据缓存,涉及了Hibernate配置、EhCache配置、实体类缓存注解以及缓存功能的测试。理解并实践这些知识点,有助于开发出更高效、响应更快的Java应用。
EhCache是常用的开源缓存解决方案,易于集成且功能强大。在pom.xml或build.gradle文件中,我们需要添加对应的依赖,如EhCache的jar包。 2. **配置Hibernate**:在hibernate.cfg.xml配置文件中,开启二级缓存并指定...
总的来说,这个压缩包提供了两个版本的Ehcache,可以帮助开发者根据项目需求选择合适的版本来优化Hibernate应用的性能。使用Ehcache作为二级缓存,能够有效提升数据访问的速度,降低数据库的压力,是大型企业级应用...
开发者也可以根据自己的需求设计自定义缓存方案,比如通过注解或者拦截器等方式实现在业务逻辑中的缓存控制。 #### 总结 通过上述步骤,我们可以有效地在Hibernate中配置二级缓存以及查询缓存,从而显著提升数据...
同时,理解一级缓存的原理也有助于我们理解二级缓存和其他缓存解决方案,如Ehcache和Infinispan,以及它们在复杂分布式系统中的应用。 总之,Hibernate的一级缓存是提高应用程序性能的关键因素之一。理解其工作原理...
在IT行业中,Hibernate是一个非常...通过本教程,你将学习到如何在实际项目中配置和优化Hibernate的二级缓存,以及如何解决与之相关的各种问题。这将有助于提升应用的响应速度,降低数据库压力,提高系统的整体性能。
在现代软件开发中,ORM框架如Hibernate被广泛应用于数据库操作,以简化Java应用程序与数据库之间的交互。然而,使用Hibernate时,缓存机制的合理配置对于提升应用性能至关重要。本文将深入探讨Hibernate使用缓存时...