http://www.51cto.com/specbook/229/34023.htm
一、案件背景
Hibernate并没有为巨型数据集合提供良好的帮助,这也许是开发者认为这样没有太大必要,反而增加Hibernate框架复杂性的缘故吧!于是“极大数据量==批量处理”、“Hibernate/java不是批处理的最佳场所”的观念在Hibernate开发中大行其道,有些开发者甚至直接利用Hibernate建立session,获取其connection进而进行jdbc操作。Jdbc并不是古董,但在Hibernate中再次call它,难免有些令人无奈。最近在Hibernate的官方坛子上看到Gavin写给初级用户的“understand FlushMode.NEVER”,并参考了一下Stripes项目(本人时常关注的时髦项目)作者Tim的blog。在阅读两位大家言论后,和大家share一下。
二、性能杀手何在?
Tim在其Blog写道:“我目前的DNA重组系统,具有复杂而海量的OLTP数据,对付这些在内存的复杂对象(数千个)的方式是依赖用户接口(非批量处理)来实现用例驱动。”这句半开玩笑的话,是我想起了那男耕女织的生产力低下的生活,真的让每个开发者都使用算盘运算吗?
session.setFlushMode(FlushMode.NEVER);
这条语句及其简单,但解决了大问题。它告知Hibernate session无论何时也不要flush任何的状态变化到数据库,除非开发者直接调用session.flush()。听上去很合乎逻辑,但它为何在一些场景中对性能影响甚深,而在其他的场景中却好似轻如鹅毛般?
在Tim的项目中存在着一个十分典型的case(我也不大了解生物,这不能怪我):在实验中利用PCR Primers对遗传基因(genes)和DNA中的核苷酸序列(exons),这里的PCR Primers是在PCR处理过程中用于检测DNA的片段的物质,对不起大家,本人对生物学词汇实在无能为力。检测匹配过程大致分为以下7步:
1.发现本次实验中所有exons(个数在5000个以上);
2.查询本次实验所有已经排序的PCR Primers;
3.查询本次实验所有待排序的PCR Primers;
4.得到与exons对应的Primers找出那些无需转换的部分;
5.在系统中为无需转换的区域查询所有可能的PCR Primers;
6.测试每个primer找出最佳exons匹配者(Primer);
7.保存找出的Primer。
不用担心,步骤细节不大明白也不会影响后面的理解。
由于domain model极其海量,在第4步我们可能在一个session中排序20000-30000个对象。而在5、6步的查询将带来0-20个附加对象。有趣之处在于当执行第7步将对象save到数据库时,没有一个前面装载的对象被修改过。整个实验的目的就是仅仅获得这0-20个对象。
在回顾了Tim的生物学场景之后,让我们重新回到FlushMode.NEVER的讨论上来吧。你可能认为既然直到最后一步都没有修改或是持久化任何东西,那么改变flush模式将收效甚微。当然这是不正确的未参透实质的理解。实际上,在上面流程的起始设置Never这个flush模式、在流程终点手动flush将节省一半的run time,请注意这里仅提到了run time而没有将内存、IO计算在内。
三、这个杀手不太“冷”
幸好,这个杀手不太“冷”!这都归结于Hibernate的脏检查(dirty checking)。每次装载一个对象到内存(不能去evict它)时,session始终跟踪它的修改。于是每次对数据的查询,session都将迭代所有的session中的对象并检查脏数据,将脏数据flush到数据库。Hibernate这样做的良苦用心是为了确保在执行查询之前所有可能影响查询的变化都被提交到数据库。这对零星数据量的应用来讲,不足为言。但面对数千个对象和千余次的查询来讲,它将使性能的真正杀手。
了解真相后,我们可以使用session.setFlushMode(FlushMode.NEVER)语句将在查询时不需脏检查的数据(生物实验中的Primers)标识脏数据,这样Hibernate无处不在的代理机制将被“欺骗”,直接将它添加到脏数据列表(列表中的数据不会被flush到数据库)中,这样“杀手”就会因无处遁形而自动消失了。
四、打造制胜武器
在读完这个简短的“案件”后,我们也学到了如何在一个session中读取、查询大量数据对象情况下的制胜武器- FlushMode.NEVER。当然要记住,在此过程中你不可以修改这些数据,不然就真的把数据“搞脏”了。使用武器秘诀如下:
FlushMode previous = session.getFlushMode();
session.flush(); // who know's what been done till now
session.setFlushMode(FlushMode.NEVER);
// Do some querying
// Do some more querying
// Really load up that session
// Execute a few more queries
// Write back to some tables
session.flush();
session.setFlushMode(previous);
分享到:
相关推荐
<bean id="transactionManager" class="org.springframework.orm.hibernate3.HibernateTransactionManager"> ``` **2.3 OpenSessionInViewFilter使用方法** 为了提高性能,通常会在Spring中使用`...
当使用Open Session In View模式时,如果Session的Flush Mode被设置为NEVER,并且尝试执行写操作(如更新或删除),就会触发“Write operations are not allowed in read-only mode (FlushMode.NEVER)”这个异常。...
org.springframework.dao.InvalidDataAccessApiUsageException: Write operations are not allowed in read-only mode (FlushMode.NEVER) - turn your Session into FlushMode.AUTO or remove 'readOnly' marker ...
例如,`FlushMode.NEVER`表示从不自动刷新,`FlushMode.AUTO`则会在某些操作后自动刷新。 在工程示例中,`FlushMode.doc`可能详细介绍了各种FlushMode的使用场景和效果,而`2级缓存.doc`应该包含了二级缓存的配置和...
4. **控制Flush模式**:可以设置`Session`的flush模式,如`FlushMode.NEVER`表示永不flush,`FlushMode.MANUAL`表示手动flush。但请注意,过度使用可能会导致数据一致性问题。 5. **显式调用update()或saveOrUpdate...
org.springframework.dao.InvalidDataAccessApiUsageException: Write operations are not allowed in read-only mode (FlushMode.NEVER) - turn your Session into FlushMode.AUTO or remove 'readOnly' marker ...
- **FlushMode.NEVER**:永不自动清理缓存,只有显式调用 `flush()` 方法才会清理缓存。 无论设置为何种清理模式,显式调用 `session.flush()` 都会导致缓存被清理。 #### 六、对Session的理解 对于 `Session` 这...
12. **事务管理**:讲解Hibernate的事务API,包括Transaction接口和FlushMode,以及如何与其他事务管理机制(如JTA)集成。 13. **事件监听器**:学习如何使用Hibernate事件系统来实现定制的行为,如预加载、预更新...
配置中包含了`sessionFactoryBeanName`、`singleSession`和`flushMode`等参数,用于指定SessionFactory的bean名称、是否使用单个Session以及flush模式。 在`web.xml`中,Struts2的配置通过`...
- 使用批处理操作,通过`Session`的`flushMode`和` batchSize`设置优化性能。 通过以上步骤,你可以在NetBeans中高效地利用Hibernate进行数据操作。这个过程简化了数据库操作,使得开发者可以专注于业务逻辑,而...
- `flushMode`控制何时与数据库同步数据。 - `hibernate.show_sql`开启SQL日志,便于调试。 ### 9. Criteria与Querydsl结合 Querydsl 是一个强大的查询构造工具,可以与Hibernate Criteria API 结合,提供类型安全...
- 如:设置`setFlushMode(FlushMode.COMMIT)`来控制批量提交行为。 5. **性能优化** - 包括索引优化、查询优化等多方面。 - 使用Hibernate提供的工具和技术来提升应用的整体性能。 #### 五、实战案例 - **用户...
Hibernate是一款强大的Java语言下的对象关系映射(ORM)框架,它极大地简化了数据库与Java应用程序之间的交互。在Java开发中,Hibernate提供了一种抽象层,允许开发者使用面向对象的编程方式来操作数据库,而无需...
- 使用批处理:通过`flushMode`和`batch-size`设置,可以批量处理多个操作,提高效率。 - 只获取必要的数据:避免加载整个实体,使用`select new`构造函数或`fetch`属性限制关联关系的加载。 - 利用缓存:根据...
《深入理解Hibernate5:基于Hibernate_demo的实践指南》 Hibernate作为一个强大的对象关系映射(ORM)框架,一直以来都是Java开发者的重要工具。本文将基于提供的"Hibernate_demo"项目,深入探讨Hibernate5的核心...
- Transaction的`commit()`调用:在提交事务前,若设置为`FlushMode.COMMIT`或`AUTO`,Session会先清除缓存,再执行SQL提交事务。 - 查询操作:`find()`或`iterate()`时,如果对象属性有变动,会先清理缓存以更新...
《Hibernate API 深度解析》 Hibernate 是一个开源的对象关系映射(ORM)框架,它为Java开发者提供了一种方便、高效的方式来操作...通过深入了解和熟练掌握Hibernate API,开发者可以更好地应对复杂的企业级应用需求。
Spring MVC Hibernate Demo Hibernate 配置 数据库实体必须设置以下注解 @Entity ... <filter>org.springframework.orm.hibernate4.support.OpenSessionInViewFilter <param>flushMode</param-nam
Criteria 和 DetachedCriteria 都可以使用Criterion 和 Projection 设置查询条件,可以设置 FetchMode(联合查询抓取的模式)、设置排序方式,对于 Criteria 还可以设置 FlushMode(冲刷 Session 的方式)和 ...