`

Hibernate Search大数据量手动建立索引

    博客分类:
  • java
阅读更多

刚刚看了Hibernate Search,想要写个程序试着使用JPA建立一个索引,由于数据量比较大,所以是用分页来取得数据,但是老是报outOfMemory错误,最后解决了,所以把关键的代码贴出来和大家分享:

 

public void index(){
		EntityManager em = EntityManagerHolder.getEntityManager();
		//wrap a EntityManager object
		
		Query query = em.createQuery(" from A").setMaxResults(1000);
		for(int i=0, j=0; i < 1000; i++, j+=1000){
			FullTextEntityManager ftem = 
						org.hibernate.search.jpa.Search.getFullTextEntityManager(em);
			
			ftem.getTransaction().begin();
			
			
			@SuppressWarnings("unchecked")
			List<Item> items = query.setFirstResult(j).getResultList();
			
			for (Item item : items) {
			    ftem.index(item);  //manually index an item instance
			}
			ftem.flush();
			//ftem.clear();
			
			/*必须每次都commit一次,否则会内存溢出*/
			ftem.getTransaction().commit(); //index are written at commit time
			
			/* 1. EntityManager.clear()必须在ftem.index之后调用,
			 * 否则ftem无法再context中找不到相应的对象。
			 * 
			 * 2. 因为EntityManager中有个Context用于缓存事务中query到
			 * 以及update,insert到数据库的对象,这样可以减少数据库的读写
			 * 次数,所以web应用的时候每个请求的线程一个EntityManager
			 * 对象。如果要用同一个EntityManager分页获得大数据量的数据,
			 * 就必须定期clear 一次。否则缓存写满了就会报outOfMemery错误。
			 * */
			em.clear();
		}
	}

 EntityManagerHolder:

public class EntityManagerHolder {
	private static ThreadLocal<EntityManager> entityManagerHolder = 
										new ThreadLocal<EntityManager>();
	
	public static EntityManager getEntityManager() {
		return entityManagerHolder.get();
	}
	
	public static void setEntityManager(EntityManager session) {
		entityManagerHolder.set(session);
	}
}

 初始化EntityManagerHolder:

public class TestCase {

	protected EntityManagerFactory factory;
	
	@Before
	public void setUp() throws Exception {
		factory = Persistence.createEntityManagerFactory("test");
		EntityManagerHolder.setEntityManager(factory.createEntityManager());
	}

	@After
	public void tearDown() throws Exception {
		EntityManagerHolder.getEntityManager().close();
		EntityManagerHolder.setEntityManager(null);
		factory.close();
	}

}
 

下面是我之前碰到的outOfMemory错误的详细信息:

java.lang.OutOfMemoryError: Java heap space
	at org.hibernate.util.IdentityMap.entryArray(IdentityMap.java:224)
	at org.hibernate.util.IdentityMap.concurrentEntries(IdentityMap.java:89)
	at org.hibernate.event.def.AbstractFlushingEventListener.prepareEntityFlushes(AbstractFlushingEventListener.java:136)
	at org.hibernate.event.def.AbstractFlushingEventListener.flushEverythingToExecutions(AbstractFlushingEventListener.java:88)
	at org.hibernate.event.def.DefaultFlushEventListener.onFlush(DefaultFlushEventListener.java:49)
	at org.hibernate.impl.SessionImpl.flush(SessionImpl.java:1027)
	at org.hibernate.impl.SessionImpl.managedFlush(SessionImpl.java:365)
	at org.hibernate.transaction.JDBCTransaction.commit(JDBCTransaction.java:137)
	at org.hibernate.ejb.TransactionImpl.commit(TransactionImpl.java:54)
	at com.chaizj.search.proptotype.ManuallyIndex.index(ManuallyIndex.java:26)
	at com.chaizj.search.proptotype.test.MannuallyIndexTest.postSetUp(MannuallyIndexTest.java:12)
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
	at java.lang.reflect.Method.invoke(Method.java:585)
	at org.junit.runners.model.FrameworkMethod$1.runReflectiveCall(FrameworkMethod.java:44)
	at org.junit.internal.runners.model.ReflectiveCallable.run(ReflectiveCallable.java:15)
	at org.junit.runners.model.FrameworkMethod.invokeExplosively(FrameworkMethod.java:41)
	at org.junit.internal.runners.statements.InvokeMethod.evaluate(InvokeMethod.java:20)
	at org.junit.internal.runners.statements.RunBefores.evaluate(RunBefores.java:28)
	at org.junit.internal.runners.statements.RunAfters.evaluate(RunAfters.java:31)
	at org.junit.runners.BlockJUnit4ClassRunner.runChild(BlockJUnit4ClassRunner.java:73)
	at org.junit.runners.BlockJUnit4ClassRunner.runChild(BlockJUnit4ClassRunner.java:46)
	at org.junit.runners.ParentRunner.runChildren(ParentRunner.java:180)
	at org.junit.runners.ParentRunner.access$000(ParentRunner.java:41)
	at org.junit.runners.ParentRunner$1.evaluate(ParentRunner.java:173)
	at org.junit.internal.runners.statements.RunBefores.evaluate(RunBefores.java:28)
	at org.junit.internal.runners.statements.RunAfters.evaluate(RunAfters.java:31)
	at org.junit.runners.ParentRunner.run(ParentRunner.java:220)
	at org.eclipse.jdt.internal.junit4.runner.JUnit4TestReference.run(JUnit4TestReference.java:46)
	at org.eclipse.jdt.internal.junit.runner.TestExecution.run(TestExecution.java:38)
	at org.eclipse.jdt.internal.junit.runner.RemoteTestRunner.runTests(RemoteTestRunner.java:467)
	
>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>	
java.lang.OutOfMemoryError: Java heap space
	at java.util.HashMap.addEntry(HashMap.java:797)
	at java.util.HashMap.put(HashMap.java:431)
	at org.hibernate.engine.StatefulPersistenceContext.addEntity(StatefulPersistenceContext.java:336)
	at org.hibernate.engine.StatefulPersistenceContext.addEntity(StatefulPersistenceContext.java:431)
	at org.hibernate.engine.TwoPhaseLoad.addUninitializedEntity(TwoPhaseLoad.java:260)
	at org.hibernate.loader.Loader.loadFromResultSet(Loader.java:1390)
	at org.hibernate.loader.Loader.instanceNotYetLoaded(Loader.java:1332)
	at org.hibernate.loader.Loader.getRow(Loader.java:1230)
	at org.hibernate.loader.Loader.getRowFromResultSet(Loader.java:603)
	at org.hibernate.loader.Loader.doQuery(Loader.java:724)
	at org.hibernate.loader.Loader.doQueryAndInitializeNonLazyCollections(Loader.java:259)
	at org.hibernate.loader.Loader.doList(Loader.java:2228)
	at org.hibernate.loader.Loader.listIgnoreQueryCache(Loader.java:2125)
	at org.hibernate.loader.Loader.list(Loader.java:2120)
	at org.hibernate.loader.hql.QueryLoader.list(QueryLoader.java:401)
	at org.hibernate.hql.ast.QueryTranslatorImpl.list(QueryTranslatorImpl.java:361)
	at org.hibernate.engine.query.HQLQueryPlan.performList(HQLQueryPlan.java:196)
	at org.hibernate.impl.SessionImpl.list(SessionImpl.java:1148)
	at org.hibernate.impl.QueryImpl.list(QueryImpl.java:102)
	at org.hibernate.ejb.QueryImpl.getResultList(QueryImpl.java:67)
	at com.chaizj.search.proptotype.ManuallyIndex.index(ManuallyIndex.java:21)
	at com.chaizj.search.proptotype.test.MannuallyIndexTest.postSetUp(MannuallyIndexTest.java:12)
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
	at java.lang.reflect.Method.invoke(Method.java:585)
	at org.junit.runners.model.FrameworkMethod$1.runReflectiveCall(FrameworkMethod.java:44)
	at org.junit.internal.runners.model.ReflectiveCallable.run(ReflectiveCallable.java:15)
	at org.junit.runners.model.FrameworkMethod.invokeExplosively(FrameworkMethod.java:41)
	at org.junit.internal.runners.statements.InvokeMethod.evaluate(InvokeMethod.java:20)
	at org.junit.internal.runners.statements.RunBefores.evaluate(RunBefores.java:28)
	at org.junit.internal.runners.statements.RunAfters.evaluate(RunAfters.java:31)
 

 

 

 

分享到:
评论
3 楼 Orange_killer 2014-09-17  
写的什么东西,文不对题
2 楼 jespring 2010-06-21  
你这个标题不对,让人误解以为是hibernate search呢?
1 楼 jespring 2010-06-21  
为什么我报
javax.persistence.PersistenceException: No Persistence provider for EntityManager named test
at javax.persistence.Persistence.createEntityManagerFactory(Persistence.java:89)
at javax.persistence.Persistence.createEntityManagerFactory(Persistence.java:60)

相关推荐

    Hibernate中大量数据的更新

    Hibernate 中大量数据的更新 Hibernate 是一个流行的基于 Java 的 ORM(Object-Relational Mapping)框架,用于将 Java 对象映射到关系数据库中。然而,在将大量数据插入到数据库时,Hibernate 经常会出现性能和...

    hibernate search全文索引的创建及查询

    本文将深入探讨如何创建和查询Hibernate Search的全文索引。 首先,我们来看一下`hibernate-search-analyzers-4.1.1.Final.jar`这个库。这个文件包含了Hibernate Search使用的各种分析器,分析器是处理文本的关键...

    Hibernate Search In Action

    Hibernate Search的一个显著优势是它能够自动化管理索引与数据库之间的同步问题。开发者不再需要编写复杂的代码来确保当数据库中的数据发生变化时,相应的索引也能实时更新。Hibernate Search利用其集成的机制,能够...

    Hibernate Search配置及简单应用

    Hibernate Search是Hibernate框架的一个扩展,它允许我们在应用程序中实现全文检索功能,使得数据库中的数据可以被快速、高效地搜索。这个功能尤其在处理大量文本数据时非常有用,比如在电商网站的商品搜索或者新闻...

    hibernateSearch+demo

    这个“hibernateSearch+demo”项目提供了一个实战示例,帮助开发者理解并应用 Hibernate Search 的核心概念和功能。 在 Hibernate Search 中,主要涉及以下关键知识点: 1. **全文索引**:Hibernate Search 使用 ...

    hibernate Search in action

    《Hibernate Search in Action》这本书深入探讨了Hibernate Search这一强大的全文搜索引擎集成框架,它将全文搜索功能无缝地融入到Java持久层框架Hibernate之中。通过利用Lucene库的强大功能,Hibernate Search为...

    hibernate search4.2

    在应用程序启动时,可以自动或手动建立索引;在数据变化时,通过监听器或手动调用来更新索引。 ### 查询构建 `FullTextQuery` 提供了构建全文查询的方法,支持 Lucene 的查询语法,也可以使用 Hibernate 的 ...

    Hibernate搜索框架HibernateSearch.zip

    它是hibernate对著名的全文检索系统Lucene的一个集成方案,作用在于对数据表中某些内容庞大的字段(如声明为text的字段)建立全文索引,这样通过hibernate search就可以对这些字段进行全文检索后获得相应的POJO,...

    使用 hibernate-search 实现全文检索及文档管理的例子

    Hibernate Search是Hibernate ORM框架的一个扩展,它提供了对数据库中的对象进行全文检索的能力,使得我们可以高效地在大量数据中找到我们需要的信息。本例子将深入探讨如何使用Hibernate Search来实现这一功能。 #...

    使用hibernate search实现全文检索和文档管理的例子

    2 手动生成索引 3 文档上传(自动建立索引) 4 文档更新(自动建立索引) 5 文档删除 使用说明: 1 需要先恢复数据库 searchDB_2008sqlserver.bak 2 建立upload目录 本例子在 E:\Tomcat50\upload 3 注意参数正确配置...

    hibernate_search.pdf

    - **启用Hibernate Search与自动索引**:确保搜索功能的可用性和实体变更时的自动索引更新。 - **调整Lucene索引性能**:优化索引构建和查询性能的方法。 #### 4. 映射实体到索引结构(Mapping entities to the ...

    hibernate search-3.4.0.Final-dist

    1. **全文索引**:Hibernate Search能够自动为实体类的字段建立全文索引,允许用户通过自然语言查询来查找匹配的数据。这不仅提高了用户体验,还使得搜索结果更为精准。 2. **实时索引**:当数据库中的数据发生变化...

    基于Spring的Hibernate Search全文检索功能示例

    3. **Hibernate Search**:作为Hibernate的一个扩展,Hibernate Search提供了基于Lucene的全文检索功能,使得在数据库中的数据可以被快速、精确地搜索。 **二、集成Hibernate Search** 1. **配置依赖**:首先,你...

    Hibernate Search in action (pdf && code)

    Hibernate Search是Hibernate ORM的一个扩展,它将全文搜索的功能集成到Java应用中,使得在大量数据中进行高效、精准的检索成为可能。 本书首先会介绍Hibernate Search的基本概念,包括什么是全文搜索引擎、如何与...

    hibernate-search-5.5.4 api docset for Dash

    7. **实时索引**:Hibernate Search支持在运行时动态更新索引,这意味着当数据库中的数据发生变化时,索引会自动更新,保持与数据库同步。 8. **多语言支持**:Hibernate Search提供多种语言的分析器,确保不同语言...

    hibernate-search-5.6.0.Alpha3-dist.zip

    《Hibernate Search 5.6.0.Alpha3:深入探索企业级数据检索的利器》 Hibernate Search,作为Java领域中的一款强大、高效的全文搜索引擎,与ORM框架Hibernate紧密结合,为开发者提供了在数据库中进行复杂检索的能力...

    hibernate-search, Hibernate Search.zip

    hibernate-search, Hibernate Search Hibernate 搜索版本:5.8.0. Final - 13-09-2017描述针对Java对象的全文搜索这个项目提供 Hibernate ORM和全文索引服务( 如 Apache Lucene和 Elasticsearch

Global site tag (gtag.js) - Google Analytics