tomcat死掉的问题

做一个能活的时间长的web server还真是不容易，这不没几天，tomcat又死掉了。这次死掉的方式跟以往又不同，在catalina.out输出日志如下：
Dec 5, 2007 8:09:46 AM org.apache.tomcat.util.threads.ThreadPool logFull
SEVERE: All threads (150) are currently busy, waiting. Increase maxThreads (150) or check the servlet status

在网上搜了一下，也没看到啥原因，先按照提示说的，把maxThreads增加试试。要说系统压力很小，不明白为啥就不响应了。

评论

2 楼 fishyych 2008-01-05  

总算解决这个问题了 问题其实可以分为2个：1个是如何避免数据库锁定的问题；另一个是如何让失败以后具有自动的恢复能力。
数据库锁定的问题可以通过单独启动一个进程来执行quartz。
对于transaction失败后无法自行恢复，我发现是由于我在web里面单独启动了一个线程，web的controller接收到日志以后，放到缓存当中，由日志处理线程来处理。但是由于数据库的锁定造成日志处理线程失败，该线程就没法恢复了。解决方法就是去掉线程，直接在controller中进行处理。
看来在web容器当中使用线程还是要非常小心的。本意是提高性能，反而带来了隐患。

1 楼 fishyych 2007-12-13  

经过日志跟踪，发现出现上述问题是在晚上Quartz线程执行的时候，日志处理线程报错：

2007-12-11 00:26:04,125 [appfuse] WARN [Thread-3] JDBCExceptionReporter(71) | SQL Error: 1205, SQLState: 41000
2007-12-11 00:26:04,126 [appfuse] ERROR [Thread-3] JDBCExceptionReporter(72) | Lock wait timeout exceeded; try restarting transaction
Exception in thread "Thread-3" org.springframework.orm.hibernate3.HibernateJdbcException: JDBC exception on Hibernate data access; nested exception is org.hibernate.exception.GenericJDBCException: could not insert: [org.appfuse.userlog.model.LogDetail]
Caused by: org.hibernate.exception.GenericJDBCException: could not insert: [org.appfuse.userlog.model.LogDetail]
        at org.hibernate.exception.SQLStateConverter.handledNonSpecificException(SQLStateConverter.java:103)
        at org.hibernate.exception.SQLStateConverter.convert(SQLStateConverter.java:91)
        at org.hibernate.exception.JDBCExceptionHelper.convert(JDBCExceptionHelper.java:43)
        at org.hibernate.id.insert.AbstractReturningDelegate.performInsert(AbstractReturningDelegate.java:40)
        at org.hibernate.persister.entity.AbstractEntityPersister.insert(AbstractEntityPersister.java:2093)
        at org.hibernate.persister.entity.AbstractEntityPersister.insert(AbstractEntityPersister.java:2573)
        at org.hibernate.action.EntityIdentityInsertAction.execute(EntityIdentityInsertAction.java:47)
        at org.hibernate.engine.ActionQueue.execute(ActionQueue.java:248)
        at org.hibernate.event.def.AbstractSaveEventListener.performSaveOrReplicate(AbstractSaveEventListener.java:290)

原来在执行quartz线程的时候，数据库被锁定了，所以日志线程访问数据库失败了，失败以后本身没有错误恢复能力，里面还有个bug造成资源被锁定，就把所有的tomcat线程都占满了。
如何避免数据库锁定的问题？我尝试配置dbcp连接池，最后发现不是这个问题。
目前还在尝试中~~~