quartz在集群环境下的最终解决方案（转）

frank1998819

浏览: 758226 次
性别:
来自: 南京

最近访客更多访客>>

lanzhiqiyue

spike_wq

cpongo1

dsyzhao

博主相关

博客

微博

相册

留言

关于我

文章分类

社区版块

存档分类

博客分类：

Tomcat
Spring

在集群环境下，大家会碰到一直困扰的问题，即多个APP下如何用quartz协调处理自动化JOB。

大家想象一下，现在有A，B，C3台机器同时作为集群服务器对外统一提供SERVICE：

A，B，C 3台机器上各有一个QUARTZ，他们会按照即定的SCHEDULE自动执行各自的任务。

我们先不说实现什么功能，就说这样的架构其实有点像多线程。

那多线程里就会存在“资源竞争”的问题，即可能产生脏读，脏写，由于三台APP SERVER里都有QUARTZ，因此会存在重复处理TASK的现象。

一般外面的解决方案是只在一台APP上装QUARTZ，其它两台不装，这样集群就形同虚设了；

另一种解决方案是动代码，这样就要影响到原来已经写好的QUARTZ JOB的代码了，这对程序开发人员来说比较痛苦；

本人仔细看了一下Spring的结构和QUARTZ的文档，结合Quartz自身可以实例化进数据的特性找到了相关的解决方案。

本方案优点：

1.每台作为集群点的APP SERVER上都可以布署QUARTZ；

2.QUARTZ的TASK（12张表）实例化如数据库，基于数据库引擎及High-Available的策略（集群的一种策略）自动协调每个节点的QUARTZ，当任一一节点的QUARTZ非正常关闭或出错时，另几个节点的QUARTZ会自动启动；

3.无需开发人员更改原已经实现的QUARTZ，使用SPRING+类反射的机制对原有程序作切面重构；

本人也事先搜索了一些资料，发觉所有目前在GOOGLE上或者在各大论坛里提供的解决方案，要么是只解决了一部分，要么是错误的，要么是版本太老，要么就是完全抄别人的。

尤其是在使用QUARTZ+SPRING对数据库对象作实例化时会抛错（源于SPRING的一个BUG），目前网上的解决方案全部是错的或者干脆没说，本人在此方案中也会提出如何解决。

解决方案：

1.把QUARTZ的TASK实例化进数据库，QUARTZ只有实例化进入数据库后才能做集群，外面的解决方案说实例化在内存里全部是错的，把quartz-1.8.4/docs/dbTables/tables_oracle.sql在ORACLE9I2及以上版本中执行一下会生成12张表；

2.生成quartz.properties文件，把它放在工程的src目录下，使其能够被编译时纳入class path。

一般我们的开发人员都喜欢使用SPRING+QUARTZ，因此这个quartz.properties都不用怎么去写，但是在集群方案中quartz.properties必写，如果不写quartz会调用自身jar包中的quartz.properties作为默认属性文件，同时修改quartz.xml文件。

Quartz.xml文件的内容:

<?xml version="1.0" encoding="UTF-8"?>

<!DOCTYPE beans PUBLIC "-//SPRING//DTD BEAN//EN" "http://www.springframework.org/dtd/spring-beans.dtd ">

<beans>

<bean id="mapScheduler" lazy-init="false" autowire="no"

class="org.springframework.scheduling.quartz.SchedulerFactoryBean">

<property name="configLocation" value="classpath:quartz.properties" />

<list>

</list>

</property>

<!—就是下面这句，因为该bean只能使用类反射来重构

<property name="applicationContextSchedulerContextKey" value="applicationContext" />

</bean>

quartz.properties文件的内容：

org.quartz.scheduler.instanceName = mapScheduler

org.quartz.scheduler.instanceId = AUTO

org.quartz.jobStore.class = org.quartz.impl.jdbcjobstore.JobStoreTX

org.quartz.jobStore.driverDelegateClass = org.quartz.impl.jdbcjobstore.oracle.weblogic.WebLogicOracleDelegate

org.quartz.jobStore.dataSource = myXADS

org.quartz.jobStore.tablePrefix = QRTZ_

org.quartz.jobStore.isClustered = true

org.quartz.dataSource.myXADS.jndiURL=jdbc/TestQuartzDS

org.quartz.dataSource.myXADS.jndiAlwaysLookup = DB_JNDI_ALWAYS_LOOKUP

org.quartz.dataSource.myXADS.java.naming.factory.initial = weblogic.jndi.WLInitialContextFactory

org.quartz.dataSource.myXADS.java.naming.provider.url = t3://localhost:7020

org.quartz.dataSource.myXADS.java.naming.security.principal = weblogic

org.quartz.dataSource.myXADS.java.naming.security.credentials = weblogic

3.重写quartz的QuartzJobBean类

原因是在使用quartz+spring把quartz的task实例化进入数据库时，会产生：serializable的错误，原因在于：

</property>

<value>execute</value>

</property>

</bean>

这个MethodInvokingJobDetailFactoryBean类中的methodInvoking方法，是不支持序列化的，因此在把QUARTZ的TASK序列化进入数据库时就会抛错。网上有说把SPRING源码拿来，修改一下这个方案，然后再打包成SPRING.jar发布，这些都是不好的方法，是不安全的。

必须根据QuartzJobBean来重写一个自己的类，然后使用SPRING把这个重写的类（我们就名命它为：MyDetailQuartzJobBean ）注入appContext中后，再使用AOP技术反射出原有的quartzJobx(就是开发人员原来已经做好的用于执行QUARTZ的JOB的执行类)。

下面来看MyDetailQuartzJobBean 类：

public class MyDetailQuartzJobBean extends QuartzJobBean {

protected final Log logger = LogFactory.getLog(getClass());

private String targetObject;

private String targetMethod;

private ApplicationContext ctx;

protected void executeInternal(JobExecutionContext context)

throws JobExecutionException {

try {

logger.info("execute [" + targetObject + "] at once>>>>>>");

Object otargetObject = ctx.getBean(targetObject);

Method m = null;

try {

m = otargetObject.getClass().getMethod(targetMethod,

new Class[] {});

m.invoke(otargetObject, new Object[] {});

} catch (SecurityException e) {

logger.error(e);

} catch (NoSuchMethodException e) {

logger.error(e);

}

} catch (Exception e) {

throw new JobExecutionException(e);

}

public void setApplicationContext(ApplicationContext applicationContext){

this.ctx=applicationContext;

}

public void setTargetObject(String targetObject) {

this.targetObject = targetObject;

}

public void setTargetMethod(String targetMethod) {

this.targetMethod = targetMethod;

}

再来看完整的quartz.xml（注意红色加粗部分尤为重要）：

<?xml version="1.0" encoding="UTF-8"?>

<!DOCTYPE beans PUBLIC "-//SPRING//DTD BEAN//EN" "http://www.springframework.org/dtd/spring-beans.dtd ">

<beans>

<bean id="mapScheduler" lazy-init="false" autowire="no"

class="org.springframework.scheduling.quartz.SchedulerFactoryBean">

<property name="configLocation" value="classpath:quartz.properties" />

<list>

</list>

</property>

</bean>

</bean>

<bean id="jobTask" class="org.springframework.scheduling.quartz.JobDetailBean">

<property name="jobClass">

<value>com.testcompany.framework.quartz.MyDetailQuartzJobBean </value>

</property>

<property name="jobDataAsMap">

<map>

<entry key="quartzJob" value="quartzJob" />

<entry key="targetMethod" value="execute" />

</map>

</property>

</bean>

</property>

</property>

</bean>

</beans>

4.下载最新的quartz1.8版，把quartz-all-1.8.4.jar, quartz-oracle-1.8.4.jar,quartz-weblogic-1.8.4.jar这三个包放到web-inf/lib目录下，布署。

测试：

几个节点都带有quartz任务，此时只有一台quartz在运行，另几个节点上的quartz没有运行。

此时手动shutdown那台运行QUARTZ（在程序里加system.out.println(“execute once…”),运行quartz的那个节点在后台会打印execute once）的节点，过了7秒左右，另一个节点的quartz自动监测到了集群中运行着的quartz的instance已经shutdown，因此quartz集群会自动把任一台可用的APP上启动起一个quartz job的任务。

自此，QUARTZ使用HA策略的集群大功告成，不用改原有代码，配置一下我们就可作到QUARTZ的集群与自动错误冗余。

分享到：

通向架构师的道路（第五天）之tomcat集群- ... | GoldenGate的复制原理和Quest公司的ShareP ...

2014-11-21 15:37
浏览 741
评论(0)
分类:开源软件
查看更多

发表评论

您还没有登录,请您登录后再发表评论

最近访客更多访客>>

博主相关

文章分类

社区版块

存档分类

最新评论