Spring多数据源的配置和使用(1)

      最近开发一个数据同步的小功能，需要从A主机的Oracle数据库中把数据同步到B主机的Oracle库中。当然能够用dmp脚本或者SQL脚本是最好，但是对于两边异构的表结构来说，直接导入不可行。然后在需要实时同步的情况下用存储过程也不可行了。写一个数据同步的小程序是个不错的选择。使用框架的封装和连接池是必须的，Spring是首选，这里我们同样需要Spring的多数据源连接配置方式。 其实再进行项目开发的时候，一个项目有可能不止用到一个数据源，为了提高数据库的水平伸缩性，需要对多个数据库实例进行管理，需要配置多数据源。

 

     本文以Spring2.5 + Oracle10g 为例配置和使用多数据源。

 

     1. 配置多个数据源

     这里以两个c3p0数据库连接池的数据源作为实例。在Spring框架下使用c3p0的数据库需要加入c3p0-0.9.1.2.jar (现在最新的)这个支持包。这里以数据同步项目为例：

   数据来源库的连接池数据源配置：

<bean id="dataSourceFrom" class="com.mchange.v2.c3p0.ComboPooledDataSource">
	<property name="driverClass" value="${jdbc.driver}" />
	<property name="jdbcUrl" value="${jdbc.from.url}" />
	<property name="user" value="${jdbc.from.username}" />
	<property name="password" value="${jdbc.from.password}" />
	<property name="autoCommitOnClose" value="true" />
	<property name="checkoutTimeout" value="${cpool.checkoutTimeout}" />
	<property name="initialPoolSize" value="${cpool.minPoolSize}" />
	<property name="minPoolSize" value="${cpool.minPoolSize}" />
	<property name="maxPoolSize" value="${cpool.maxPoolSize}" />
	<property name="maxIdleTime" value="${cpool.maxIdleTime}" />
	<property name="acquireIncrement" value="${cpool.acquireIncrement}" />
	<property name="maxIdleTimeExcessConnections" value="${cpool.maxIdleTimeExcessConnections}" />
</bean>

 数据插入库的连接池数据源配置：

<bean id="dataSourceTo" class="com.mchange.v2.c3p0.ComboPooledDataSource">
	<property name="driverClass" value="${jdbc.driver}" />
	<property name="jdbcUrl" value="${jdbc.to.url}" />
	<property name="user" value="${jdbc.to.username}" />
	<property name="password" value="${jdbc.to.password}" />
	<property name="autoCommitOnClose" value="true" />
	<property name="checkoutTimeout" value="${cpool.checkoutTimeout}" />
	<property name="initialPoolSize" value="${cpool.minPoolSize}" />
	<property name="minPoolSize" value="${cpool.minPoolSize}" />
	<property name="maxPoolSize" value="${cpool.maxPoolSize}" />
	<property name="maxIdleTime" value="${cpool.maxIdleTime}" />
	<property name="acquireIncrement" value="${cpool.acquireIncrement}" />
	<property name="maxIdleTimeExcessConnections" value="${cpool.maxIdleTimeExcessConnections}" />
</bean>

   注意：上面url，user，password等值是从classpath下的jdbc.properties中取得的。

   通过Spring获取属性文件中的值，以供配置文件使用：

<bean class="org.springframework.beans.factory.config.PropertyPlaceholderConfigurer">
	<property name="locations" value="classpath:jdbc.properties" />
</bean>

 

     2. 扩展Spring的AbstractRoutingDataSource抽象类，实现动态数据源。

    AbstractRoutingDataSource中的抽象方法determineCurrentLookupKey是实现数据源的route的核心.这里对该方法进行Override。

public class DynamicDataSource extends AbstractRoutingDataSource{

	@Override
	protected Object determineCurrentLookupKey() {
		return DBContextHolder.getDBType();
	}
}

   上下文DbContextHolder为一线程安全的ThreadLocal，具体代码如下：

public class DBContextHolder{
	public static final String DATA_SOURCE_FROM = "dataSourceFrom";
	public static final String DATA_SOURCE_TO = "dataSourceTo";
	
	private static final ThreadLocal<String> contextHolder = new ThreadLocal<String>();
	
	public static void setDBType(String dbType) {
		contextHolder.set(dbType);
	}
	
	public static String getDBType() {
		return contextHolder.get();
	}
	
	public static void clearDBType() {
		contextHolder.remove();
	}
}

 

    3.配置动态数据源

 将DynamicDataSource Bean加入到Spring的上下文xml配置文件中去，同时配置DynamicDataSource的targetDataSources(多数据源目标)属性的Map映射。

<bean id="dynamicDataSource" class="datasource.DynamicDataSource" >
	<!-- 通过key-value的形式来关联数据源 -->
	<property name="targetDataSources">
		<map>
			<entry value-ref="dataSourceFrom" key="dataSourceFrom"></entry>
			<entry value-ref="dataSourceTo" key="dataSourceTo"></entry>
		</map>
	</property>
	<property name="defaultTargetDataSource" ref="dataSourceFrom" />
</bean> 

 

    4.使用动态数据源

    例子中DynamicDataSource是继承与AbstractRoutingDataSource，而AbstractRoutingDataSource又是继承于org.springframework.jdbc.datasource.AbstractDataSource，AbstractDataSource实现了统一的DataSource接口，所以DynamicDataSource同样可以当一个DataSource使用。

 在Spring的JdbcTemplate使用动态数据源的配置示例：

<!-- JdbcTemplate使用动态数据源的配置 -->
<bean id="jdbcTemplate" class="org.springframework.jdbc.core.JdbcTemplate">
	<property name="dataSource">
		<ref bean="dynamicDataSource" />
	</property>
</bean>

<!-- 对JdbcTemplate的应用封装类 -->
<bean id="sqlBaseDAO" class="com.whty.dao.BaseDAOImpl">
	<property name="jdbcTemplate">
		<ref bean="jdbcTemplate" />
	</property>
</bean>

    5.事务管理

使用动态数据源的时候，可以看出和使用单数据源的时候相比，在使用配置上几乎没有差别，在进行性事务管理配置的时候也没有差别：

使用Spring的JdbcTemplate的事务管理配置示例：

<bean id="transactionManager" class="org.springframework.jdbc.datasource.DataSourceTransactionManager">
	<property name="dataSource" ref="dynamicDataSource" />
</bean>

<bean id="sqlBaseDAOProxy" class="org.springframework.transaction.interceptor.TransactionProxyFactoryBean">
	<property name="transactionManager" ref="transactionManager" />
	<property name="target" ref="sqlBaseDAO" />
	<property name="transactionAttributes">
		<props>
			<prop key="insert*">PROPAGATION_REQUIRED</prop>
			<prop key="*">PROPAGATION_REQUIRED,readOnly</prop>
		</props>
	</property>
</bean>

  

    6.动态数据源的管理控制

如何选择控制每个业务中需要的具体数据源，可是使用手动控制：

ApplicationContext context = new ClassPathXmlApplicationContext("applicationContext.xml");
BaseDAO dao = (BaseDAO) context.getBean("sqlBaseDAO", BaseDAOImpl.class);

try {
	DBContextHolder.setCustomerType(DBContextHolder.DATA_SOURCE_FROM);
	System.err.println(dao.select("select count(*) sum from TEST t ").get(0).get("SUM"));
	DBContextHolder.setCustomerType(DBContextHolder.DATA_SOURCE_TO);
	System.err.println(dao.select("select count(*) sum from TEST t ").get(0).get("SUM"));
	
} catch (Exception e) {
	e.printStackTrace();
}

也可以采用AOP的控制方式：

@Aspect
public class DynamicDataSourceAspect {
	@Pointcut("execution (public service.impl..*.*(..))")
	public void serviceExecution(){}
	
	@Before("serviceExecution()")
	public void setDynamicDataSource(JoinPoint jp) {
		for(Object o : jp.getArgs()) {
			//处理具体的逻辑 ，根据具体的境况CustomerContextHolder.setCustomerType()选取DataSource
		}
	}
}

 

  7.总结

   通过扩展Spring的AbstractRoutingDataSource可以很好的实现多数据源的rout效果，而且对扩展更多的数据源有良好的伸缩性，只要增加数据源和修改DynamicDataSource的targetDataSources属性配置就好。在数据源选择控制上，可以采用手动控制(业务逻辑并不多的时候)，也可以很好的用AOP的@Aspect在Service的入口加入一个切面@Pointcut，在@Before里判断JoinPoint的类容选定特定的数据源。

 

 

 

参考：

1.KindAzrael的BLOG《Spring多数据源的配置 》

2.xiaoZ5919的BLOG《 jdbctemplate与事务管理 》

 

文中代码项目在下一篇BLOG《Spring定时任务的多种使用方法总结 》的附件中。

评论

10 楼 windy0605 2014-07-16  

单元测试继承AbstractTransactionalJUnit4SpringContextTests，dao测试失败，不能切换

9 楼 kingxss 2013-10-25  

braveone 写道

咨询一下：按照您的文档，我配置成功了多数据源，我使用的Spring的注释@Service标明service类，在这个类中自动注入CommonDao，用@Repository来标明CommonDao为Dao类，在这个CommonDao类使用@Autowired来自动注入JdbcTemplate这个类来完成对数据库增删改查操作，使用jUnit来测试，问题在于，我把DBContextHolder.setDBType("数据源名")放在service这个类就不会切换数据源，而放在jUnit测试代码中就可以切换，这是什么原因呢？

因为没有看到你的代码，无法准确定位。个人建议在DynamicDataSource.determineCurrentLookupKey()这个方法体内部打上断点看下每次返回的数据源ID是什么。祝你好运

8 楼 braveone 2013-10-21  

咨询一下：按照您的文档，我配置成功了多数据源，我使用的Spring的注释@Service标明service类，在这个类中自动注入CommonDao，用@Repository来标明CommonDao为Dao类，在这个CommonDao类使用@Autowired来自动注入JdbcTemplate这个类来完成对数据库增删改查操作，使用jUnit来测试，问题在于，我把DBContextHolder.setDBType("数据源名")放在service这个类就不会切换数据源，而放在jUnit测试代码中就可以切换，这是什么原因呢？

7 楼 kingxss 2013-10-16  

braveone 写道

BaseDAO这个类为什么要加public Connection getConnection() throws Exception;这个方法谁来调用？

这是通用DAO里头的预留方法，为需要自定义数据查询操作时使用。

6 楼 braveone 2013-10-15  

BaseDAO这个类为什么要加public Connection getConnection() throws Exception;这个方法谁来调用？

5 楼 bo_hai 2012-12-13  

kingxss 写道

bo_hai 写道

您好，我根据你的blog已基本配置完成。可以实现数据源的动态切换。但是呢，我的事务一直没有配置成功？你能发布一下你的：com.whty.dao.BaseDAOImpl 类吗 ？谢谢。

请看本文最后一句：
文中代码项目在下一篇BLOG《Spring定时任务的多种使用方法总结 》的附件中。

谢谢！！你也在武汉吗 ？

4 楼 kingxss 2012-12-13  

bo_hai 写道

您好，我根据你的blog已基本配置完成。可以实现数据源的动态切换。但是呢，我的事务一直没有配置成功？你能发布一下你的：com.whty.dao.BaseDAOImpl 类吗 ？谢谢。

请看本文最后一句：
文中代码项目在下一篇BLOG《Spring定时任务的多种使用方法总结 》的附件中。

3 楼 bo_hai 2012-12-12  

您好，我根据你的blog已基本配置完成。可以实现数据源的动态切换。但是呢，我的事务一直没有配置成功？你能发布一下你的：com.whty.dao.BaseDAOImpl 类吗 ？谢谢。

2 楼 kingxss 2012-11-22  

jxyfchenwei0 写道

你的是用spring+jdbcTemplate+hibernate配置的多数据源吗？？

我用spring+jdbcTemplate可以配置成功
但是加入hibernate后设置了sessionFactory就只能识别一个数据库。不知道为什么

spring+jdbcTemplate+hibernate具体的配置已经被写入到个人博客
《Spring多数据源的配置和使用(2)》中http://kingxss.iteye.com/blog/1733003，文中配置和代码都已经测试通过了。

1 楼 jxyfchenwei0 2012-11-05  

你的是用spring+jdbcTemplate+hibernate配置的多数据源吗？？

我用spring+jdbcTemplate可以配置成功
但是加入hibernate后设置了sessionFactory就只能识别一个数据库。不知道为什么