通用数据抽取系统的设计与实现

1．可以实现异地的同构（可扩展）数据库的数据抽取。
2．由于考虑到地市局不能通过JDBC直连省局数据库，所以我们这里采用WEB SERVICE来绕过省局的防火墙，从而通过返回的SOAP信息的解析正确执行数据抽取操作。
3．由于考虑到数据源不一定是数据库，也可能是XML文件，所以我们的系统提供XML文件为数据源的数据抽取操作，但此XML文件必须遵循一定的格式。
4．由于考虑到数据抽取过程中可能会遇到记录重复的记录，我们这里采用重复的记录可以略过或者更新，同时这些设置都可以在data.xml可配置，但要指出的是如果需要更新重复的记录，则必须定义目的表的关键字列表，同时抽取操作将大大减慢速度，所以除非有必要，要不然，请不要这么做。
5．由于考虑到有的抽取操作必须定时定点执行，而且在一定的周期下，重复执行抽取操作，所以系统也提供了可配置的这种需求的实现。
6．由于考虑到少数情况下的大的数据量的抽取操作，而ORACLE本身提供的JDBC驱动不能执行有效的数据抽取操作，所以我们这里采用INET的JDBC驱动来执行数据抽取操作，这在数据源的定义中，可配置。
7．由于考虑到有的复杂的数据抽取操作并不能简单的以语句集来实现，所以我们的系统提供自己编写复杂类，然后把该类加入到包中，然后经过配置就可以执行该复杂类，但需要指出的是该复杂类必须继承自，具体的可供的函数请查看我们给出的JAVADOC文档

在我的另一篇博文中有该源代码和工具的下载地址：http://cxlh.iteye.com/blog/243132

评论

5 楼 jeekchen 2009-03-13  

和我做的一个数据适配引擎有点像，可以适配来自http、webservice、各种数据库的数据

4 楼 脑袋雷劈的 2009-03-12  

不知道怎么实现异构库之间的数据抽取！

3 楼 grandboy 2008-10-22  

我用过SQLServer 2005， ETL功能挺方便的。源数据和目标数据都可以是其他数据库。

2 楼 yashilandai86 2008-10-08  

oracle 的ODI比较好用，但是整个软件运行起来占资源奥！

1 楼 godson_2003 2008-09-17  

不错 可以看一下oracle的odi数据抽取产品，国内用的好像不多；