通用数据推送(1)

目前，在公司的一个重要工作内容就是做sprider和b2b数据内容的推送工作。
简单需求描述 公司主要的业务领域就是b2b的垂直搜索，我所在的数据组主要
负责下载联盟网站的b2b的信息，然后讲下载数据进行一定的处理推送到目标库
（线上运行库）中。
以下就是经过这段时间工作对公司业务理解的一个流程图。



那我主要负责的就是推送以及生成生成信用值。

好了，该说说自己的工作了，数据推送本身很简单，就是把a库中数据推送到b库中。但是由于下载数据本身、的不严谨，以及两个库中表结构页不由差异，同时还要求增量的推送。（还有很多小细节方面的东西，比如图片的推送，针对某些字段的简单处理，对一些标志位的设定等等 总之 由于业务的不同会产生众多的问题）。
如题所述公司要求的通用推送，通用两个字就是我工作的核心内容。
首先来说说我的解决问题的思路。
1 我们通过一个xml文件来定义整个推送的流程
2 然后通过我们的程序来执行定义好的推送流程
这样的话可以将我的java代码和我们面对的业务相分离，业务只和xml相关，做到通用这个字。