数据采集更新功能说明

数据整理备份:
1.采集数据的记录(包括采集规则,采集id分布情况)
2.转换程序备份(相关使用说明完整)
3.转换程序生产sql备份(必须有sql对应id系统库记录)

采集数据处理过程(采集的数据最终导入系统数据库):
1.对应我们数据库表导入相关字段转换成sql,转换前注意,清洗数据(去掉一些错误的信息,类型变更)
2.根据采集来的已有信息,推测出一些数据,比如根据许可证号可以推测出省市

评估原则:
不符合规则的数据,程序记录下来,比重小,人工修改
比重大则保证尽可能多转换为原则.只要能转换大于5%数据,则值得.


整个功能模块定位:
不在系统中集成,作为运营人员使用,网站上线前需要更新到最新的数据,上线后根据采集源更新的频率,定期由运营人员进行更新,最终作为jar+文件方式提供使用.
ps:纯sql可能面对,事务原子性 执行错误记录