ETL哪个开源软件好

1 随数据库环境的不同可能会使用不同的工具，不过这一点并没有限制，大多工具都支持不同的数据环境。有时可以是几种工具并用，主辅结合；
oracle下可选odi，GoldenGate；sqldeveloper亦可作为加载数据的工具；
oracle warehouse则使用owb；
ibm下可选vw(visual warehouse)；

mysql下可选kettle，GoldenGate；
mssql下则使用独门的dts；

2 学习的话，可先熟悉kettle，GoldenGate。

 

追问

多谢大哥的回答，我还有一个疑问，项目用的都是mysql，现在有个数据抽取的功能要实现，因为没接触过ETL方面的东西，所以不知到哪个软件合适，那kettle如果在抽取数据的时候失败了（某种原因中断，可能抽了一部分数据），那对这次还没有抽取的数据，kettle的处理策略是怎样的呢？？
kettle有没有定时抽取的机制？？

 

追答

1 kettle是个轻量的工具，只是提供了实现功能的技术片段或基础组件，每个环节的策略需自己设计和组合各技术片段实现。换句话说，它并没有提供一个完整的策略供直接应用。

2 可以考虑以下方式：
  （1）使用源和目标表的时间戳对比，出错后按时间戳再开始即可；
  （2）每日的源数据生成一个平面数据文件，先插入到中间表（这个表每日一个，只保存当日操作的数据，这个处理期间可以进行初级汇总、验证等），再从这个中间表取数据加载到目标表（这个过程还可以完成再汇总等附加功能）；出错可以设计为生成错误记录，回退则处理为当日中间表的记录在目标表中的对应删除，然后重新加载；