Kettle最佳实践

一、当输入对象为CSV文件时，将NIO Buffer Size从默认的50000改到最佳的200000。

二、当输出对象为表输出时，将提交记录数量从默认的1000改到最佳的4000。

三、尽可能关闭转换过程中一切与数据库相关的日志，如表日志、索引日志等。

四、在数据库去重时，使用普通索引而不是唯一性索引。

五、在插入数据之前，先使索引unusable，数据导完之后再rebuild索引。需要注意的是，像数据库去重这种需要索引来优化查询速度的情况可以排除在外。

六、索引和表数据使用不同的表空间，尽可能的减少IO争用。

七、Kettle所在操作系统优先选择Windows，在有些情况下Linux的插入速度明显偏低。