Kettle最佳实践

一、当输入对象为CSV文件时，将NIO Buffer Size从默认的50000改到最佳的200000。

二、当输出对象为表输出时，将提交记录数量从默认的1000改到最佳的4000。

三、尽可能关闭转换过程中一切与数据库相关的日志，如表日志、索引日志等。

四、在数据库去重时，使用普通索引而不是唯一性索引。

五、在插入数据之前，先使索引unusable，数据导完之后再rebuild索引。需要注意的是，像数据库去重这种需要索引来优化查询速度的情况可以排除在外。

六、索引和表数据使用不同的表空间，尽可能的减少IO争用。

七、Kettle所在操作系统优先选择Windows，在有些情况下Linux的插入速度明显偏低。

评论

4 楼 datawarehouse 2012-09-03  

cutesunshineriver 写道

datawarehouse 写道

博主也用过kettle啊?

现在也还在用呢。

我是用过2年+，现在没在用了。
之前一直用的3.2的版本。

3 楼 cutesunshineriver 2012-08-31  

datawarehouse 写道

博主也用过kettle啊?

现在也还在用呢。

2 楼 datawarehouse 2012-08-31  

博主也用过kettle啊?

1 楼 guooo 2012-06-26