mysql PreparedStatement和load data local infile批量插入性能比较

那个性能更好呢

分别插入 1W 5W 10W 结果如下

PreparedStatement        1953   9203  17641（ms）
load data local infile   125    625   1172  （ms）

可以看到两者的差距非常大

load data local infile比PreparedStatement强15倍左右

初步判断主要原因应该是PreparedStatement 要写redo logfile，所以拖慢了

评论

3 楼 xly_971223 2009-07-22  

jwinder 写道

兄弟MYSQL的批量插入可以用引擎InnoDB。
而且你的插入操作不会说for一条一条插入吧？

insert into tableName (x,xx,xxx) values(x,xx,xxx),(xx,xxx,xxxx)…,
一条sql插入多个值。

数据先放内存然后写入数据库，并且多线程入库。
数据库入库的速度能达到3000+条/秒的速度。

恩 回头测试一下

之前是用 jdbc preparedstatement插入的[url] http://xuliangyong.iteye.com/admin/blogs/237728[/url]

2 楼 jwinder 2009-07-22  

兄弟MYSQL的批量插入可以用引擎InnoDB。
而且你的插入操作不会说for一条一条插入吧？

insert into tableName (x,xx,xxx) values(x,xx,xxx),(xx,xxx,xxxx)…,
一条sql插入多个值。

数据先放内存然后写入数据库，并且多线程入库。
数据库入库的速度能达到3000+条/秒的速度。

1 楼 heyjava 2009-07-14  

做批量插入用load data local infile 是毫无质疑.
但相差那么大,估计是BinLog 的缓存innodb_log_buffer_size设置太小了 或者innodb_buffer_pool_size设置太小..导致出现频繁IO操作