SSH+Oracle批量插入数据小结

    插入数据是一项很简单的操作，但一旦提高了数据量，就变得不那么容易。
    最近项目中使用SSH+oracle数据库，使用C3P0连接池，要求当执行某动作时在2表中各插入一万条数据。于是就采用了jdbc的方式插入。
    先获取一个sequence，再将数据插入到数据库中。一测试时间，崩溃了，用时近3分钟（其中获取两个表的sequence很费时），后来想想以前曾经做过一个类似的项目，使用了主键自增的策略，就将主键改为自增了。再次测试，还可以，不到3秒。将此代码记录下来，以便日后参考。
    顺便说说，可以使用存储过程（尤其是操作多个表插数据），这样效率更快些。

表就省略了，下面是sequence：

create sequence SEQ_TEST
minvalue 1
maxvalue 999999999999999999999999999
start with 126661
increment by 1
cache 20;

这个就是oracle实现自增的触发器了，TB_ID是表中得主键：

create or replace trigger TRI_TEST
  before insert on tb_ticket_log  
  for each row
declare
begin
  select SEQ_TEST.Nextval into:new.TB_ID from dual;
end TRI_TEST;

下面是数据交换层的代码：

	public void save(final List list)
			throws HibernateException, SQLException {
		this.getHibernateTemplate().execute(new HibernateCallback() {
			public Object doInHibernate(Session session)
					throws HibernateException, SQLException {

				Connection conn = session.connection();
				PreparedStatement ps = null;
				PreparedStatement _ps = null;
				String sql = "INSERT INTO TB1(column,...) VALUES (?,...)";
				String _sql = "INSERT INTO TB2(column,...) VALUES(?,...)";

				ps = conn.prepareStatement(sql);
				_ps = conn.prepareStatement(_sql);

				for (int i = 0; i < list.size(); i++) {
					ps.setString(1, "");
					//ps.set...
					ps.addBatch();

					_ps.setString(1, "");
					//_ps.set...
					_ps.addBatch();

					// 每一万次执行并清除session，否则你懂的。
					if (i % 10000 == 0) {
						ps.executeBatch();
						_ps.executeBatch();
						session.flush();
						session.close();
					}
				}
				ps.executeBatch();
				_ps.executeBatch();
				ps.close();
				_ps.close();
				session.flush();
				session.close();
				return null;
			}
		});
	}

评论

2 楼 djcbpl 2012-11-09  

我的问题解决了；很好

1 楼 djcbpl 2012-11-09  

太感谢你了