一次删除成千上万条数据，你会怎么处理？

问答首页 → Java企业应用

0 0

一次删除成千上万条数据，你会怎么处理？5

批量删除的时候，不管是用任何数据库，当要删除的数据量巨大时，都是一个比较棘手的问题。
当然，一般的需求不会涉及到这一点，但是假设遇到这种情况，大家会怎么处理？
我目前想到的是在存储过程中实现，分批分段执行删除。

2013年6月26日 09:24

你让我情何以堪
2
0 0 5

11个答案按时间排序按投票排序

0 0

不管何种删除方案，备份是必须的……

2013年6月28日 16:46

taoge2121
0
0 0 3

添加评论

0 0

写日志，日志里后台慢慢处理。

2013年6月28日 11:05

zhuchao_ko
30
0 0 1

添加评论

0 0

做删除标记。具体什么时候删除，可以选择回收站手工清空，也可以定义1个月后后台自动删除。
如果条件复杂，不能使用索引，可以在前台做异步，保证相应时间

2013年6月27日 11:21

fastspeeed
44
0 0 0

添加评论

0 0

建个新表.
确定删除条件后
使用insert into .... where not 条件.向新表中插入.
然后旧表改名.新表改名.

2013年6月27日 10:35

alxw4616
30
0 0 0

添加评论

0 0

十万条左右的一般都是没啥问题的。工作环境下删除前最好先备份，然后对删除的动作最好先select确认，看条件是否正确。如果是以亿为单位的数据最好备份确认外，要放到空闲时间来删除。对业务数据的操作必须小心谨慎。

2013年6月26日 23:58

wzjin
30
0 0 1

添加评论

0 0

先备份。。此条正解。

2013年6月26日 18:04

baukh789
30
0 0 0

添加评论

0 0

这个容易

delete from table where ... limit N

limit N 是关键点

2013年6月26日 17:55

月影无痕
45
0 0 1

添加评论

0 0

楼主说的数据量是多大？我建议做逻辑删除，然后再晚上的时候做物理删除

2013年6月26日 11:28

cuityang
-1
0 1 8

2条评论

0 0

还有个缓和些的办法，就是做逻辑删除，先把要删除的数据使用批量修改功能打上删除标记，然后等到夜里服务器不忙的时候再做物理删除。

楼上讲的办法也很常用的，但是要求剩下的数据比较少，否则资源消耗一样很大的。

2013年6月26日 11:02

evanzzy
37
0 1 1

添加评论

0 0

传说中有个 spring batch项目不知道能不能干这个

2013年6月26日 10:22

strivezsh
4
0 0 11

添加评论

0 0

看按照什么条件删除了，如果where条件走索引的话删除1w条记录完全没问题，如果数据量实在太大，尤其是占用表的数据超过剩余数据的话，建议先把要保留的数据用insert into ... select * from ... where ...移到另外的表中，然后truncate，然后在用上面的语句把数据copy过来，或者直接drop表，重新建表，再copy数据。

2013年6月26日 10:14