oracle 数据转移 - ITeye问答

0 0

oracle 数据转移10

有两张表，实时数据表：data,历史数据表：data_his。
实时表，暂时每分时会有5w数据入库（以后会更多，听说要到100w）。
现在需要将14分钟之前的data表数据转移到data_his表，有没有什么效率高的办法啊。大神们踊跃发言啊。
暂时用的办法是，有个job，每分钟执行一次，每1000条一个循环delete掉data表里面14分钟之前的数据，然后有个行级触发器，删除data表数据时触发，向data_his表里面增加数据。感觉性能快有点吃不消了。请问有没有类似剪切文件的方法，直接剪切实时表数据到历史表？

问题补充：

monnsquare 写道

这需求变态，我觉得就怕你这样搞，如果14分钟前的数据，1分钟内删不完，就成死循环了。
应该不是一天24*60分钟都是这么多数据吧，可以实时的只是做删除操作，备份操作。慢慢再往data_his里弄

不一定每分钟那么多，但是大部分时间是。
死循环倒是不会，只是数据量到一定时候就会出现积累现象，一旦数据开始积累就会越来越多，到最后可能会造成job的下次执行时间变成9999。
还有个问题就是，数据插入和转移的时候，查询会变得很慢，而且会影响到数据的插入，也就是可能会丢失数据。求指点

monnsquare 写道

问题补充：

kidding87 写道

我觉得吧，你应该把你为什么要这样做说明白些，大家能从根源帮你想办法，你这样就直接来插入删除的，这样并不一定能解决问题。
我有些疑问，历史数据主要是来做什么的，仅仅备份的话是不是直接用rman增量备份就行了
还有实时数据这个东西，我在别的公司见过这个东西，它其实并不是实时的，它是通过误差计算通过一小段时间内的历史值计算出来的实时值
这个其实可以借鉴下
这个数据吞吐量实在是很大，不是光插入删除记录就能解决的，需要拿出更好的设计方案才行啊

实时数据是需要实时显示的（其实显示的数据也是前14-4分钟的），监控页面每分钟会刷新（一定查询条件的值），用js图表展示，如果实时数据表数据量大的话，刷新会很慢，所以需要将14分钟之前的数据单独存放。
历史页面，可以查询14天以内的历史数据，暂时按小时分区。

问题补充：

kidding87 写道

这个是实时数据库差的比较多啊
我提个思路你看看，每分钟插入的数据建一个表，这样就有了4-14分钟的10个实时表，插入删除的时候不会对表锁定，而且，删除直接drop就可以了，比truncate delete快的多

很感谢你的关注！
如果说按你说的分了表，删除的时候直接drop，那还有历史记录不？

问题补充：

kidding87 写道

根据当前时间的分钟除以10的余数建表
table_min%10建立表， drop 前把数据插入到你的历史数据库就行了直接select into
查询实时数据的话表明都是固定的
table_min0
table_min1
...
table_min9
联合查询
这样我觉得比较可行

懂你意思了，其实实时表安分钟分区也可以达到你说的效果，只可惜时间不太固定，可能有几分钟的浮动，不太好分。
再看看其他人意见吧，如果没有，就用你的。