0 0

oracle 数据转移10

  有两张表,实时数据表:data,历史数据表:data_his。
  实时表,暂时每分时会有5w数据入库(以后会更多,听说要到100w)。
  现在需要将14分钟之前的data表数据转移到data_his表,有没有什么效率高的办法啊。大神们踊跃发言啊。
  暂时用的办法是,有个job,每分钟执行一次,每1000条一个循环delete掉data表里面14分钟之前的数据,然后有个行级触发器,删除data表数据时触发,向data_his表里面增加数据。感觉性能快有点吃不消了。请问有没有类似剪切文件的方法,直接剪切实时表数据到历史表?
 

问题补充:
monnsquare 写道
这需求变态,我觉得就怕你这样搞,如果14分钟前的数据,1分钟内删不完,就成死循环了。
应该不是一天24*60分钟都是这么多数据吧,可以实时的只是做删除操作,备份操作。慢慢再往data_his里弄

  不一定每分钟那么多,但是大部分时间是。
  死循环倒是不会,只是数据量到一定时候就会出现积累现象,一旦数据开始积累就会越来越多,到最后可能会造成job的下次执行时间变成9999。
  还有个问题就是,数据插入和转移的时候,查询会变得很慢,而且会影响到数据的插入,也就是可能会丢失数据。求指点
 
monnsquare 写道
这需求变态,我觉得就怕你这样搞,如果14分钟前的数据,1分钟内删不完,就成死循环了。
应该不是一天24*60分钟都是这么多数据吧,可以实时的只是做删除操作,备份操作。慢慢再往data_his里弄


问题补充:
kidding87 写道
我觉得吧,你应该把你为什么要这样做说明白些,大家能从根源帮你想办法,你这样就直接来插入删除的,这样并不一定能解决问题。
我有些疑问,历史数据主要是来做什么的,仅仅备份的话是不是直接用rman增量备份就行了
还有实时数据这个东西,我在别的公司见过这个东西,它其实并不是实时的,它是通过误差计算通过一小段时间内的历史值计算出来的实时值
这个其实可以借鉴下
这个数据吞吐量实在是很大,不是光插入删除记录就能解决的,需要拿出更好的设计方案才行啊

  实时数据是需要实时显示的(其实显示的数据也是前14-4分钟的),监控页面每分钟会刷新(一定查询条件的值),用js图表展示,如果实时数据表数据量大的话,刷新会很慢,所以需要将14分钟之前的数据单独存放。
  历史页面,可以查询14天以内的历史数据,暂时按小时分区。
 

问题补充:
kidding87 写道
这个是实时数据库差的比较多啊
我提个思路你看看,每分钟插入的数据建一个表,这样就有了4-14分钟的10个实时表,插入删除的时候不会对表锁定,而且,删除直接drop就可以了,比truncate delete快的多

  很感谢你的关注!
  如果说按你说的分了表,删除的时候直接drop,那还有历史记录不?

问题补充:
kidding87 写道
根据当前时间的分钟除以10的余数建表
table_min%10建立表, drop 前把数据插入到你的历史数据库就行了直接select into
查询实时数据的话表明都是固定的
table_min0
table_min1
...
table_min9
联合查询
这样我觉得比较可行

  懂你意思了,其实实时表安分钟分区也可以达到你说的效果,只可惜时间不太固定,可能有几分钟的浮动,不太好分。
  再看看其他人意见吧,如果没有,就用你的。
 
 
2012年2月24日 16:02

5个答案 按时间排序 按投票排序

0 0

插入时间不准的话,可以使用次数除以10做余数呗
用sequences记录插入的次数
tab_insert_1
tab_insert_2
..
tab_insert_9
你说了时间上不能保证,那就把这个实时区的次数范围增大就可以了

2012年2月28日 10:32
0 0

根据当前时间的分钟除以10的余数建表
table_min%10建立表, drop 前把数据插入到你的历史数据库就行了直接select into
查询实时数据的话表明都是固定的
table_min0
table_min1
...
table_min9
联合查询
这样我觉得比较可行

2012年2月27日 16:50
0 0

这个是实时数据库差的比较多啊
我提个思路你看看,每分钟插入的数据建一个表,这样就有了4-14分钟的10个实时表,插入删除的时候不会对表锁定,而且,删除直接drop就可以了,比truncate delete快的多

2012年2月27日 14:15
0 0

我觉得吧,你应该把你为什么要这样做说明白些,大家能从根源帮你想办法,你这样就直接来插入删除的,这样并不一定能解决问题。
我有些疑问,历史数据主要是来做什么的,仅仅备份的话是不是直接用rman增量备份就行了
还有实时数据这个东西,我在别的公司见过这个东西,它其实并不是实时的,它是通过误差计算通过一小段时间内的历史值计算出来的实时值
这个其实可以借鉴下
这个数据吞吐量实在是很大,不是光插入删除记录就能解决的,需要拿出更好的设计方案才行啊

2012年2月27日 10:54
0 0

这需求变态,我觉得就怕你这样搞,如果14分钟前的数据,1分钟内删不完,就成死循环了。
应该不是一天24*60分钟都是这么多数据吧,可以实时的只是做删除操作,备份操作。慢慢再往data_his里弄

2012年2月24日 23:50

相关推荐

    2023年全国大学生英语竞赛样题(C类)样题答案及听力原文.pdf

    2023年全国大学生英语竞赛样题(C类)样题答案及听力原文

    出纳考核表.xls

    出纳考核表

    基于多种天气因素的光伏电站太阳能辐射量预测系统-采用人工神经网络与离线优化算法,MATLAB代码:考虑多种天气条件下光伏电站太阳能辐射量预测 关键词:辐射量预测 光伏预测 多种天气因素 参考文档:

    基于多种天气因素的光伏电站太阳能辐射量预测系统——采用人工神经网络与离线优化算法,MATLAB代码:考虑多种天气条件下光伏电站太阳能辐射量预测 关键词:辐射量预测 光伏预测 多种天气因素 参考文档:《Solar Radiation Prediction and Energy Allocation for Energy Harvesting Base Stations》 仿真平台:MATLAB+CPLEX 平台 优势:代码具有一定的深度和创新性,注释清晰,非烂大街的代码,非常精品 主要内容:代码主要做的是如何利用预测光伏电站太阳能辐射量的问题,利用人工神经网络对对其内太阳辐射量进行预测,并对无云天气以及多云天气进行了分别讨论,与线性模型相比该模型具有更好的性能,除此之外,代码还研究了太阳能的分配问题,采用离线优化算法和四种在线启发式算法分别进行分配策略的优化,并利用太阳辐射数据评估了算法的性能。 该代码适合新手学习以及在此基础上进行拓展,代码质量非常高,出图效果极佳 ,核心关键词: 1. 光伏电站太阳能辐射量预测 2. 多种天气因素 3. 人工神经网络 4. 预测模型 5. 线性

    数据结构实验实习指导书(c语言)

    数据结构实验实习指导书(c语言)

    游戏 生存小游戏.exe

    "lyh不会打代码"生存小有戏改版

    站群系统/泛目录站群源码/泛站群cms系统【小说泛目录站群源码】

    站群系统/泛目录站群源码/泛站群cms系统【小说泛目录站群源码】 效果截图和演示https://www.lxsjfx.cn/3181.html 绿茶小说站群2.x-秒收隔天速出权重-小说流量稳定收割机-精品轻量级PHP站群系统站群系统,小说行业专用引流精品站群,绿茶小说站群为独立站群系统(无需依托CMS),独立的整篇小说优化内容库(拒绝句子拼凑),模板自适应PC端和移动端,流量一起做! 1、绿茶小说站群为独立站群系统(无需依托CMS) 2、对域名要求不高,百元域名均可操作 3、独立的首页、列表页、小说阅读页 4、独立的整篇小说优化内容库(拒绝句子拼凑) 5、可自定页面后缀(html、shtml、xml…..) 6、拒绝全站404跳转到内容页 7、还有强大的网站XML地图功能,便于链接提交 8、模板自适应PC端和移动端,流量一起做! 站群系统/泛目录站群源码/泛站群cms系统【小说泛目录站群源码】

    IQC检验员(来料检验员)绩效考核表.xls

    IQC检验员(来料检验员)绩效考核表

    2024年全球AI应用趋势年度报告

    2024年全球AI应用趋势年度报告

    安全生产绩效考核表.doc

    安全生产绩效考核表

    04-【标准制度】公司 KPI 绩效考核流程.docx

    04-【标准制度】公司 KPI 绩效考核流程

    第14讲:深入理解指针(4).pdf

    第14讲:深入理解指针(4)

    考虑用户舒适度的冷热电多能互补综合能源系统优化调度模型:结合PMV衡量与碳排放交易机制的MATLAB仿真实现,考虑用户舒适度的冷热电多能互补综合能源系统优化调度 MATLAB代码:考虑用户舒适度的冷热

    考虑用户舒适度的冷热电多能互补综合能源系统优化调度模型:结合PMV衡量与碳排放交易机制的MATLAB仿真实现,考虑用户舒适度的冷热电多能互补综合能源系统优化调度 MATLAB代码:考虑用户舒适度的冷热电多能互补综合能源系统优化调度 关键词:用户舒适度 综合能源 PMV 优化调度 参考文档:《冷热电气多能互补的微能源网鲁棒优化调度》基础模型加舒适度部分模型; 仿真平台:MATLAB+yalmip+cplex 主要内容:代码主要做的是考虑用户舒适度的冷热电多能互补综合能源系统优化调度模型,在传统的冷热电联供型综合能源系统的基础上,进一步考虑了热惯性以及用户的舒适度,并用预测平均投票数PMV对用户的舒适度进行衡量,且通过改变PMV的数值,可以对比不同舒适度要求对于综合能源系统调度结果的影响。 同时,代码还补充性的考虑了碳排放交易机制,并设置经济性最优以及碳排放最优两种对比场景,从而丰富算例,效果非常明显。 使用matlab+yalmip+cplex进行代码的 ,考虑用户舒适度; 综合能源系统; PMV; 优化调度; 冷热电多能互补; 碳排放交易机制。,考虑用户舒适度与碳排放交易的冷热电多能

    基于ANSI转义码在Xshell脚本中的光标操作与应用实例:进度条制作详解

    内容概要:本文详细阐述了利用ANSI转义码在Xshell脚本中进行光标的灵活操控方法。介绍了从光标的隐藏、定位(特定行/列)、保存位置、复位、清除以及显示控制的基本命令,重点描述了如何使用以上提到的功能构建实用的UI组件——文本模式下工作的进度条。文中提供的简单实例演示了一个完整的循环逻辑,它能动态刷新视图,在每一次迭代中根据程序实际进展更新屏幕上的表现形式,同时保持界面美观性和易读性。并且提到由于不同的终端可能有不同的兼容情况,脚本的跨环境行为可能存在细微差别。 适合人群:初学者至中级水平的技术爱好者或者软件开发者,尤其是希望深入掌握Linux环境下命令行工具使用者。 使用场景及目标:① 学习并理解Xshell脚本里涉及的ANSI转义码概念和技术点,从而增强对终端界面元素(如菜单、提示符等)的操作技能;② 掌握通过程序手段构造动态变化的CLI应用程序技巧,比如实时跟踪长时间任务的状态; 阅读建议:本文不仅包含了具体命令的学习,更展示了它们是如何组合起来创造复杂视觉反馈机制的案例研究。对于想进一步探索终端开发领域的程序员而言,这无疑提供了很好的入门指引材料。考虑到各种操作系统上支持度的问题,在测试代码之前应当确认自己的工作平台已经正确配置好。

    达梦数据库优化指南:涵盖回表问题、性能调优、SQL执行计划优化技术详解及应用场景

    内容概要:该文档详细探讨了针对达梦数据库的各种性能优化技术和处理方法。具体包括回表问题及其解决措施如覆盖索引和FAST POOL机制;变量窥探、统计数据收集优化方法,例如设置统计桶数量和采样子表数目;视图上拉、JOIN优化、EXISTS与NOT EXISTS子查询重写策略;分区裁剪和多KEY哈希等方面的深入探讨,提供了多个具体的优化技巧,旨在帮助用户有效提升SQL执行性能,并解决了多种可能导致性能下降的关键因素。 适合人群:数据库管理员、运维工程师及具有一定经验的数据开发人员等,尤其是负责使用和维护基于达梦数据库系统的技术团队成员。 使用场景及目标:适用于希望通过改善查询速度来提高系统响应时间的专业人士;需要处理大型数据库或复杂查询的任务;或是正在寻找改进现有数据库架构的方法的机构。它还特别针对那些希望确保最优硬件资源利用率的人群。 其他说明:本文档不仅介绍了理论性的背景知识和技术细节,还包括了大量的实际案例演示和参数调整建议,方便读者理解和实践这些优化方法。此外,针对每种优化策略提供了详细的指导,使得即使是对某些高级特性较为陌生的读者也能顺利掌握关键技能。

    54 -营销部经理绩效考核表1.xlsx

    54 -营销部经理绩效考核表1

    外贸部绩效考核表格.xls

    外贸部绩效考核表格

    c盘满了怎么清理PDF

    选择使用如下方法,增加系统盘自由空间。最简模式:完成2、4②,即可全面清除电脑垃圾、痕迹。 1、将“桌面”、“我的文档”以及系统盘的其它地方保存的个人文件资料,转移到别的盘保存。 2、双击桌面“计算机”,“系统磁盘”右键--属性--常规/工具:

    岗位绩效考核评定表excel表格模板.xlsx

    岗位绩效考核评定表excel表格模板

    apache-commons-vfs-javadoc-2.0-11.el7.x64-86.rpm.tar.gz

    1、文件内容:apache-commons-vfs-javadoc-2.0-11.el7.rpm以及相关依赖 2、文件形式:tar.gz压缩包 3、安装指令: #Step1、解压 tar -zxvf /mnt/data/output/apache-commons-vfs-javadoc-2.0-11.el7.tar.gz #Step2、进入解压后的目录,执行安装 sudo rpm -ivh *.rpm 4、安装指导:私信博主,全程指导安装

Global site tag (gtag.js) - Google Analytics