- 浏览: 42712 次
文章分类
最新评论
为验证分区表对检索数据的性能的提升,今天做了100W条数据级的检索和插入的测试。
测试环境:
1. 操作系统和硬件:windows-XP,CPU3.2 双核,3G内存,硬盘500G左右。
2. 软件环境:hibernate3,structs1,ORACLE 10.2 ,weblogic10,JDK6.0
测试表:
1.无分区表test
create table TEST ( STI_ID NUMBER(10) not null, STI_STUDENT NUMBER(19), STI_STUDENT_NAME VARCHAR2(20), STI_STUDENT_CARD_ID CHAR(14) not null, STI_STUDENT_CARD_PRINT_NUM VARCHAR2(20), STI_COACH NUMBER(19), STI_COACH_NAME VARCHAR2(20), STI_COACH_CARD_ID CHAR(14) not null, STI_COACH_CARD_PRINT_NUM VARCHAR2(20), STI_SCHOOL NUMBER(10), STI_SCHOOL_NAME VARCHAR2(50), STI_SCHOOL_SHORT_NAME VARCHAR2(20), STI_COUNTY CHAR(6), STI_COUNTY_NAME VARCHAR2(20), STI_TRAIN_START_TIME DATE not null, STI_TRAIN_END_TIME DATE not null, STI_TOTAL_TIME NUMBER(5) default 0, STI_TOTAL_MILEAGE NUMBER(11,1) default 0, STI_TOTAL_MONEY NUMBER(7,2) default 0, STI_IS_SIGN_OUT NUMBER(3) not null, STI_APPLY_EXAM_SUBJECT NUMBER(3), STI_TRAIN_SUBJECT NUMBER(3) not null, STI_TRAIN_SUBJECT_NAME VARCHAR2(50), STI_TERMINAL_MACHINE CHAR(14) not null, STI_TERMINAL_PRINT_NUM VARCHAR2(20), STI_UP_TIME DATE default sysdate not null, STI_TERMINAL_DATA_ID VARCHAR2(20), STI_IS_SYNCHRONIZE NUMBER(3) default 0, IS_UP CHAR(1) default 0, UP_TIME DATE, UP_COUNT NUMBER(3) default 0, CS_INNER_NUM NUMBER(10), CS_NAME VARCHAR2(50), STI_TRAIN_PRICE NUMBER(5), IS_COUNT NUMBER(1) default 0, IS_COUNT_TIME DATE, STI_IS_TO_WEB NUMBER(1) default 0 )
2.按sti_school分区的表test1
create table TEST1 ( STI_ID NUMBER(10) not null, STI_STUDENT NUMBER(19), STI_STUDENT_NAME VARCHAR2(20), STI_STUDENT_CARD_ID CHAR(14) not null, STI_STUDENT_CARD_PRINT_NUM VARCHAR2(20), STI_COACH NUMBER(19), STI_COACH_NAME VARCHAR2(20), STI_COACH_CARD_ID CHAR(14) not null, STI_COACH_CARD_PRINT_NUM VARCHAR2(20), STI_SCHOOL NUMBER(10), STI_SCHOOL_NAME VARCHAR2(50), STI_SCHOOL_SHORT_NAME VARCHAR2(20), STI_COUNTY CHAR(6), STI_COUNTY_NAME VARCHAR2(20), STI_TRAIN_START_TIME DATE not null, STI_TRAIN_END_TIME DATE not null, STI_TOTAL_TIME NUMBER(5) default 0, STI_TOTAL_MILEAGE NUMBER(11,1) default 0, STI_TOTAL_MONEY NUMBER(7,2) default 0, STI_IS_SIGN_OUT NUMBER(3) not null, STI_APPLY_EXAM_SUBJECT NUMBER(3), STI_TRAIN_SUBJECT NUMBER(3) not null, STI_TRAIN_SUBJECT_NAME VARCHAR2(50), STI_TERMINAL_MACHINE CHAR(14) not null, STI_TERMINAL_PRINT_NUM VARCHAR2(20), STI_UP_TIME DATE default sysdate not null, STI_TERMINAL_DATA_ID VARCHAR2(20), STI_IS_SYNCHRONIZE NUMBER(3) default 0, IS_UP CHAR(1) default 0, UP_TIME DATE, UP_COUNT NUMBER(3) default 0, CS_INNER_NUM NUMBER(10), CS_NAME VARCHAR2(50), STI_TRAIN_PRICE NUMBER(5), IS_COUNT NUMBER(1) default 0, IS_COUNT_TIME DATE, STI_IS_TO_WEB NUMBER(1) default 0 ) partition by range (sti_school) ( partition cus_part1 values less than (33030082) , partition cus_part2 values less than (33030122), partition cus_part3 values less than (33030142), partition cus_part4 values less than (33030162), partition cus_part5 values less than (33030242) )
插入数据库脚本(分两次插入)
package com.www.test.service.impl; import java.util.Date; import com.www.test.model.StudentTrainInfo; import com.www.test.service.testService; import com.www.util.CommonUtil; public class testServiceImpl extends BaseService implements testService { public Integer test() { System.out.println("=====开始给33030121付值======"+CommonUtil.convertDateToString(new Date(), "yyyy-MM-dd hh:mm:ss")); for(int i=0;i<100000;i++){ StudentTrainInfo studentTrainInfo = new StudentTrainInfo(); studentTrainInfo.setStudentInnerNum(Long.parseLong("03010000000000")); studentTrainInfo.setStudentName("测试"); studentTrainInfo.setStudentCardInnerNum("03020000000000"); studentTrainInfo.setStudentCardPrintNum("03030000000000"); studentTrainInfo.setCoachInnerNum(Long.parseLong("3303000000")); studentTrainInfo.setCoachName("测试教练"); studentTrainInfo.setCoachCardInnerNum("03040000000000"); studentTrainInfo.setCoachCardPrintNum("03050000000000"); studentTrainInfo.setSchoolInnerNum(Integer.parseInt("33030121")); studentTrainInfo.setSchoolName("温州交通技术学校"); studentTrainInfo.setCountyCode("330301"); studentTrainInfo.setCountyName("市辖区"); studentTrainInfo.setTrainStartTime(new Date()); studentTrainInfo.setTrainEndTime(new Date()); studentTrainInfo.setTotalTime(0); studentTrainInfo.setTotalMileage(0); studentTrainInfo.setTotalMoney(0); studentTrainInfo.setIsSignOut(1); studentTrainInfo.setApplyExamSubjectInnerNum(2); studentTrainInfo.setTrainSubjectInnerNum(61); studentTrainInfo.setTrainSubjectName("科目二"); studentTrainInfo.setTerminalMachineInnerNum("33031100000000"); studentTrainInfo.setTerminalMachinePrintNum("33031100000000"); studentTrainInfo.setUploadTime(new Date()); this.getStudentTrainInfoDao().create(studentTrainInfo); } System.out.println("======开始给33030081付值======="+CommonUtil.convertDateToString(new Date(), "yyyy-MM-dd hh:mm:ss")); for(int i=0;i<100000;i++){ StudentTrainInfo studentTrainInfo = new StudentTrainInfo(); studentTrainInfo.setStudentInnerNum(Long.parseLong("03010000000001")); studentTrainInfo.setStudentName("测试1"); studentTrainInfo.setStudentCardInnerNum("03020000000001"); studentTrainInfo.setStudentCardPrintNum("03030000000001"); studentTrainInfo.setCoachInnerNum(Long.parseLong("3303000001")); studentTrainInfo.setCoachName("测试教练1"); studentTrainInfo.setCoachCardInnerNum("03040000000001"); studentTrainInfo.setCoachCardPrintNum("03050000000001"); studentTrainInfo.setSchoolInnerNum(Integer.parseInt("33030081")); studentTrainInfo.setSchoolName("温州娄桥机动车驾驶学校有限公司"); studentTrainInfo.setCountyCode("330301"); studentTrainInfo.setCountyName("市辖区"); studentTrainInfo.setTrainStartTime(new Date()); studentTrainInfo.setTrainEndTime(new Date()); studentTrainInfo.setTotalTime(0); studentTrainInfo.setTotalMileage(0); studentTrainInfo.setTotalMoney(0); studentTrainInfo.setIsSignOut(1); studentTrainInfo.setApplyExamSubjectInnerNum(2); studentTrainInfo.setTrainSubjectInnerNum(61); studentTrainInfo.setTrainSubjectName("科目二"); studentTrainInfo.setTerminalMachineInnerNum("33031100000001"); studentTrainInfo.setTerminalMachinePrintNum("33031100000001"); studentTrainInfo.setUploadTime(new Date()); this.getStudentTrainInfoDao().create(studentTrainInfo); } System.out.println("==================开始给33030161付值=================="+CommonUtil.convertDateToString(new Date(), "yyyy-MM-dd hh:mm:ss")); for(int i=0;i<100000;i++){ StudentTrainInfo studentTrainInfo = new StudentTrainInfo(); studentTrainInfo.setStudentInnerNum(Long.parseLong("03010000000002")); studentTrainInfo.setStudentName("测试2"); studentTrainInfo.setStudentCardInnerNum("03020000000002"); studentTrainInfo.setStudentCardPrintNum("03030000000002"); studentTrainInfo.setCoachInnerNum(Long.parseLong("3303000002")); studentTrainInfo.setCoachName("测试教练2"); studentTrainInfo.setCoachCardInnerNum("03040000000002"); studentTrainInfo.setCoachCardPrintNum("03050000000002"); studentTrainInfo.setSchoolInnerNum(Integer.parseInt("33030161")); studentTrainInfo.setSchoolName("温州公交集团机动车驾驶员培训学校"); studentTrainInfo.setCountyCode("330301"); studentTrainInfo.setCountyName("市辖区"); studentTrainInfo.setTrainStartTime(new Date()); studentTrainInfo.setTrainEndTime(new Date()); studentTrainInfo.setTotalTime(0); studentTrainInfo.setTotalMileage(0); studentTrainInfo.setTotalMoney(0); studentTrainInfo.setIsSignOut(1); studentTrainInfo.setApplyExamSubjectInnerNum(2); studentTrainInfo.setTrainSubjectInnerNum(61); studentTrainInfo.setTrainSubjectName("科目二"); studentTrainInfo.setTerminalMachineInnerNum("33031100000002"); studentTrainInfo.setTerminalMachinePrintNum("33031100000002"); studentTrainInfo.setUploadTime(new Date()); this.getStudentTrainInfoDao().create(studentTrainInfo); } System.out.println("=======开始给33030141付值======"+CommonUtil.convertDateToString(new Date(), "yyyy-MM-dd hh:mm:ss")); for(int i=0;i<100000;i++){ StudentTrainInfo studentTrainInfo = new StudentTrainInfo(); studentTrainInfo.setStudentInnerNum(Long.parseLong("03010000000003")); studentTrainInfo.setStudentName("测试3"); studentTrainInfo.setStudentCardInnerNum("03020000000003"); studentTrainInfo.setStudentCardPrintNum("03030000000003"); studentTrainInfo.setCoachInnerNum(Long.parseLong("3303000003")); studentTrainInfo.setCoachName("测试教练3"); studentTrainInfo.setCoachCardInnerNum("03040000000003"); studentTrainInfo.setCoachCardPrintNum("03050000000003"); studentTrainInfo.setSchoolInnerNum(Integer.parseInt("33030141")); studentTrainInfo.setSchoolName("温州冶金汽车驾驶服务有限公司"); studentTrainInfo.setCountyCode("330301"); studentTrainInfo.setCountyName("市辖区"); studentTrainInfo.setTrainStartTime(new Date()); studentTrainInfo.setTrainEndTime(new Date()); studentTrainInfo.setTotalTime(0); studentTrainInfo.setTotalMileage(0); studentTrainInfo.setTotalMoney(0); studentTrainInfo.setIsSignOut(1); studentTrainInfo.setApplyExamSubjectInnerNum(2); studentTrainInfo.setTrainSubjectInnerNum(61); studentTrainInfo.setTrainSubjectName("科目二"); studentTrainInfo.setTerminalMachineInnerNum("33031100000003"); studentTrainInfo.setTerminalMachinePrintNum("33031100000003"); studentTrainInfo.setUploadTime(new Date()); this.getStudentTrainInfoDao().create(studentTrainInfo); } System.out.println("==================开始给33030241付值=================="+CommonUtil.convertDateToString(new Date(), "yyyy-MM-dd hh:mm:ss")); for(int i=0;i<100000;i++){ StudentTrainInfo studentTrainInfo = new StudentTrainInfo(); studentTrainInfo.setStudentInnerNum(Long.parseLong("03010000000004")); studentTrainInfo.setStudentName("测试4"); studentTrainInfo.setStudentCardInnerNum("03020000000004"); studentTrainInfo.setStudentCardPrintNum("03030000000004"); studentTrainInfo.setCoachInnerNum(Long.parseLong("3303000004")); studentTrainInfo.setCoachName("测试教练4"); studentTrainInfo.setCoachCardInnerNum("03040000000004"); studentTrainInfo.setCoachCardPrintNum("03050000000004"); studentTrainInfo.setSchoolInnerNum(Integer.parseInt("33030241")); studentTrainInfo.setSchoolName("浙江交通技师学院"); studentTrainInfo.setCountyCode("330301"); studentTrainInfo.setCountyName("市辖区"); studentTrainInfo.setTrainStartTime(new Date()); studentTrainInfo.setTrainEndTime(new Date()); studentTrainInfo.setTotalTime(0); studentTrainInfo.setTotalMileage(0); studentTrainInfo.setTotalMoney(0); studentTrainInfo.setIsSignOut(1); studentTrainInfo.setApplyExamSubjectInnerNum(2); studentTrainInfo.setTrainSubjectInnerNum(61); studentTrainInfo.setTrainSubjectName("科目二"); studentTrainInfo.setTerminalMachineInnerNum("33031100000004"); studentTrainInfo.setTerminalMachinePrintNum("33031100000004"); studentTrainInfo.setUploadTime(new Date()); this.getStudentTrainInfoDao().create(studentTrainInfo); } System.out.println("========提交完成======="+CommonUtil.convertDateToString(new Date(), "yyyy-MM-dd hh:mm:ss")); return null; } }
测试结果:
1.插入数据结果:50W条数据插入时间为2分30秒,其中“==提交完成=”前花费1分30秒,后(hibernate3向数据库提交)时间为1分钟。
2.test和test1单条记录检索时间对比。其中partition(CUS_PART3)存放的是sti_school=33030141的数据,经实测,结果无分区的有分区的结果相差时间为10倍,分区表的检索性能提升显著。
select * from test1 partition(CUS_PART3) where STI_ID=1709850 --首次检索时间:0.234秒 SELECT * FROM test t where t.sti_id=1709850 and t.sti_school=33030141 --首次检索时间:2.454秒
3.对test1查询语句中带partition(CUS_PART3),与不带的性能测试。经实测,说明SQL不带partition(CUS_PART3),用sti_school=33030141的检索速度差不多,用sti_school查询也走分区查询。
select * from test1 partition(CUS_PART3) where STI_ID=1709850 --多次检索后时间:0.062秒 SELECT * FROM test1 t where t.sti_id=1709850 and t.sti_school=33030141 --多次检索后时间:0.063秒
测度出现的问题
1.发现一次性循环61W次以上时会出现weblogic内存溢出的问题。weblogic内存配置(-Xms512m -Xmx512m -XX:CompileThreshold=8000 -XX:PermSize=512m -XX:MaxPermSize=1024m -Xverify:none -da);内存配置项,其他三个512内存项配为1024M,会出现weblogic启动不起来的问题。不知为何?
2.当表分区空间没有定义自增长时,对超过10W条记录的插入会出现:oracle 关于无法通过128 表无法扩展相关错误提示,解决方法:修改test表所有的表空间文件为自增长。
相关推荐
原生js图片圆形排列按钮控制3D旋转切换插件.zip
内含二维数组与三维数组,分别为list2nd,list3rd
原生js颜色随机生成9x9乘法表代码.zip
原生js实现图片叠加滚动切换代码.zip
【Academic tailor】学术小裁缝必备知识点:全局注意力机制(GAM) 注意力机制是深度学习中的重要技术,尤其在序列到序列(sequence-to-sequence)任务中广泛应用,例如机器翻译、文本摘要和问答系统等。这一机制由 Bahdanau 等人在其论文《Neural Machine Translation by Jointly Learning to Align and Translate》中首次提出。以下将详细介绍这一机制的背景、核心原理及相关公式。 全局注意力机制(Global Attention Mechanism, GAM)由 《Global Attention Mechanism: Retain Information to Enhance Channel-Spatial Interactions》提出,是一篇针对计算机视觉任务提出的方法。这篇文章聚焦于增强深度神经网络中通道和空间维度之间的交互,以提高分类任务的性能。与最早由 Bahdanau 等人提出的用于序列到序列任务的注意力机制 不同,这篇文章的重点是针对图像分类任务,并未专注于序
本项目在开发和设计过程中涉及到原理和技术有: B/S、java技术和MySQL数据库等;此文将按以下章节进行开发设计; 第一章绪论;剖析项目背景,说明研究的内容。 第二章开发技术;系统主要使用了java技术, b/s模式和myspl数据库,并对此做了介绍。 第三章系统分析;包罗了系统总体结构、对系统的性能、功能、流程图进行了分析。 第四章系统设计;对软件功能模块和数据库进行详细设计。 第五章系统总体设计;对系统管理员和用户的功能进行描述, 第六章对系统进行测试, 第七章总结心得;在论文最后结束章节总结了开发这个系统和撰写论文时候自己的总结、感想,包括致谢。
1、资源项目源码均已通过严格测试验证,保证能够正常运行; 2、项目问题、技术讨论,可以给博主私信或留言,博主看到后会第一时间与您进行沟通; 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用,尤其对于人工智能、计算机科学与技术等相关专业,更为适合; 4、下载使用后,可先查看README.md文件(如有),本项目仅用作交流学习参考,请切勿用于商业用途。
镗夹具总工艺图
原生js树叶数字时钟代码.rar
近代非线性回归分析-韦博成1989
内容概要:本文详细介绍了用 Rust 语言实现冒泡排序算法的具体步骤,以及通过设置标志位来优化算法性能的方法。示例代码包括了函数定义、内外层循环逻辑、标志位的应用,并在主函数中展示了如何调用 bubble_sort 函数并显示排序前后的数组。 适合人群:具有基本 Rust 编程基础的学习者和开发者。 使用场景及目标:适用于想要深入了解 Rust 中冒泡排序实现方式及其优化技巧的技术人员。通过本篇文章,能够掌握 Rust 基本语法以及算法优化的基本思想。 阅读建议:除了仔细阅读和理解每一部分的内容外,还可以尝试修改代码,改变数据集大小,进一步探索冒泡排序的时间复杂度和优化效果。此外,在实际应用时也可以考虑引入并发或其他高级特性以提升性能。
培训课件 -安全隐患分类与排查治理.pptx
中国各地级市的海拔标准差数据集提供了298个地级市的海拔变异性信息。海拔标准差是衡量某地区海拔高度分布离散程度的统计指标,它通过计算各测量点海拔与平均海拔之间的差异来得出。这一数据对于评估地形起伏对网络基础设施建设的影响尤为重要,因为地形的起伏度不仅会增加建设成本,还会影响信号质量。此外,由于地形起伏度是自然地理变量,它与经济社会因素关联性较小,因此被用作“宽带中国”试点政策的工具变量,以研究网络基础设施建设对经济的影响。数据集中包含了行政区划代码、地区、所属省份、所属地域、长江经济带、经度、纬度以及海拔标准差等关键指标。这些数据来源于地理空间数据云,并以Excel和dta格式提供,方便研究者进行进一步的分析和研究。
YOLO算法的原理与实现
视网膜病变是糖尿病和高血压的主要微血管并发症。如果不及时治疗,可能会导致失明。据估计,印度三分之一的成年人患有糖尿病或高血压,他们未来患视网膜病变的风险很高。我们研究的目的是检查糖化血红蛋白 (HbA1c)、血压 (BP) 读数和脂质水平与视网膜病变的相关性。我们的主要假设是,血糖控制不佳(表现为高 HbA1c 水平、高血压和异常脂质水平)会导致视网膜病变风险增加。我们使用眼底照相机筛查了 119 名印度患者的视网膜病变,并获取了他们最近的血压、HbA1c 和血脂谱值。然后,我们应用 XGBoost 机器学习算法根据他们的实验室值预测是否存在视网膜病变。我们能够根据这些关键生物标志物高精度地预测视网膜病变。此外,使用 Shapely Additive Explanations (SHAP),我们确定了对模型最重要的两个特征,即年龄和 HbA1c。这表明血糖控制不佳的老年患者更有可能出现视网膜病变。因此,这些高风险人群可以成为早期筛查和干预计划的目标,以防止视网膜病变发展为失明。
在强化学习(RL)领域,如何稳定地优化策略是一个核心挑战。2015 年,由 John Schulman 等人提出的信赖域策略优化(Trust Region Policy Optimization, TRPO)算法为这一问题提供了优雅的解决方案。TRPO 通过限制策略更新的幅度,避免了策略更新过大导致的不稳定问题,是强化学习中经典的策略优化方法之一。
1、资源项目源码均已通过严格测试验证,保证能够正常运行; 2、项目问题、技术讨论,可以给博主私信或留言,博主看到后会第一时间与您进行沟通; 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用,尤其对于人工智能、计算机科学与技术等相关专业,更为适合; 4、下载使用后,可先查看README.md文件(如有),本项目仅用作交流学习参考,请切勿用于商业用途。
这组数据涵盖了1999至2020年间中国各地区普通小学毕业生的数量。它为我们提供了一个深入了解中国教育领域中普通小学阶段教育水平和教育资源分配情况的窗口。通过分析这些数据,可以为制定科学合理的教育政策提供依据,同时,通过比较不同城市的普通小学毕业生数,也能为城市规划和劳动力市场调查提供参考。数据来源于中国区域统计年鉴和中国各省市统计年鉴,包含了8472个样本,以面板数据的形式呈现。这些数据对于掌握中国教育态势具有重要的参考价值。
原生js制作拖拽排列排序代码.zip
PixPin截图工具,非常好用的一款截图工具