0 0

万次对数据库查询操作 效率非常慢,如何解决15

万次对数据库查询操作 效率非常慢,如何解决?

现在是这样的

我需要批量导入 用户:(导入内容为:用户编号)

导入的同时,对用户进行业务校验,通过校验的就可以入库。

每一次校验都得到数据库里取相关信息,用户有3万条,这样执行速度非常慢?

大侠 帮出出主意
问题补充:
关键是 3万条记录 进行3万次校验 要做3万次数据库查询,
用户编号是加密的,是唯一的,也是是查询必要条件,每一用户查询出来的记录是一条
慢就慢在 查询数据库
2008年7月04日 17:03

4个答案 按时间排序 按投票排序

0 0

采纳的答案

用线程池,大概10条线程左右,把3万条作业分给10个线程。估计速度大概提高3倍左右。当然,线程不是越多越好,视CPU的个数和处理能力而定,通常多CPU的系统用线程的效率还是非常明显的。

可以用spring和hibernate快速搭建这样一个基于线程的导入平台。假如你的数据库访问本来就是Hibernate的话。就更简便了。起一个新项目,把原来平台的Hibernate的mapping和持久化类直接拷贝过来就可以直接用。其实就是搭建一个快速的只有数据库访问的小系统。用单个类启动spring就可以用,而且这个小系统可以重复使用,只需要修改一下配置,用工具从数据库生成一下Hibernate的mapping就可以了。

2008年7月05日 21:06
0 0

首先,LZ没有说明你的业务校验复杂度.
如果仅仅是对单个表的数据进行校验的话.
几万条数据直接放到内存里,也就是
select 校验字段 from youtable
得到的就是一个数组了,然后和要进行插入的数据进行对比就行了.

2008年7月04日 19:26
0 0

看你的描述,你肯定是在手上已经拿到了1W条要导入的数据.

建议: 1百为单位进行循环, 在循环里面对100条进行校验, 校验完毕再一次性100条批量插入. 再循环.

2008年7月04日 19:08
0 0

每一次校验都得到数据库里取相关信息

如果这个信息不变,可以放到内存中。

2008年7月04日 18:34

相关推荐

    自己开发的“万能数据库查询分析器”终于有了较大的成果

    "万能数据库查询分析器"是一款由个人开发者历时四年精心打造的高效数据库管理工具,它融合了哈希技术和链表等多种数据结构,采用先进的系统开发技术,拥有超过五万行的代码,具备强大的功能和易用的操作界面。...

    高并发场景下的缓存+数据库双写不一致问题分析与解决方案设计.docx

    只有在对一个数据在并发的进行读写的时候,才可能会出现这种问题其实如果说你的并发量很低的话,特别是读并发很低,每天访问量就 1 万次,那么很少的情况下,会出现刚才描述的那种不一致的场景。 解决高并发场景下...

    每种每秒可访问数百万次key数据库

    文档中还提到了一个特定的NoSQL数据库freeMDB,它展现出了非常高的读写性能,比如在单机环境下能支持数百万次写入、更新、删除和查询操作,并且在分布式环境下,性能可以达到每秒千万次甚至更多。测试结果表明...

    一万次计划等

    这个计划可能涵盖了多种编程语言和技术领域,旨在通过大量的实践来增强对编程语言特性的掌握以及解决实际问题的能力。 【描述】:虽然提供的描述是“NULL”,但根据“一万次计划”的概念,我们可以推测这是一个关于...

    timesten内存数据库

    2. **内存数据库缓存**:在信用卡消费监视系统中,timesten展示了其处理大规模实时数据的能力,实现了每秒十万次的查询和一万次的更新/插入,响应时间小于1毫秒,且具备良好的可扩展性,为大数据量处理提供了有力...

    行业资料-建筑装置-带万次印章书写笔.zip

    在建筑行业中,万次印章书写笔是一种非常实用的工具,尤其在图纸标注、文档签署等环节发挥着重要作用。这种特殊的书写工具结合了印章与笔的功能,使得建筑师和工程师们能够高效地完成工作流程,减少重复劳动,提高...

    实时历史数据库——Hyper Historian简介.pdf

    Hyper Historian的实时操作性能体现在其强大的数据处理能力,每秒钟可以处理超过十万次的数据点。此外,它内置了多层冗余架构,旨在简化实施和部署过程,同时降低实施成本和加快部署时间。Hyper Historian还提供了...

    OracleTimesTen深入内存数据库解析.ppt

    例如,在2800万分之一秒内,TimesTen可以完成一次查询操作,而在处理事务时,每秒可以执行数万次交易,即使在复杂的更新和插入操作中也能保持高效。 TimesTen采用标准的关系型数据模型,同时针对内存环境进行了特殊...

    国产数据库调研对比情况

    * 自动水平拆分:TDSQL 支持对数据库中大表自动水平拆分(分表),系统将基于 Hash 方案自动将写入数据均匀的分布到不同物理分片中。 * 高度兼容 MySQL 语法:TDSQL MySQL 版兼容大多数常用的 MySQL 语法。 * 领先的...

    QQ 数据库框架介绍

    - **规模**:QQBasicDB支持着数百亿的关系链和数十亿的账户数,每秒处理上百万次读操作和数万次写操作,展现了其巨大的处理能力和规模。 - **服务可用性**:全年可用性高达99.99%,这意味着每年的服务中断时间极短,...

    单一来源采购(CNKI数据库使.pdf

    2. **广泛需求**:数据库在科研和学习中使用频繁,每年访问量超过万次,且重庆市内的许多科研机构、企业、医院都有类似需求。 3. **数据库优势**:数据库内容更新及时,数据量庞大,有助于提升学院的信息服务质量和...

    惊现支撑1亿pv/天的超级数据库解决方案

    这里的高效可能指的是系统能快速响应数据库查询和更新请求,这通常是通过缓存机制来实现的。 2. 支撑1亿pv/天的性能: pv(Page View)指网页被浏览的次数。1亿pv/天相当于每天有一亿次的页面请求。这样的高并发...

    智慧图书馆信息化解决方案共20页.pptx

    5. 操作方便:图书标签具有十万次的重复擦写功能,提高图书馆的工作效率,节约成本。借阅人借还图书成功后,将产生该次操作的记录,由内置的票据打印机输出。 三、解决方案硬件介绍 该解决方案的硬件包括: 1. ...

    The ninth skills of SQL design by DB Query Analyzer

    总的来说,DB查询分析器3.02是一个强大且灵活的SQL设计工具,它能够帮助用户高效地编写、调试和管理SQL语句,适应多种数据库系统,同时解决了特殊字符处理等问题,极大地提升了SQL编程的效率和便利性。无论是初学者...

    行业文档-设计装置-携折叠式万次印章书写笔.zip

    其结合了印章和书写功能,采用先进的万次印章技术和折叠设计,既满足了日常书写需求,又简化了印章操作,提升了工作效率。未来,随着科技的进步,我们期待这类产品能有更多智能化和个性化的升级,为人们的日常生活...

    spring-boot-redis-cache-01.rar

    redis集成 mybatis缓存实现和redis session共享问题,详细代码。 结合项目中优点: ...(3) 因为是纯内存操作,Redis 的性能非常出色,每秒可以处理超过 10 万次读写操作,是已知性能最快的 Key-Value 数据库。

    行业文档-设计装置-万次书写练习册.zip

    通过万次书写练习,设计师可以磨炼自己的线条控制力、比例感和空间构图能力,提高设计效率和作品质量。 二、基础训练 该练习册涵盖了基本线条、形状、阴影和透视的练习,这些都是设计装置时不可或缺的基础元素。...

    OCLC FirstSearch 数据库检索与利用.ppt

    **OCLC FirstSearch数据库检索与利用** OCLC FirstSearch是OCLC(Online Computer Library Center)组织提供的一种联机检索服务系统,它始于1991年,旨在为全球图书馆和科研机构提供便捷的在线信息检索。OCLC是一家...

    行业文档-设计装置-万次免换芯多色圆珠笔.zip

    标题中的“行业文档-设计装置-万次免换芯多色圆珠笔”指的是一个针对特定行业的技术设计文档,着重介绍了一种创新的万次免换芯多色圆珠笔。这种圆珠笔的设计旨在提供一种高效、耐用且便利的书写工具,其核心特点是...

    金融级分布式数据库服务.pptx

    同时,通过自动构建事务回滚机制,可以对数据库日志进行分析,自动生成补偿操作,保证数据的正确性。 其次,业务连续性是金融系统稳定运行的关键。金融行业要求在灾难情况下能够快速恢复服务,不丢失数据。这需要...

Global site tag (gtag.js) - Google Analytics