`
pouyang
  • 浏览: 322723 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

数据库 Batch批处理

阅读更多
Experience Batch批处理
之前发表过一篇文章,以为完全可以解决问题了
突然当数据量达到非常大,上百上千万的时候,问题出现了
批处理写法

1 一次插入2000条数据

a 启动事务
b 启动批处理
c 提交批处理
d 关闭事务


2 一次插入20000条数据

上面处理方式会报异常
a 启动事务
b 启动批处理
c 提交批处理 这个地方报异常(数据库)
d 关闭事务
解决方法1:

a 启动事务
b1 启动批处理(限制不报异常的数量)
c1 提交批处理
b2 启动批处理
c2 提交批处理
 .
 .
d  关闭事务


解决方法2:

a 限制批处理的数量
b 启动事务
c 启动批处理
d 提交批处理
e 提交事务


“批量插入减少了获取数据库连接池的次数”这么说是误导别人的。性能的提高不是这个原因
size 是 500 的话:
1,减少了499次网络交互的过程
2。数据库从500个事务, 变成了1个事务
选择500也是一个非常合适的数据, 当然具体最多多少条数据提高最好的性能是要通过测试才能确定。 如果一次批量操作太多也是有问题的。 比如, 数据表部分缩太长时间,或者一次产生过大的redo log. 可以继续深究一下哦。

分享到:
评论

相关推荐

    Spring Batch批处理框架

    Spring Batch支持多种数据源和持久化方式,包括关系型数据库和JDBC。它使用JobRepository来存储作业的元数据,包括作业执行的记录和统计信息。JobRepository是作业持久化的核心,提供了多种操作和查询方法来管理作业...

    mysql-oracle数据库备份批处理

    本文将详细探讨“mysql-oracle数据库备份批处理”这一主题,旨在帮助你理解和实施这两种主流数据库的备份策略。 首先,我们来看MySQL数据库的备份。MySQL提供了多种备份方法,包括使用命令行工具mysqldump、使用...

    SpringBatch批处理 刘相编

    基本篇重点讲述了数据批处理的核心概念、典型的作业配置、作业步配置,以及Spring Batch框架中经典的三步走策略:数据读、数据处理和数据写,详尽地介绍了如何对CVS格式文件、JSON格式文件、XML文件、数据库和JMS...

    Oracle数据库备份批处理手册

    本手册将介绍如何在Windows XP环境下,利用Oracle的批处理功能和任务计划,为Oracle 10g数据库实现自动备份。 首先,我们需要创建一个批处理文件(如ytcn.bat),这是整个自动化流程的核心。在批处理文件中,我们...

    Batch批处理框架.zip

    这个压缩包"Batch批处理框架.zip"包含了深入学习Spring Batch的相关资源,适合初学者到高级开发者,旨在帮助你成为批处理领域的专家。 Spring Batch 提供了一套标准的API和实现,用于处理批量数据处理任务,包括...

    spring batch批处理 教程

    - 批量操作数据库:利用JDBC批处理功能优化数据库操作性能。 - Job多个Step的执行:Job可以包含多个Step,根据需要组合执行。 - 条件流程和流程决策:使用Flow和Decision元素创建条件分支和流程控制。 - 并发处理:...

    批处理对数据库的应用

    在计算机科学领域,批处理(Batch Processing)是指将一系列计算机操作或指令作为一个独立的工作单元进行处理的技术。这种技术通常用于无需用户干预的情况下自动执行任务,特别是在处理大量数据时非常有效。批处理...

    Spring Boot整合Spring Batch,实现批处理

    2. **配置数据库**:Spring Batch需要一个数据库来存储批处理作业的元数据,如作业状态、步骤状态等。通常我们会使用MySQL这样的关系型数据库,需要在`application.properties`或`application.yml`中配置数据库连接...

    springbatch 详解PDF附加 全书源码 压缩包

    通过阅读《Spring.Batch批处理框架.pdf》和源码,你将能够掌握 Spring Batch 的核心概念和实践技巧,为你的企业级应用开发带来高效、可靠的批量处理能力。同时,源码可以直接运行,提供了动手实践的机会,加深理解和...

    Spring家族的新成员Spring Batch批处理作业中间件.zip_中间件举例

    作为一个基于Spring的批处理框架,Spring Batch充分利用了Spring的IoC(Inversion of Control)和AOP(Aspect-Oriented Programming)特性,为开发者提供了强大的批处理功能。 Spring Batch的核心概念主要包括以下...

    简单的每日SQL Server数据库备份批处理文件

    标题中的“简单的每日SQL Server数据库备份批处理文件”是指一种自动化的方法,用于定期备份SQL Server数据库,以确保数据安全。这种批处理文件通常是一个包含T-SQL语句和操作系统命令的脚本,可以在Windows任务计划...

    备份mssql数据库的批处理

    - **创建批处理文件**:如果上述方法不可行,则可以通过创建批处理文件的方式来实现数据库备份。 ### 知识点二:使用批处理文件进行数据库备份 #### 2.1 批处理文件简介 批处理文件是一种简单实用的脚本文件,通常...

    SpringBatch数据库建表语句.txt

    SpringBatch数据库建表语句,存储springBatch批处理过程中需要保存的数据和步骤信息

    数据库的开启服务批处理文件

    首先,让我们了解批处理文件(Batch File)。在Windows操作系统中,批处理文件是一种文本文件,扩展名为.bat或.cmd,用于自动化执行一系列命令。通过编写批处理脚本,用户可以简化重复性的任务,例如启动、停止服务...

    Spring Batch批处理框架使用解析

    Spring Batch批处理框架使用解析 Spring Batch是一个开源的批处理框架,主要用于处理大量数据的批处理任务。其主要思想是将复杂的批处理任务分解成多个小的任务,通过将任务分配给多个步骤来实现批处理。Spring ...

    oracle数据库备份还原BAT脚本

    Oracle数据库是企业级广泛使用的数据库管理系统,为了确保数据的安全性和可恢复性,定期备份是非常重要的。在Windows环境中,我们可以利用批处理(BAT)文件来自动化这个过程,这大大提高了工作效率。"Oracle数据库...

    一键备份MySQL数据库的批处理

    ### 一键备份MySQL数据库的批处理脚本解析 在日常的数据库管理工作中,定期备份数据库是非常重要的一个环节,它能够确保数据的安全性与完整性,在数据丢失或系统故障时能够快速恢复业务。对于MySQL数据库而言,利用...

    spring Batch实现数据库大数据量读写

    Spring Batch 是一个强大的、可扩展的Java框架,专门用于处理批量数据处理任务,包括大量数据库数据的读取、处理和写入。它被设计为在企业级应用中处理大规模、高吞吐量的工作负载。本篇文章将深入探讨如何利用...

Global site tag (gtag.js) - Google Analytics