`
lidwup
  • 浏览: 2048 次
  • 来自: ...
文章分类
社区版块
存档分类
最新评论

批量导入数据库的最佳(性能)方案寻求

阅读更多
   现在有个需求需要用java程序从一个文本文件批量的将数据导入数据库,数据几十万

条,用普通的循环可以实现,但性能太差,希望能有好的处理方案。谢谢回帖!(不用任何框架)补充一点,数据库用的是Sqlserver。
分享到:
评论
7 楼 lidwup 2007-09-29  
ray_linn 写道
还需要hibernate?hibernate怎么可能适合做这工作。直接用SQL server的导入工具。


不用hibernate,可能是我发的板块不对。

现在初步的方法是用java调用sqlserver的DTS,那位能指点一下实现的方法。多谢
6 楼 ray_linn 2007-09-29  
还需要hibernate?hibernate怎么可能适合做这工作。直接用SQL server的导入工具。
5 楼 pikachu 2007-09-29  
lidwup 写道

   现在有个需求需要从一个文本文件批量的将数据导入数据库,数据几十万条,用普通的循环可以实现,

但性能太差,希望能有好的处理方案。谢谢回帖!(不用任何框架)


补充一点,数据库用的是Sqlserver。


sql server不是有dts么?
4 楼 kuuuu 2007-09-29  
JDBC 批处理
3 楼 hustlong 2007-09-28  
把文件读为流再写入可以么?
2 楼 okone96 2007-09-28  
如果是mysql的话,可以用load data来导入
可以提高比statment效率20倍哦
http://tech.ccidnet.com/art/1108/20070209/1021177_1.html
1 楼 rtdb 2007-09-28  
使用数据库自带的导入功能

相关推荐

    excel批量导入数据库

    本篇文章将详细讲解如何实现“Excel批量导入数据库”,以及利用小工具提高效率。 一、Excel与数据库的交互原理 Excel数据批量导入数据库的过程涉及数据的读取、转换和存储。首先,Excel文件(通常是.XLSX或.XLS格式...

    图片批量导入oracle数据库

    本话题聚焦于如何批量导入图片到Oracle数据库,这是一种常见的需求,特别是在处理大量图像数据的项目中。Oracle数据库作为一款强大的关系型数据库管理系统,支持多种类型的数据存储,包括BLOB(Binary Large Object...

    一个批量导入数据库的工具

    首先,批量导入数据库工具是一种专门设计用于快速、高效地将大量数据一次性输入到数据库中的软件工具。它通常具有用户友好的界面,支持CSV、Excel等常见格式的数据文件,使得用户无需编写复杂的SQL语句就能完成数据...

    用EXCEL批量导入数据库.rar

    在IT行业中,Excel经常被用来处理和存储大量数据,但有时我们需要将这些数据与数据库进行交互,例如批量导入到数据库中。"用EXCEL批量导入数据库"这个主题涉及到的是一系列实用的技术,可以帮助用户提高工作效率,...

    数据批量导入数据库

    2. **性能优化**:根据实际情况调整`BatchSize`参数,找到最佳的批量大小,以提高导入速度。 3. **事务管理**:对于需要保持事务完整性的操作,可以在导入过程中使用事务管理,确保数据的一致性。 #### 五、总结 ...

    Excel读取和大数据批量导入数据库ASPNET源码

    本程序比较简单,就实现了excel的读取、存入数据库,其实写入数据库用的SqlBulkCopy大数据批量导入 二、菜单功能 页面就实现了两个功能 1、不需要使用数据,直接读取excel并显示出来; 2、读取excel并写入数据库...

    Visual C++源代码 132 如何批量导入导出数据库记录信息

    Visual C++源代码 132 如何批量导入导出数据库记录信息Visual C++源代码 132 如何批量导入导出数据库记录信息Visual C++源代码 132 如何批量导入导出数据库记录信息Visual C++源代码 132 如何批量导入导出数据库记录...

    将省市数据批量导入数据库

    6. 性能优化:如果数据量巨大,可能需要考虑分批导入、并行处理或者使用数据库的批量插入功能以提高效率。 7. 数据验证:导入后,通过查询和分析数据库中的数据,确保所有数据都已正确导入且无丢失。 8. 自动化:...

    批量导入数据库中数据

    总的来说,批量导入数据库数据是一个涉及多个步骤的过程,包括数据准备、格式匹配、错误处理和性能优化等。理解并熟练运用这些知识点,可以有效地提升数据处理效率,让大数据量的导入变得简单且可靠。

    微信小程序云开发 Excel批量导入数据库

    本项目聚焦于通过云函数实现Excel文件的批量导入到数据库的功能,利用了开源模块`node-xlsx`。 `node-xlsx`是一个Node.js环境下的库,专门用于处理Excel文件。它能够读取Excel文件,并将其解析为JSON格式的数据,...

    Excel批量导入数据库

    在IT领域,Excel批量导入数据库是一项常见的任务,尤其在数据处理和分析中。这个名为"Excel批量导入数据库"的示例(ExcelDemo)提供了一种自动化的方法,将Excel文件中的数据高效地导入到数据库中。这通常涉及到使用...

    [Delphi]图片批量导入数据库

    8. **性能优化**:批量导入时,应考虑性能优化,比如使用批处理操作,一次性插入多条记录,而非一条一条插入,以减少数据库访问次数。 9. **错误处理**:在实际应用中,需要处理可能遇到的各种错误,如文件不存在、...

    Asp.net Excel批量导入数据到SqlServer数据库

    Asp.net Excel批量导入数据到SqlServer数据库 本文将详细介绍如何使用 Asp.net 实现从 Excel 文件批量导入数据到 SqlServer 数据库中。该操作可以大大提高数据导入效率,缩短数据处理时间。 标题解释 Asp.net ...

    Excel批量导入数据库.doc

    Excel批量导入数据库

    Java实现从excel中批量导入数据到数据库

    Java实现从excel中批量高效导入数据到数据库中,包括图片的导入存储,读取图片显示在jsp页面等,需要下载JspSmartUpload.jar和jxl.jar两个jar包,将两个包导入项目才能运行

    Excel导入数据库Excel快速批量导入数据库

    Excel导入数据,使用Interop.Excel.dll类库批量导入数据到数据库。服务器:输入服务器IP或者本地电脑全称,数据库:要导入数据表的库名,账号:数据库账号,密码:数据密码,点击页面保存配置可将页面配置保存以方便...

    Excel快速批量导入数据库源代码

    这个“Excel快速批量导入数据库源代码”项目是针对这一需求的一个解决方案,它利用了.NET Framework 4.7.2框架以及Interop.Excel.dll库来实现。 首先,我们要理解.NET Framework 4.7.2是什么。.NET Framework是由...

    如何通过txt文件批量导入数据到oracle数据库

    因此,我们需要掌握如何通过TXT文件批量导入数据到Oracle数据库的方法。下面,我们将详细介绍这一过程。 首先,我们需要了解TXT文件的数据格式。通常,TXT文件中的数据是以特定分隔符(如逗号、制表符等)区分各个...

    读取Excel中数据批量导入数据库

    这时,我们通常会编写程序来自动化这个过程,将Excel中的数据批量导入数据库。本示例的标题“读取Excel中数据批量导入数据库”正体现了这一需求。 首先,我们需要了解NPOI库。NPOI是一个开源的.NET库,它提供了读写...

Global site tag (gtag.js) - Google Analytics