`
ruilin215
  • 浏览: 1148163 次
  • 性别: Icon_minigender_2
  • 来自: 成都
文章分类
社区版块
存档分类
最新评论

ACCESS大批量数据写入之性能提升方案

阅读更多

ACCESS数据库中批量写入大数据量时,最让人头疼的就是效率问题了。我一直也被这个问题困扰着。最近突然想起一个方案。利用ACCESS自身的导入功能,实现大数据的迅速导入功能。

整体方案是这样的:数据—>文本文件—>MDB

适用范围:大批量数据转换

下面是实现方案,请注意后面的注释。

第一、将数据写入到文本文件中。每一行一条记录,第一行是标题行。这里注意文本文件的格式:列之间使用逗号分开,数据符合CommaText特性。

第二、在ACCESS中使用SQL导入。语法如:

select*intotableName1from[Text;DATABASE=path].[filename.txt]

path是文件所在目录。中括号是语法中必须出现的字符。并且要注意,如果你在ACCESS里执行,可能受到安全限制,请启动VBA宏。 有关文本文件的导入SQL,请参考ACCESS的帮助。

经过实验,导入30万行数据,只需要10秒左右。当然了,具体效率还是和具体应用有关的。希望这个方案能给你的项目带来些许帮助。

分享到:
评论

相关推荐

    C#大数据批量插入Access程序

    Access数据库虽然在处理大规模数据时可能不如SQL Server等大型数据库系统强大,但在某些场景下,如小型项目或临时存储,它的轻量级和易用性仍然极具吸引力。C#与Access结合,通过ADO.NET库可以实现快速的数据操作。 ...

    C#Excel大量数据快速导入数据库

    6. **性能优化**:可以考虑异步处理,多线程读取Excel和插入数据库,或者利用任务并行库TPL来提升性能。同时,监控内存使用和数据库连接池,确保系统资源的有效利用。 通过以上步骤,我们可以使用C#高效地处理Excel...

    显示Access数据库里的图片,并将其他图片存入数据库

    Access数据库是一种常用的轻量级数据库管理系统,用于存储和管理各种数据,包括文本、数字、日期以及图像等。在这个场景中,我们关注的是如何在Access中处理图像数据,具体包括两个核心知识点:显示Access数据库中的...

    plsql批量导入数据

    批量插入可以使用INSERT ALL语句,一次写入多行数据,如: ```sql INSERT ALL INTO table1 VALUES (value1, value2) INTO table2 VALUES (value3, value4) SELECT * FROM dual; ``` 三、BULK COLLECT 和 FORALL ...

    SQLserver远程或本地连接ACCESS教程.pdf

    最后,还有一项操作是使用BCP(Bulk Copy Program)工具,它可以直接从命令行执行数据的导入导出,这个方法对于数据库管理员来说非常实用,尤其是需要进行大批量数据迁移时。例如: ```sql bcp "serv-htjs.dbo.serv...

    关于zynq的PL-PS数据交换1

    无论是通过AXI DMA的大批量传输,还是通过BRAM的灵活交互,都是为了优化系统性能,满足不同场景下的数据传输需求。在设计过程中,需要根据具体的应用需求和性能指标,选择最适合的数据交换策略。

    数据仓库TERADATA加载工具FASTLOAD

    1. **数据装载**:在这个阶段,Fastload接收来自数据源文件的大批量数据,并根据Teradata特有的HASH算法将这些数据分配到不同的AMP(Access Method Processor)中。每个AMP负责处理分配给它的数据,将其写入未排序的...

    DMA_test_DMA数据传输.rar

    2. **块传输**:一次性传输多个字节,通常是一次性传输一个缓冲区的数据,适合高速、大批量的数据传输。 3. **环形缓冲区传输**:在连续的内存区域中形成一个循环,数据在其中连续流动,常用于实时音频或视频处理。...

    一种基于SoPC的FPGA在线测试方法.pdf

    可编程片上系统)的集成应用,特别关注如何利用Nios II处理器、DMA(Direct Memory Access,直接内存存取)和FIFO(First-In-First-Out,先进先出队列)等技术实现FPGA的大批量测试数据自动传输。接下来将详细阐述...

    B 第四章 DMA技术1

    DMA技术广泛应用于需要高速大批量数据传送的系统中,如磁盘存取、图象处理、高速数据采集系统、同步通信中的收/发信号、快速通信通道I/O、多处理机和多程序数据块传送、DRAM的刷新操作等。 DMA传送的特点: 1. DMA...

    c#几种数据库的大数据批量插入(SqlServer、Oracle、SQLite和MySql)

    在进行大数据批量插入时,除了关注性能之外,还需要注意事务管理,确保数据的一致性和完整性。如果在批量插入过程中发生错误,可能需要回滚整个事务,或者在出现部分失败时进行补偿操作。同时,根据数据库系统的特性...

    2021-2022计算机二级等级考试试题及答案No.5291.docx

    16. 报表输出在输出格式和处理大量数据方面通常具有优势,可以自定义布局,适合大批量数据的展示。 17. 关联后的Access数据表有父表和子表的概念,特别是在一对多关系中。当打开一端的数据表时,可以通过导航按钮...

    J2EE框架资料

    6. **批处理支持**:Spring Batch提供了用于执行大批量处理任务的框架,包括读取、处理和写入数据,以及错误处理和重试机制。 7. **消息支持**:Spring Integration为异步处理和企业服务总线(Enterprise Service ...

    硬件工程师面试题库

    ASIC则是为特定应用设计的集成电路,通常用于大批量生产。OTP(One Time Programmable)和MTP(Multiple Time Programmable)是编程存储器的技术,分别表示一次性和多次性编程。MCU(Microcontroller Unit)是微控制...

    基于ARM系统硬盘接口的使用和文件管理系统

    本文主要探讨了一种基于ARM系统的硬盘接口设计和FAT32文件系统的应用,旨在解决大批量数据存储的问题。ARM(Advanced RISC Machines)是一种广泛应用的32位处理器,以其低功耗和高性能的特点在嵌入式领域得到广泛...

Global site tag (gtag.js) - Google Analytics