`
xi5566
  • 浏览: 151750 次
  • 性别: Icon_minigender_1
  • 来自: 武汉
社区版块
存档分类
最新评论

java mysql批量导入优化

阅读更多
	Connection conn=dao.getConn();
			Date d=new Date();
			System.out.println(d);
			StringBuffer sql=new StringBuffer();
			sql.append("insert into a values ");
			for(int i=0;i<1000000;i++){
				sql.append("("+i+"),");
			}
			String sql1=sql.substring(0,sql.length()-1);
			Date d2=new Date();
			System.out.println(d2);
			Statement stmt=conn.createStatement();
			stmt.execute(sql1);
			Date d1=new Date();
			System.out.println(d1);

在10W条数据的情况下 

用StringBuffer是String 的N倍

一次性全插是1条1条的差的 20倍

PS:如果字符长度太长 (本人测试100W条的时候)

 MYSQL会暴错 com.mysql.jdbc.PacketTooBigException: Packet for query is too large (8888915 > 1048576). You can change this value on the server by setting the max_allowed_packet' variable

 

 

分享到:
评论
1 楼 J-catTeam 2009-10-07  
你这个方法性能很好~!在某一方面

相关推荐

    照片批量导入导出

    在IT行业中,照片批量导入导出是一项常见的任务,特别是在数据管理、媒体库建设或网站维护等领域。本场景涉及的关键技术主要是数据库操作、图像处理以及批处理能力。以下将详细阐述这些知识点: 1. **Oracle数据库*...

    java实现批量导入.csv文件到mysql数据库

    java实现批量导入.csv文件到mysql数据库 概述 本文主要介绍了使用Java实现批量导入.csv文件到MySQL数据库的方法。该方法可以快速地将.csv文件中的数据批量导入到数据库中,具有很高的实用价值。 Java实现批量导入...

    利用poi把excel数据批量导入mysql

    在IT行业中,将Excel数据批量导入MySQL数据库是一项常见的任务,特别是在数据分析、报表生成或系统迁移等场景下。本文将详细讲解如何使用Apache POI库处理Excel文件,并通过Java的JDBC接口将数据批量插入到MySQL...

    Java实现mysql导入导出Excel

    在Java编程环境中,将MySQL数据库的数据导入到Excel或者将Excel数据导出到MySQL是一项常见的任务。这涉及到对Java处理文件、数据库操作以及处理Excel数据的能力。以下是对这个主题的详细阐述: 1. **Java处理Excel*...

    mysql中将一个表数据批量导入另一表.rar

    在MySQL数据库管理中,批量导入数据是常见的操作,特别是在处理大量数据时,高效的数据迁移和复制至关重要。本教程主要关注如何在MySQL中将一个表的数据批量导入到另一个表。这通常用于数据备份、数据同步或者在不同...

    neo4j批量数据导入

    6. **性能优化**:批量导入时,可以考虑调整Neo4j的配置参数,如增大堆内存(`-Xmx`)、开启持久化缓存(`dbms.memory.pagecache.size`)等,以提升导入速度。 7. **数据验证**:在导入后,可能需要进行数据一致性...

    java实现excel到mysql数据的导入实例

    在Java编程环境中,将Excel数据导入到MySQL数据库是一项常见的任务,尤其在数据处理、数据分析或者系统集成时。本文将详细讲解如何使用Java实现这一过程,包括读取Excel文件、建立对应的MySQL表结构以及数据的迁移。...

    JAVA GUI NetBeans工程 图片批量导入程序

    综上所述,【JAVA GUI NetBeans工程 图片批量导入程序】是一个结合了Java GUI技术、文件系统操作、数据库管理和图片处理的综合应用,旨在优化大量图片的管理和导入流程,尤其适用于有组织结构的人员信息管理场景。

    excel批量导入数据库

    3. **批量导入原理**:批量导入通常通过SQL语句(如`LOAD DATA INFILE`在MySQL中,或`BULK INSERT`在SQL Server中)或者编程语言接口(如Java的JDBC,Python的pandas库等)实现。这些方法可以一次性处理大量记录,比...

    java使用javacsv读取csv文件 导入Mysql数据库

    在Java编程中,将CSV(逗号分隔值)文件的数据导入到MySQL数据库是一项常见的任务。这个过程涉及几个关键步骤,包括读取CSV文件、解析数据、建立与数据库的连接以及执行SQL插入语句。本篇文章将详细讲解如何使用java...

    Java解析excel导入MySQL数据库

    - 性能优化:如果数据量大,可以考虑批量插入,以减少与数据库的交互次数,提高性能。 - 并发处理:在多线程环境中,可能需要对数据库连接进行管理,例如使用连接池。 - 安全性:确保不直接在SQL语句中拼接用户输入...

    java 下执行mysql 批量插入的几种方法及用时

    在Java中,执行MySQL批量插入数据有多种方法,每种方法在性能上都有所不同。以下是对这些方法的详细分析: 方法1:单条插入 这是最基础的插入方式,每次循环都创建一个新的SQL语句并执行。这种方法的效率最低,因为...

    java实现excel导入数据库

    在Java编程中,将Excel数据导入到MySQL数据库是一项常见的任务,尤其在数据处理和分析的场景下。要完成这个过程,我们需要使用特定的库来读取Excel文件,并使用JDBC(Java Database Connectivity)来与MySQL数据库...

    导入Excel到MySQL通用工具(Java)源码

    这里我们关注的是一个特定的Java项目——"导入Excel到MySQL通用工具",它提供了一种方法来将Excel文件(仅支持.xls格式)的数据批量导入到MySQL数据库中。这个工具对于那些需要频繁处理Excel数据并将其存储到数据库...

    idea Java 解析json文件并导入mysql数据库

    本教程将详细讲解如何在Idea中使用Java解析JSON文件,并将数据有效地导入到MySQL数据库。 首先,我们需要理解JSON(JavaScript Object Notation)是一种轻量级的数据交换格式,易于人阅读和编写,同时也易于机器...

    一个工具类搞定批量插入增加数据到Mysql数据库

    只要学我一样编写这么一个工具类便可以实现批量插入多条数据,百条,千条,万条,后期还会继续优化增加数据时的速度!有点代码基础的保证能看懂,此项目已经有了前端界面你可以直接的导入然后运行测试既可以了,表...

    java自动导入导出

    - SQL语句如`SELECT INTO OUTFILE`和`LOAD DATA INFILE`可用于MySQL等数据库的批量导入导出,但在Java程序中通常通过JDBC执行这些SQL来实现自动化。 3. **Linux环境下的Java程序**: - Java程序是跨平台的,因此...

    javatools数据导入导出工具

    4. **批处理操作**:为了提高效率,JavaTools很可能提供了批量处理功能,用户可以一次性导入或导出大量数据,减少了手动操作的繁琐。 5. **界面交互**:考虑到用户友好性,v1.0.5版本的界面设计应当有所改进,提供...

    批量导入数据库中数据

    在SQL中,我们可以通过`LOAD DATA INFILE`(MySQL)、`BULK INSERT`(SQL Server)或`COPY`(PostgreSQL)等命令进行批量导入。例如,`SQLQuery1.sql`可能包含了这样的命令,用于将CSV或文本文件中的数据一次性导入...

Global site tag (gtag.js) - Google Analytics