`

千万条数据外网导入数据库的解决方案。

阅读更多
从某网上爬了数千万的数据,存在文本中。
然后要导入mysql数据库。

悲剧的是数据库和我存数据的服务器不在一个内网里面。。


ping了一下, 19ms的延迟。

于是下面的代码是没用的。
ps = con.prepareStatement(sql);
	ps.setString(1, info.getYear())............;
			ps.execute();


这种一条条插入的。 平均一条起码要20ms。
没一周这数据插不完。



后来领导告诉我navicat支持批量插入。
于是乎,花了很大功夫,把数据转了一下,弄成navicat的形式。(我是不会设置navicat来适应我的文本).

结果更慢了我擦,从之前的一秒50个,掉到了1秒30个。



==================最终解决方案==================

http://stackoverflow.com/questions/5526917/how-to-do-a-batch-insert-in-mysql


果然还是google最能解决问题。。

INSERT INTO tbl_name (a,b,c) VALUES(1,2,3),(4,5,6),(7,8,9);


这里将数据放在一起,生成一个很长的insert语句。
我这里从本地每次拿1000个数据,然后执行一次insert。
搞定。
分享到:
评论

相关推荐

    导入Excel到数据库的完整案例,带数据校验/事务回滚

    本案例提供了一个全面的解决方案,包括数据校验、数据库事务回滚、Excel预览以及日志记录等功能,确保数据导入过程的稳定性和准确性。 首先,数据导入的核心是读取Excel文件。可以使用Microsoft Office Interop库来...

    海量数据环境下的Oracle数据库系统架构设计和优化思路

    - 随着技术的发展,除了Oracle数据库外,还有Hadoop、NoSQL数据库等多种解决方案可用于处理大规模数据。 - 技术的不断进步也带来了更多创新的可能性,例如云计算平台提供的弹性扩展能力和AI驱动的数据处理方案。 ...

    domino数据库与关系型数据库的数据交互研究.pdf

    它提供的多媒体共享文档数据库和电子邮件系统具备强大的功能,是业界认可的群件解决方案。 在数据库理论中,存在外模式、模式和内模式三个层次。外模式是用户所见的数据视图,包括表结构、数据类型、长度和安全性等...

    云数据库管理初体验.pdf

    RDS支持MySQL、SQL Server、PostgreSQL和PPAS(Postgre Plus Advanced Server,一种高度兼容Oracle的数据库)引擎,并且提供了容灾、备份、恢复、监控、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。...

    oracle数据库的备份与恢复

    除了物理文件备份外,Oracle还提供了导出工具(exp)进行逻辑备份,它可以将数据库对象如表、索引、用户等导出为可导入的文件。然而,导出备份无法回滚,不能替代数据库文件的物理备份。 4. 恢复策略 在备份基础上...

    Sqoop将SQLServer数据表导入HDFS

    本文将详细介绍如何利用Sqoop将SQL Server中的数据导入到Hadoop的分布式文件系统(HDFS)中,并对过程中可能遇到的问题提供解决方案。 #### 二、准备工作:下载并配置驱动程序 ##### 1. 下载SQL Server JDBC驱动 ...

    Oracle数据库常见问题诊断方法

    篇文章深入探讨了Oracle数据库在...整体而言,这篇文章通过详尽的错误分类、诊断步骤和解决方案,为Oracle数据库的维护与优化提供了宝贵的参考资源,无论是对于初学者还是经验丰富的数据库管理员都具有极高的实用价值。

    MES系统数字化工厂解决方案整体介绍【68页】.pptx

    ### MES系统数字化工厂解决方案整体介绍 #### 一、MES系统概述 MES(Manufacturing Execution System,制造执行系统)作为连接企业高层管理信息系统(如ERP)与底层控制系统的关键桥梁,在现代制造业中扮演着至关...

    wsus补丁迁移

    数据导出和导入是指将WSUS服务器上的补丁数据导出到外网补丁服务器,并将其导入到内网补丁服务器的过程。在导出过程中,需要使用wsusutil工具来导出元数据,而在导入过程中,需要使用wsusutil工具来导入元数据。 三...

    数据库连接eclipse“用户登录失败”

    导入数据库 - 如果目标服务器尚未包含所需数据库,可以从原服务器导入。 - 使用SQL Server导入导出向导或其他工具完成数据库的迁移工作。 #### 总结 通过上述步骤,可以有效地解决在使用Eclipse连接SqlServer...

    BigDb海量数据库

    ### BigDb海量数据库知识点解析 #### 一、BigDb海量数据库概述 ...通过上述介绍,我们可以看出BigDb在技术架构、功能实现以及应用支持等方面都做了精心的设计与优化,为用户提供了一个高效可靠的解决方案。

    大数据分析的案例、方法与挑战

    本文通过一个具体的大数据分析案例,深入探讨了大数据分析在实践中所面临的各种挑战及其解决方案。随着数据量的不断增长和技术的不断进步,大数据分析的重要性日益凸显。未来的大数据分析将更加注重实时性、智能性和...

    基于ArcGIS的建库技术

    ### 基于ArcGIS的建库技术 #### 第一章 基于ArcGIS的空间数据库的建库方案 ##### 1.1 空间数据库的基本知识 ...这些模型为数据库设计提供了不同的思路和工具,使得开发者能够根据实际需求选择最适合的解决方案。

    航空机轮设计分析仿真系统解决方案.docx

    * 应自带国内外材料手册数据定制的材料疲劳数据库,可自己定制修改材料疲劳数据库。 * 后处理程序应能输出各零部件的失效时间(起落、周期或时间)及其它数据,输出格式为 WORD+PDF 文档格式。 该解决方案的特点...

    实时数据库培训资料

    5. **取不到数据的情况**:如果由于某些原因无法获取数据,系统会显示相应的错误信息,并提供解决方案建议。 6. **常用对话框**:如测点查找窗口、PI服务器连接等对话框,方便用户进行数据查询和系统设置。 #### ...

    H3C SecPath GAP2000数据库同步配置指南.docx

    数据库同步软件是解决跨系统、跨平台数据交换的关键工具,它为不同数据库和应用间的交互提供了一个集中的平台。这种软件通常具备自动化特性,能够实时或定时更新两边的数据库,确保信息的一致性。 配置前提需要注意...

    基于VFP的远程SQL Server数据库报表的设计.pdf

    远程客户端则采用VFP 6.0语言开发交互式应用程序,通过ODBC从外网到内网远程连接到SQL Server,并利用视图作为“纽带”提取数据源,最后以临时表的形式将结果返回给客户机。这些临时表可以自动导入报表生成器,最终...

Global site tag (gtag.js) - Google Analytics