`
jsntghf
  • 浏览: 2526132 次
  • 性别: Icon_minigender_1
  • 来自: 苏州
社区版块
存档分类
最新评论

加速MySQL导入导出的方法

阅读更多

MySQL导出的SQL语句在导入时有可能会非常慢,在处理百万级数据的时候,可能导入要花几小时。在导出时合理使用几个参数,可以大大加快导入的速度。

 

-e 使用多行INSERT语法,给出更紧缩并且更快的插入语句

--max_allowed_packet=XXX 客户端/服务器之间通信的缓存区的最大大小

--net_buffer_length=XXX TCP/IP和套接字通信缓冲区大小

 

max_allowed_packet和net_buffer_length不能比目标数据库的设定数值大,否则可能会出错。

 

首先确定目标数据库的参数值:

 

mysql> show variables like 'max_allowed_packet';
mysql> show variables like 'net_buffer_length';

 

根据参数值写mysqldump命令:

 

mysqldump -uroot -proot eric -e --max_allowed_packet=1048576 --net_buffer_length=16384 > eric.sql

 

 

分享到:
评论

相关推荐

    数据导入导出工具

    数据导入导出工具是IT行业中一个非常重要的工具,主要用于在不同的数据库系统、应用程序或文件格式之间传输和转换数据。在日常的数据管理工作中,无论是数据分析、数据迁移还是数据备份,都需要用到这类工具。下面...

    mysql导入数据库方法

    本文将围绕“mysql导入数据库方法”这一主题,深入探讨如何快速高效地导入大体量SQL文件至MySQL数据库,包括但不限于几百兆乃至数GB以上的大文件。 ### MySQL数据库导入方法概述 在MySQL中,有多种方式可以用于...

    SQL与EXCEL的导入导出

    本篇文章将深入探讨SQL与Excel之间的数据导入导出操作,帮助用户更高效地在两者之间进行数据交换。 首先,了解如何从Excel导入数据到SQL是非常实用的。当你有一份数据在Excel中,但需要在一个数据库系统中存储或...

    数据库导入导出

    数据库导入导出是数据库管理中的基础操作,它涉及到数据的迁移、备份和恢复等多个关键环节。在数据库系统中,数据的导入(Import)通常是指将数据从外部文件或源数据库迁移到目标数据库的过程,而导出(Export)则是...

    导入导出例子

    例如,使用缓冲区读写可以减少磁盘I/O次数,而并行处理可以加速数据导入导出。 这些知识点在压缩包中的代码示例会给出具体实现细节,你可以直接复制粘贴到你的项目中,根据实际需求进行修改和扩展。无论是简单的CSV...

    Excel百万级别数据的导入和导出

    9. **并发处理**:多线程或分布式处理可以加速数据导入导出,尤其是在服务器端。例如,使用Java的ExecutorService或Spring的TaskExecutor,或者借助分布式计算框架如Hadoop。 10. **性能监控与调优**:在实际操作中...

    Java实现异库多表多字段的同时导入导出

    在IT行业中,数据库的数据导入导出是一项常见的任务,特别是在数据迁移、备份或分析时。Java作为广泛应用的编程语言,提供了一系列API和库来处理这样的需求。本篇文章将深入探讨如何利用Java实现异库多表多字段的...

    数据库导入导出工具(dts)

    数据库导入导出工具(DTS)是针对数据库管理和迁移的一款实用软件,主要功能在于帮助用户高效、安全地将数据从一个数据库系统迁移到另一个。在本案例中,DTS已经实现了对MySQL数据库的支持,允许用户通过属性文件...

    mysql在大数据情况下linux状态下的压缩,解压及快速导入.docx

    ### MySQL在大数据场景下Linux环境中的压缩、解压与快速导入技术详解 #### 一、引言 在处理大规模数据时,MySQL 数据库的操作效率变得至关重要。特别是在 Linux 环境下,对于大文件的处理往往涉及到压缩、解压以及...

    MySQL 5.1 版数据库

    MySQL 5.1增加了对XML文档的处理能力,可以方便地导入和导出XML数据。 9. **优化的查询分析器**: 改进了查询分析器,能更好地解析和优化SQL语句,提高了查询效率。 总的来说,MySQL 5.1版本以其稳定性和易用性...

    MySQL数据库备份和恢复

    - **兼容性参数**:`--compatible=name`用于确保导出的数据与特定的数据库或MySQL版本兼容。 - **完整插入模式**:`--complete-insert`选项可提高插入效率,但需谨慎使用,避免因数据包过大导致的问题。 - **字符集...

    5.31作业题导入和导出+tar.docx

    ### 导入导出数据库 - 在数据库中创建了 `db1`、`db2`、`dbmy` 三个数据库以及 `xuesheng` 数据库中的单表 `stu_info`。 - 使用 `mysqldump` 工具导出 `db1` 和 `db2` 数据库到一个文件中。 以上内容详细解释了给定...

    mysql 基本命令,及java中访问mysql

    15. **数据导出与导入**: - **导出整个数据库**: ``` mysqldump -uroot -p 数据库名称 > 文件保存位置 ``` - **导出特定表**: ``` mysqldump -uroot -p 数据库名称 表名 > 文件保存位置 ``` - **导入...

    Mysql 5.5和Navicat 10

    5. **备份和导入导出**:Navicat 10具备自动备份和数据导入导出功能,方便数据的备份和迁移。 6. **数据库设计**:支持ER图创建,帮助用户直观地设计数据库模型。 7. **SQL开发**:内置的SQL编辑器支持智能提示,...

    批量数据导入

    不同的数据库管理系统(如MySQL、Oracle、SQL Server、MongoDB等)都有自己的数据导入导出工具和方法,例如MySQL的`mysqldump`和`LOAD DATA INFILE`命令,Oracle的`EXPDP`和`IMPDP`,以及SQL Server的`bcp`工具和`...

    mysql,sqlyog工具

    SQLyog 3.2是一款早期的SQLyog版本,它提供了一个直观的用户界面,使用户能够轻松地进行数据库连接、数据导入导出、备份恢复、表管理、索引创建、查询构建等一系列操作。尽管这个版本相对较旧,但仍然能满足许多基础...

    mysql转oracle

    4. **数据导入**:在Oracle表结构创建完成后,可以使用`SQLLoader`工具或`INSERT INTO`语句将数据从MySQL的SQL脚本导入Oracle。SQLLoader可以从文本文件中批量加载数据,而`INSERT INTO`则适合小量数据的逐条插入。 ...

    精简版mysql 5.5.40及对应navicat

    5. **备份和导入导出**:支持定时备份任务,以及批量导入导出数据到各种文件格式。 6. **远程连接**:允许用户连接到远程数据库,方便进行跨地域的数据库管理。 7. **安全连接**:支持 SSL 加密连接,确保数据传输的...

    mysqlnode.zip

    MySQL提供`mysqldump`命令用于导出数据库到SQL文件,以及`source`命令或`mysqlimport`工具来导入数据。在本例中,"mysqlnode.sql"可能是使用`mysqldump`生成的,用于将某个数据库的结构和数据保存为文本文件。 ### ...

    mysql 百万级数据测试

    这是一个在MySQL命令行客户端中导入SQL脚本的典型方法。这里,`-u`参数指定了数据库用户名(root),`-p`后面跟着的是密码(也是root),`-D`参数定义了要导入数据的数据库名(test)。`符号用于从`employees.sql`...

Global site tag (gtag.js) - Google Analytics