`
PBFox
  • 浏览: 67960 次
  • 性别: Icon_minigender_1
  • 来自: China
文章分类
社区版块
存档分类
最新评论

MySQL大数据量导入导出方法比较

阅读更多
出处:IT专家网


硬件: Intel(R) Xeon(R) CPU 5130 @ 2.00GHz * 2, 4G RAM, 564G SAS

  软件: Red Hat Enterprise Linux AS release 4 (Nahant Update 4) 2.6.9 42.ELsmp (32-bit), MySQL 5.0.27-standard-log

  总记录数: 1016126, 每行平均大小 46822

  1. 导出测试

  1.1 导出成文本

  方法: SELECT * INTO OUTFILE '/backup/yejr.txt' FROM yejr;

  耗时: 3252.15 秒

  1.2 导出成 .sql 文件

  方法: mysqldump -t -n --default-character-set=latin1 test yejr > /backup/yejr.sql

  耗时: 2124 sec

  结论: 用 mysqludmp 导出数据是相对较快的方法.

  2. 导入测试

  2.1 导入 txt 文件

  方法: mysql test < /backup/yejr.txt

  耗时: 3317.62 sec

  2.2 导入 sql 文件

  方法: mysql test < /backup/yejr.sql

  耗时: 4706.618 sec

  结论:

  1. 用 load data 是较快的方法

  2. 大数据量情况下, 最好是创建好表之后, 同时也要创建好相关的索引. 虽然说没有索引时导入更快, 但是数据导入完成之后再创建索引总共的耗时比事先创建好了再导入要来的多多了.

  另外,如果是myisam表,则最好是导入之前先禁用表的索引,导完之后再启用; 或者是一开始不创建索引,导完之后再创建,都会比导入的同时更新索引来的快很多.
分享到:
评论

相关推荐

    mysql数据库大数据量导入导出多种方法

    mysql数据库大数据量导入导出多种方法,该文档详述SELECT * INTO和mysqldump导出方法。导入方法中包括导入sql,txt文件和load data三种方法

    从MySQL导入导出大量数据的程序实现方法

    在IT行业中,数据库管理和数据迁移是常见的任务,尤其是在MySQL这样的关系型数据库中。当处理大量数据时,PHPmyadmin虽然提供了便捷的导入...通过这样的方法,我们可以绕过限制,高效地完成大量数据的导入导出任务。

    mysql数据导入导出php版 mysql数据导入导出php版

    总结,使用PHP进行MySQL数据导入导出涉及到的知识点包括:PHP执行shell命令、PDO和MySQLi扩展的使用、`mysqldump`和`mysqlimport`工具、`SELECT INTO OUTFILE`和`LOAD DATA INFILE` SQL语句、数据分批处理、事务管理...

    导入导出mysql数据

    知识点:MySQL 数据库的导入与导出操作及 Java 实现 在 IT 行业中,数据库的管理和维护是一项至关重要的工作。特别是在 MySQL 这样的流行关系型数据库...此外,对于大数据量的数据库,还需要考虑效率和性能优化问题。

    MySQL数据导入与导出

    本文将深入探讨MySQL数据导入与导出的方法,通过实际案例解析,帮助读者快速掌握相关技巧。 #### 数据导出:MySQL的多种方式 ##### 1. 使用`SELECT INTO OUTFILE`语句导出数据 `SELECT INTO OUTFILE`是MySQL提供的...

    MySql数据导入导出

    通过上述介绍可以看出,MySQL提供了多种灵活的数据导入导出方式,可以根据实际需求选择合适的方法。无论是进行数据备份、数据迁移还是数据分发,掌握这些技能对于数据库管理员来说都是非常重要的。希望本文能帮助...

    mysql数据的导入导出

    在实际应用过程中,我们经常需要对MySQL中的数据进行备份或者迁移操作,这时就需要用到MySQL的数据导入导出功能。 ##### 1. 使用 `mysqldump` 命令导出数据 `mysqldump` 是MySQL自带的一个非常强大的命令行工具,...

    MySQL数据导入导出方法与工具mysqlimport.pdf

    本篇文件详细介绍了MySQL数据导入导出的方法与工具,其中主要内容涉及了mysqlimport工具的使用及其参数解释。 知识点1:mysqlimport工具的概述 mysqlimport是MySQL提供的一个命令行实用程序,主要用于从文本文件中...

    MySQL数据库中导入导出方法以及工具介绍

    本文将深入探讨MySQL中的数据导入导出技术,包括具体的命令、参数选项及其应用场景,帮助读者全面掌握MySQL的数据管理能力。 #### 一、MySQL数据导入导出概述 MySQL提供了多种方式来导入和导出数据,主要包括`...

    阿里的EasyExcel+Mysql方式实现数据库数据导出生成exce

    在IT行业中,数据导入导出是一项常见的任务,特别是在企业级应用中,用户可能需要将大量数据从数据库导出为Excel格式,以便于分析、编辑,然后再导入回数据库进行更新或新增。阿里开源的EasyExcel工具结合SpringBoot...

    Mysql to Oracle导入导出说明

    5. **事务管理**:在数据导入过程中,可能需要开启大事务,以确保批量插入的原子性。 6. **测试与验证**:在正式迁移前,先在测试环境中进行数据迁移,确认无误后再在生产环境中执行。 7. **性能优化**:如果数据...

    MySQL数据导入导出方法知识.pdf

    MySQL数据库系统提供了多种数据导入导出的方法,这在数据库管理和迁移过程中至关重要。本文主要讨论两种常用的技术:批处理和`LOAD DATA INFILE`命令。 批处理是一种非交互式的MySQL操作方式,适用于执行大量预定义...

    javatools数据导入导出工具

    JavaTools是一款基于Java开发的数据导入导出工具,主要用于数据库管理和数据迁移工作。它提供了一种简单易用的图形用户界面,使得非编程人员也能轻松处理数据的导入与导出任务。在更新后的版本v1.0.5中,开发者对...

    mysql导入导出数据库文件

    本文将详细介绍两种常见的MySQL数据库文件导入导出的方法:使用图形化辅助工具和使用MySQL自带的命令行方式。 #### 二、使用图形化辅助工具进行MySQL导入导出 **MySQL GUITools v5.0** 是一套强大的可视化工具集,...

    Java实现mysql导入导出Excel

    在Java编程环境中,将MySQL数据库的数据导入到Excel或者将Excel数据导出到MySQL是一项常见的任务。这涉及到对Java处理文件、数据库操作以及处理Excel数据的能力。以下是对这个主题的详细阐述: 1. **Java处理Excel*...

    如何导入导出mysql数据库

    - **保存导出文件**:在导出选项中选择“另存为文件”,如果数据量较大,可以选择“gzipped”压缩格式以减小文件大小。之后点击“执行”按钮即可开始导出。 ##### 2.1.2 使用mysqldump命令行 - **命令格式**:`...

    软件数据库数据导入导出(sql)

    "软件数据库数据导入导出(sql)"这个主题涉及到如何高效、安全地管理数据库中的信息,以便进行备份、迁移、恢复或者整合不同的数据源。在本篇内容中,我们将深入探讨SQL在数据库数据导入导出中的应用。 首先,SQL...

    Excel大量数据快速导入数据库源码

    标题 "Excel大量数据快速导入数据库源码" 描述的是一个编程解决方案,用于高效地将Excel电子表格中的大量数据批量导入到数据库系统中。这个过程通常涉及到数据预处理、数据清洗和数据传输等步骤,是数据处理工作流程...

Global site tag (gtag.js) - Google Analytics