`

Mysql导入数据相当慢

 
阅读更多

导入数据的方法

导出(备份):mysqldump -u 用户名 -p databasename >exportfilename

导入(还原):方法一 mysql -u 用户名 -p databasename

方法二 进入MySQL数据库控制台 use 数据库名,之后:source importfilename

导入数据非常慢
将JQ1中的方案导出,然后导入到JQ2的中(导出的数据文件有90M)。上面两种方法都使用了,但是没有成功,或者说是十分慢(估计1,2天才能完成)。

解决办法(十几分钟可以导完):

查看JQ2的mysql参数:
show variables like 'max_allowed_packet';
show variables like 'net_buffer_length';
两个结果分别是:1047552 和 16384

从JQ1上导出数据:
mysqldump -uroot -pXXX 方案名 --skip-opt --create-option --set-charset --default-character-set=gbk -e
--max_allowed_packet=1047552 --net_buffer_length=16384 > 导出的文件路径和文件名

注意:max_allowed_packet和net_buffer_length不能比目标数据库的设定数值大,否则可能出错。

-e 使用包括几个VALUES列表的多行INSERT语法;
--max_allowed_packet=XXX 客户端/服务器之间通信的缓存区的最大大小;
--net_buffer_length=XXX TCP/IP和套接字通信缓冲区大小,创建长度达net_buffer_length的行。

也就是此参数指定了一个缓存区的大小,用来存放用户发送的SQL语句。若接收的SQL语句大于这个缓存区,则自动增加大小,直到max_allowed_packet

将导出的数据导入至JQ2中
./mysql -uroot -pXXX --default-character-set=gbk 方案名<导出的文件路径和文件名
这样导入相当于每次执行多条sql语句,快了很多

 

demo

mysqldump -h192.168.7.3 -uroot -p shb -e --max_allowed_packet=1048576 --net_buffer_length=16384 >F:\shb20151208.sql
mysql -uroot -p123456 shb10 <F:\shb20151208.sql

分享到:
评论

相关推荐

    MySQL 导入慢的解决方法

    导入注意点:使用phpmyadmin或navicat之类的工具的导入功能还是会相当慢,可以直接使用mysql进行导入导入命令如下:mysql&gt; -uroot -psupidea jb51.net&lt;E&gt; -umysql用户名 -pmysql密码 要导入到的数据库名&lt;要导入...

    最新全国省市区地区(MySQL)数据,附数据文件

    1. `Area.sql`:这是一个SQL脚本文件,通常用来导入数据到MySQL数据库。里面可能包含了CREATE TABLE语句来定义数据表结构,以及INSERT语句来填充数据。用户可以使用这个文件将数据导入到自己的MySQL数据库中,以便...

    大数据量测试数据(MySQL)

    提供的压缩包文件包含了一系列的SQL脚本和数据备份,用于创建表格、导入数据并进行性能测试。 首先,`employees.sql` 文件是核心,它包含了创建表的DDL(Data Definition Language)语句以及可能的数据插入语句。当...

    MySQL导入导出命令大全

    ### MySQL导入导出命令详解 #### 一、概述 MySQL是一款广泛使用的开源关系型数据库管理系统。在日常维护和管理MySQL数据库的过程中,数据的备份与恢复是一项重要的任务。MySQL提供了多种命令来实现数据库、表的...

    R 数据导入和导出.pdf

    该文档强调了在进行统计分析时,数据的导入与导出往往占据了相当大的一部分工作量。文档覆盖了通过R自身或通过CRAN提供的软件包来实现这一过程的方法。 #### 二、数据导入 ##### 1.1 通用表格数据导入 - **`read....

    梦境解梦mysql数据

    这份数据集包含了超过9000条记录,涵盖了日常梦境的各种情况,对于分析梦境、建立梦境数据库或者进行心理学研究来说,是一个相当丰富的资源。 MySQL是一种流行的开源关系型数据库管理系统(RDBMS),由Oracle公司...

    分享MYSQL插入数据时忽略重复数据的方法

    在MySQL数据库管理系统中,处理插入数据时忽略重复数据的问题是一项常见的需求。这通常涉及到数据完整性,特别是当你希望避免数据冗余或者维护唯一性约束时。本篇文章将详细介绍两种有效的方法,即使用`REPLACE INTO...

    Mysql workbench 安装包及环境RC

    5. **数据导入/导出**:软件提供了数据迁移工具,可以方便地将数据从CSV、Excel或其他数据库格式导入到MySQL,或者将MySQL数据导出到这些格式。 在Windows 8.1环境下安装MySQL Workbench RC,你需要确保系统满足...

    千万级数据Sql Server 与Mysql分析

    1. 关于将 SQL Server 2008 数据导入 Mysql 的问题。详见 SQL Server 2008 导出来的.sql 文件如果要在 mysql 里执行,还有一些语法问题,其中datetime 类型转换比较麻烦。 2. Mysql 版本问题,测试所用的 5.5 是目前...

    成语词典数据库13011条数据mysql

    该数据库包含13011条数据,这意味着覆盖了相当数量的常用和不常用的成语,足以满足大多数场合的需求。MySQL作为一款开源、关系型数据库管理系统,因其稳定性和高效性,被广泛应用于各类数据库应用中,包括成语词典...

    native for mysql 10.1

    5. **备份与导入导出**:定时备份数据库,以及将数据从其他格式导入到MySQL或导出到其他格式。 6. **数据可视化**:通过图表和报表展示数据,便于理解和分析。 7. **团队协作**:支持共享连接,多人可以同时编辑同一...

    SSMA for MYSQL 5.1

    此外,它还负责将数据从MySQL数据库导入到SQL Server中,确保迁移过程中数据的一致性和完整性。 2. **对象转换**:在迁移过程中,SSMA会识别MySQL中的各种数据库对象,并将其转换为SQL Server的相应对象。这包括表...

    ☆一个相当实用的EXCEL数据导入MSSQL数据库的工具

    一个相当实用的将EXCEL表的数据快速导入数据库的工具,也支持导入ACCESS及MYSQL,可以灵活选择对应的数据库的数据表中的某个字段,并可自定义设置以某个字段做重复判断重复不导入。。。并具有一定的编辑与查询功能,...

    Dbvisualizer安装及连接mysql oracle sqlServer配置

    DbVisualizer是一款强大的...无论你是处理MySQL的数据备份,还是Oracle的复杂查询,或是SQL Server的表结构设计,DbVisualizer都能提供一个统一且高效的平台。因此,掌握其安装与配置对于日常的数据库工作至关重要。

    任意数据库类型数据转换系统 OBDB2DB 1.7

    使用 DTS 需要预先创建好数据表 否则新迁移的数据库是没有主键的 而 mss2sql 工具可以解决以上问题 但转换速度非常慢 我需要转换 3000 万的数据 在一台相当不错的服务器上面 也需要几天几夜才能转换完成 而 DB2DB ...

    MySQL掌握备份恢复工具mysqldump实践

    如果数据表使用非默认的`latin1`字符集,则必须使用该选项,否则再次导入数据时可能会出现乱码问题。 4. **--disable-keys** - 在INSERT语句的开头和结尾添加`/*!40000 ALTERTABLE table DISABLE KEYS */;` 和 `/*...

    navicat mysql客户端

    总的来说,Navicat作为MySQL的客户端工具,无论是在日常的数据库维护、数据查询,还是在复杂的数据库设计和管理方面,都表现得相当出色。通过熟练掌握Navicat的使用,可以极大地提高数据库管理的效率和质量。

    mysql安装向导

    在安装完成后,你可以通过MySQL Front或其他管理工具(如phpMyAdmin、MySQL Workbench)连接到MySQL服务器,创建新的数据库,导入数据,执行查询,管理用户权限等操作。学习和熟悉这些工具将极大地提升你在数据库...

    MYSQL 详细图文使用手册

    2. **导入数据** - 使用Python读取CSV文件,并将数据插入MySQL数据库。 - 示例代码: ```python import csv from mysql.connector import connect with open('data.csv', newline='') as csvfile: reader =...

Global site tag (gtag.js) - Google Analytics