`
Belinda407
  • 浏览: 34240 次
  • 性别: Icon_minigender_2
  • 来自: 北京
社区版块
存档分类
最新评论

load data infile效率测试

 
阅读更多
测试用例40w条记录 插入到mysql5.0.95库中
1.远程客户端文件方式,用时23.42sec
注意登录时指定--local-infile
belinda@ubuntu:~$ mysql --local-infile -h 192.168.195.1 -u root -p
Enter password:
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 5
Server version: 5.0.96-community-nt MySQL Community Edition (GPL)

Copyright (c) 2000, 2014, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.
mysql> use temp
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A

Database changed
mysql> load data local infile '/home/belinda/work/datagen41.txt' ignore into table t_lable_group454 fields terminated by ',' enclosed by '"' lines terminated by '\r\n';
Query OK, 400000 rows affected, 65535 warnings (23.42 sec)
Records: 400000  Deleted: 0  Skipped: 0  Warnings: 256487
2.本地文件方式

C:\Users\linda>mysql --local-infile -h 192.168.195.1 -u root -p
Enter password: *****
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 6
Server version: 5.0.96-community-nt MySQL Community Edition (GPL)

Copyright (c) 2000, 2011, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> use temp;
Database changed
mysql> load data infile 'E:/datagen41.txt' ignore into table t_lable_group454 fi
elds terminated by ',' enclosed by '"' lines terminated by '\r\n';
Query OK, 400000 rows affected, 65535 warnings (30.21 sec)
Records: 400000  Deleted: 0  Skipped: 0  Warnings: 256487
分享到:
评论

相关推荐

    mysql load data infile 的用法.docx

    Mysql Load Data Infile 的用法 Mysql 的 Load Data Infile 语句是一个非常强大的工具,可以快速地将文本文件中的数据导入到 Mysql 数据库中。在本文中,我们将详细介绍 Load Data Infile 的用法,包括其语法、参数...

    loadData批量导入以及压缩协议使用指南1

    总的来说,`LOAD DATA INFILE`结合Mycat和MySQL的压缩协议,为大数据量的导入提供了高效的解决方案,尤其是在网络环境不理想的情况下,能够有效减少传输时间,提高整体系统效率。同时,合理配置和使用这些特性,对于...

    Java利用MYSQL LOAD DATA LOCAL INFILE实现大批量导入数据到MySQL

    "Java利用MYSQL LOAD DATA LOCAL INFILE实现大批量导入数据到MySQL" ...使用Java和MYSQL的LOAD DATA LOCAL INFILE语句可以实现高效的大批量导入数据到MySQL,解决了数据交换和导入问题,提高了数据处理效率。

    mysql Load Data InFile 的用法

    MySQL的`LOAD DATA INFILE`语句是一种...总之,`LOAD DATA INFILE`是MySQL提供的一种强大的数据导入工具,通过灵活地设置字段分隔符、内容包围符和行终止符,可以适应多种格式的数据文件,极大地提高了数据导入的效率。

    MySQL中由load data语句引起死锁的解决案例

    一个线上项目报的死锁,简要说明一下产生原因、处理方案和相关的一些点. 1、背景 ...Load data infile ‘data1.csv' into table tb; Load data infile ‘data2.csv' into table tb; cat Data1.csv

    mysql 的load data infile

    LOAD DATA INFILE 可以处理大量的数据,并且允许你自定义数据字段的分隔符、引号字符和转义字符,以适应不同格式的输入文件。 当你使用 `LOAD DATA INFILE` 时,需要注意以下几点: 1. 文件位置:如果不使用 `...

    mysql遇到load data导入文件数据出现1290错误的解决方案

    同时,了解如何正确编写和格式化`LOAD DATA INFILE`的数据文件,以及理解相关安全设置,对于优化数据导入过程和提升数据库管理效率是非常重要的。在实际操作中,还可以参考MySQL的手册和相关教程,了解更多关于`LOAD...

    oracle sqlload loaddata.ctl 使用例子

    在这个"oracle sqlload loaddata.ctl 使用例子"中,我们将深入探讨如何利用SQL*Loader将文本文件(如"data.txt")中的数据高效地加载到Oracle数据库中。 首先,`loaddata.ctl`是SQL*Loader的数据装载控制文件,它是...

    MySQL中使用load data命令实现数据导入的方法

    `LOAD DATA INFILE`命令就是MySQL提供的一种高效的数据导入方法,它相较于使用`INSERT`语句逐行插入数据,其速度优势显著,官方宣称能快20倍,这使得它成为处理大量数据导入的首选工具。 `LOAD DATA INFILE`的基本...

    mysql中的Load data的使用方法

    测试把txt文件导入至mysql数据库中: table: txt文件:D:/data.txt (txt文件下载) ... 您可能感兴趣的文章:Java利用MYSQL LOAD DATA LOCAL INFILE实现大批量导入数据到MySQLMySQL中由load data语

    MySQL大量数据插入各种方法性能分析与比较

    同样在100万条数据的测试中,`LOAD DATA INFILE`依然表现出色,无索引插入耗时6秒,有索引7秒。批量插入则显著优于单条插入,但内存占用略高。 总结来说,当处理大量数据插入时,`LOAD DATA INFILE`是速度最快的...

    MySQL数据导入导出方法知识.pdf

    本文主要讨论两种常用的技术:批处理和`LOAD DATA INFILE`命令。 批处理是一种非交互式的MySQL操作方式,适用于执行大量预定义的SQL命令。要实现批处理,你需要创建一个文本文件,其中包含你要执行的SQL语句。例如...

    load_file超速辅助工具

    1. **权限限制**:默认情况下,MySQL用户可能没有执行`LOAD DATA INFILE`或使用`load_file()`的权限,因为这涉及到读取服务器的文件系统。为了使用这个功能,你需要确保数据库用户有足够的权限。 2. **文件路径**:...

Global site tag (gtag.js) - Google Analytics