`
dpzc
  • 浏览: 13053 次
  • 性别: Icon_minigender_1
  • 来自: 南京
社区版块
存档分类
最新评论

mysql大数据量导出使用-q不缓存结果

    博客分类:
  • db
 
阅读更多
昨天试图把wordlist表导到本地,仍使用mysql -e,结果等了半天mysql client 内存撑爆了。原因是mysql默认将所有数据都查询好后一次返回给客户端。
可以在-e前面加-q,这样虽然能解决问题,但是很慢。

摘自Mysql command-line tool文档:
If you have problems due to insufficient memory for large result sets, use the --quick option. This forces mysql to retrieve results from the server a row at a time rather than retrieving the entire result set and buffering it in memory before displaying it. This is done by returning the result set using the mysql_use_result() C API function in the client/server library rather than mysql_store_result().

--quick, -q

          Do not cache each query result, print each row as it is received. This may slow down the server if the output is suspended. With this option, mysql does not use the history file.
分享到:
评论

相关推荐

    mysql-essential-5.0.22-win32.msi

    MySQL是世界上最受欢迎的开源关系型数据库管理系统之一,其在企业级应用中被广泛使用。"mysql-essential-5.0.22-win32.msi" 是MySQL的一个特定版本,适用于Windows 32位操作系统。这个版本是MySQL Essential Edition...

    mysql历史数据同步到clickhouse 已测试

    - **直接SQL导入**: 如果数据量不大,可以直接编写SQL脚本,将MySQL中的数据导出成CSV或其他文本格式,然后通过ClickHouse的LOAD DATA命令批量导入。 **2. 数据模型设计** - **列式存储**: ClickHouse为列式存储,...

    mysql-5.5.57-linux-glibc2.12-x86_64.tar.gz

    6. **数据导入导出**:使用`mysqldump`备份数据库,用`mysql`客户端恢复数据。 MySQL 5.5.57还支持各种高级特性,如ACID事务、存储过程、触发器、视图、索引、外键约束等,为企业级应用提供了可靠的数据存储和管理...

    mysql-5.0.27-win32及mysql-front安装文件

    安装这两者后,初学者可以通过阅读在线教程来学习如何配置MySQL服务器、创建数据库、管理用户权限、设计表结构以及使用MySQL-Front进行数据操作。在实践中,理解数据库的概念,例如关系模型、ACID属性(原子性、一致...

    PHP+Mysql导入或导出Excel文件

    1. **查询MySQL数据**:使用SQL语句从MySQL数据库中获取需要的数据,可以是单个表或多个表的联接结果。 2. **初始化PHPExcel对象**:创建一个新的PHPExcel对象,并创建一个工作表。 3. **写入数据**:遍历查询结果...

    mysql-5.5-winx64

    - **兼容性**:MySQL 5.5的winx64版本是专门为64位Windows操作系统设计的,可以充分利用64位系统的内存管理能力,处理更大规模的数据。 - **安装步骤**:通常包括下载安装包,运行安装程序,选择安装类型(如开发...

    Mysql数据库导入命令Source详解.docx

    - `--quick`: 快速导出,不缓存结果集,适用于大数据量的导出。 - `--extended-insert`: 使用多行INSERT语句,减少导入时的网络传输和解析时间。 - `--lock-tables`: 锁定所有要导出的表,避免数据变化。 4. **...

    MySQL-5.5.48-1.linux2.6.i386.rar

    其中,它支持InnoDB存储引擎,提供了事务处理、行级锁定和ACID兼容性,适合高并发和大数据量的应用。此外,5.5系列还增强了性能优化,包括查询缓存改进、线程池支持以及更高效的索引操作。 2. **MySQL Client-...

    my.ini文件for mysql

    - `[mysqld]` 节是服务器的主要配置,涉及MySQL服务的启动、数据存储、内存使用等。 - `[client]` 节设置客户端连接的默认行为。 - `[mysql]` 节用于控制MySQL命令行客户端的行为。 - `[mysqldump]` 节则关乎数据...

    mysql-5.5.56-winx64.msi

    安装完成后,可以通过命令行或图形界面工具(如MySQL Workbench)与MySQL服务器交互,进行数据库创建、数据导入导出、查询优化等一系列数据库管理任务。 总结来说,"mysql-5.5.56-winx64.msi"是一个为Windows 64位...

    KunPeng-MySQL-Smart-Tools介绍1

    MySQL Smart Tools 是一款专为MySQL数据库管理系统设计的综合性管理工具,它提供了全面的数据管理、性能监控、配置管理和宿主主机状态监控功能。这款工具对于DBA(数据库管理员)以及需要进行MySQL数据库维护的IT...

    免安装版 mysql-5.1.63-winx64.7z

    2. **Windows 64位**:winx64表明该版本是专为64位Windows操作系统设计的,能够利用64位系统的内存管理和性能优势,处理更大的数据量。 3. **免安装**:免安装版通常是一个压缩包,解压后可以直接运行,无需通过...

    ASP.NET导出数据到Excel.rar

    对于大数据量,可以考虑分批写入或使用服务器端缓存。 6. **文件保存与下载**:用户点击导出后,服务器生成Excel文件,将其内容发送到客户端,客户端接收到数据后自动下载。可以通过Response.End()或Response.Flush...

    android_mysql-master.zip

    3. 结果集展示:查询结果将以表格形式呈现,用户可以浏览、筛选甚至导出数据。 4. 错误处理:良好的错误处理机制是必不可少的,它可以帮助用户识别并解决问题,例如网络中断、权限错误等。 三、第三方库的运用 ...

    MySQL 5.1 版数据库

    - **查询缓存**:MySQL 5.1增强了查询缓存功能,能够存储已执行过的SQL语句及其结果,当相同的查询再次出现时,可以直接从缓存中获取结果,提升查询速度。 - **InnoDB引擎优化**:InnoDB是MySQL中最常用的事务处理...

    lampbrother mysql高级教程笔记 超详细

    - **避免 SELECT *:** 尽量减少返回的数据量。 - **使用 EXPLAIN:** 分析 SQL 查询的执行计划。 - **避免使用 NOT IN:** 替换成 LEFT JOIN 或者 NOT EXISTS。 **索引优化:** - **复合索引:** 创建包含多个...

    MySql 数据库入门视频学习

    - **逻辑备份**:使用`mysqldump`工具导出SQL脚本文件。 - **物理备份**:直接复制数据库文件,恢复速度快。 #### 9. 性能优化 - **索引管理**:合理使用索引来加速查询过程。 - **查询优化**:编写高效SQL语句,...

    MySQL 开发详尽教程

    以上内容全面覆盖了 MySQL 数据库的基础到高级知识,通过本教程的学习,您将能够熟练掌握 MySQL 的安装、配置、使用和管理。无论是新手还是有一定经验的开发者,都能从中获得有益的知识和技术。

    大数据入门HIVE和MySQL安装包

    例如,可以定期将Hive中的分析结果导出到MySQL,供Web应用实时查询。 总结来说,Hive和MySQL各有所长,它们在大数据生态系统中扮演着不可或缺的角色。理解并熟练掌握这两种工具的安装与使用,对大数据初学者来说是...

Global site tag (gtag.js) - Google Analytics