`
flex_莫冲
  • 浏览: 1095602 次
  • 性别: Icon_minigender_1
  • 来自: 广州
社区版块
存档分类
最新评论

php从mysql读取超过200W行的表

阅读更多
需要从一个大表,如user表中读取所有user数据再做整理并導出csv。如果使用框架會報內存不足,因為很多php框架會將數據庫數據放入臨時變量。

PHP Fatal error:  Allowed memory size of xxxxxx bytes .....

解决办法:
1 可以用mysql_unbuffered_query 这个api不使用客户端缓存,这样就不存在php内存分配的问题。再使用mysql_fetch_assoc 逐行獲取數據
2 根据userID批量处理,分批导出多个csv文件。
3 使用臨時表保存數據,再從臨時表導出csv。

結合第1和第3點處理,原本6個小時才能生成的數據,優化後不到10分鐘導入到臨時表,很快就導出到csv了。


参考:https://www.oschina.net/question/251494_127915?sort=default&p=1#answers
分享到:
评论

相关推荐

    从MySQL导入导出大量数据的程序实现方法

    脚本通过`mysql_connect`连接到数据库,`mysql_select_db`选择需要操作的数据库,`mysql_query`执行SQL查询获取所有表的数据,然后将结果逐行写入文本文件。为了处理可能存在的换行符问题,使用`str_replace`函数...

    Beginning PHP and MySQL: From Novice to Professional, 4th Edition

    - 学习如何使用PHP从MySQL数据库中获取数据,并将其嵌入到HTML页面中,生成动态内容。 3. **用户认证与会话管理**: - 讨论如何使用PHP处理用户登录、注册过程,以及如何通过会话(session)管理用户状态,提供个性...

    php删除txt文件指定行及按行读取txt文档数据的方法

    在PHP中处理文本文件,特别是进行读取、删除特定行等操作,是非常常见的需求。本文将详细讲述如何使用PHP删除txt文件的指定行,以及按行读取txt文档数据的方法,以及如何将这些数据保存到数组中。这涉及到文件的打开...

    php导出任意mysql数据库中的表去excel文件

    在PHP中将MySQL数据库中的数据导出到Excel文件是一项常见的任务,这有助于数据备份、分析或分享。本篇文章将详细讲解如何实现这个功能,并结合给定的资源进行解析。 首先,我们需要了解基本概念。PHP是一种服务器端...

    PHP MySQL 简介及运用.md

    在 MySQL 中,数据是以表的形式存储的,表是相关数据的集合,包含了列(字段)和行(记录)。 ##### 2. PHP **PHP** 是一种流行的服务器端脚本语言,主要用于 Web 开发。PHP 提供了丰富的 API 和函数来与 MySQL ...

    [php]mysql数据库操作——DB类

    basename($_SERVER['PHP_SELF'])=='mysql.inc.php'&&header; ('Location:http://'.$_SERVER['HTTP_HOST']); //禁止直接访问本页 /** ※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※ ※...

    php简洁备份与还原MySql的方法_.docx

    PHP备份MySQL数据库的基本思路是获取数据库中的表结构和数据,然后将它们组合成SQL语句,保存为一个SQL文件。以下是一个简单的PHP备份脚本: ```php <?php header("Content-Type: text/html; charset=utf-8"); $...

    mysql 10w级别的mysql数据插入

    LOAD DATA INFILE可以直接从文件中读取数据并快速插入,而bulk_insert_buffer_size可以缓存批量插入的数据,减少磁盘I/O。 7. **索引策略**: 插入大量数据时,如果表有索引,那么插入速度会受到一定影响,因为...

    php-mysql操作类程序.zip

    介绍一个不错的PHP mysql操作类,SQL执行后的数据保存变量,读取一条数据并把数据往后移一位,如果数据为空则返回为null,更新数据库里面的数据,$t为表名,$v格式为数组格式,上标为字段名,下标为数据;$w为条件上标...

    递归循环读取省市区json文件数据,并保存到数据库中(很全面)

    在IT领域,将数据从JSON文件中读取并存储到数据库是常见的操作,尤其是在处理层次结构数据时。本示例中的“递归循环读取省市区json文件数据,并保存到数据库中”是一个全面的教程,它涵盖了从JSON解析到数据库交互的...

    (源码)基于Arduino和MySQL的天气监测系统(WAM).zip

    WAM是一个基于Arduino和MySQL的天气监测系统,旨在通过Arduino设备直接从传感器收集数据并将其插入到MySQL数据库中,无需通过PHP应用程序处理数据插入。此项目可以帮助你熟悉Arduino编程、电路设置以及MySQL数据库的...

    MySQL 查看不含有特定标签的文章并导出HTML文本

    这个命令会创建一个名为“output.txt”的文件,每行数据由逗号分隔,适合进一步处理。然后,我们可以使用Python的pandas库或其他语言的相应库读取这个文件,处理数据并将其格式化为HTML: ```python import pandas ...

    基于PHP的5w网址导航程序php版UTF8源码.zip

    可能使用的是MySQL,需要理解如何创建数据库和表,并进行CRUD(创建、读取、更新、删除)操作。 2. **前端开发**:HTML和CSS负责页面布局和样式,JavaScript用于交互效果。了解Bootstrap或Vue.js等前端框架可以帮助...

    php+mysql实现无限级分类

    这里提出一种新的方案:在MySQL表中新增一个字段,用来记录分类的层级结构,例如: ```sql CREATE TABLE `w_faqclass` ( `id` int(11) NOT NULL AUTO_INCREMENT, `pid` int(11) NOT NULL DEFAULT '0', `xid` int...

    centos7搭建owncloud教程

    然后,下载并安装 PHP:yum -C install php56w php56w-opcache php56w-xml php56w-mcrypt php56w-gd php56w-devel php56w-mysql php56w-intl php56w-mbstring。 配置 OwnCloud 现在,我们可以配置 OwnCloud 了。...

    php代码审计入坑实践.pdf

    实验任务的设计循序渐进,从搭建基础环境开始,逐渐引入代码审计工具的使用。例如,任务一涵盖了设置web应用环境,任务二和三涉及安装代码编辑器和审计工具,而任务四则专注于使用RIPS进行源代码审计。这些任务旨在...

    My Translation:PHP类和MySQL表可以高效地进行翻译。-开源

    本文将围绕标题“我的翻译:PHP类和MySQL表实现高效翻译”以及描述展开,深入探讨如何利用PHP和MySQL进行翻译,并对比使用GetText PHP函数的优劣。 首先,我们要理解标题中提到的翻译方法。PHP类和MySQL表结合使用...

    PHP XML备份Mysql数据库

    在本文中,我们将深入探讨如何使用PHP来实现XML备份MySQL数据库。这个过程涉及到几个关键步骤,包括连接到数据库,列出数据库中的所有表,选择要备份的表,以及将数据转换为XML格式并保存到文件中。 首先,我们需要...

Global site tag (gtag.js) - Google Analytics