`
flex_莫冲
  • 浏览: 1092155 次
  • 性别: Icon_minigender_1
  • 来自: 广州
社区版块
存档分类
最新评论

PHPExcel导出大量数据超时及内存错误解决方法

    博客分类:
  • php
阅读更多
PHP导出excel相对很多童鞋都碰到了,使用phpexcel类也确实方便,但导出大数据的时候就没那么简单了,常常会伴随一些超时或内存溢出的问题,下面就给大家介绍一些方法,共同学习,共同进步。。。

PHPExcel是一个很强大的处理Excel的PHP开源类,但是很大的一个问题就是它占用内存太大,从1.7.3开始,它支持设置cell的缓存方式,但是推荐使用目前稳定的版本1.7.6,因为之前的版本都会不同程度的存在bug,以下是其官方文档:

PHPExcel1.7.6官方文档 写道

PHPExcel uses an average of about 1k/cell in your worksheets, so large workbooks can quickly use up  available memory. Cell caching provides a mechanism that allows PHPExcel to maintain the cell objects in a smaller size of memory, on disk, or in APC, memcache or Wincache, rather than in PHP memory. This allows you to reduce the memory usage for large workbooks, although at a cost of speed to access cell data.

PHPExcel 平均下来使用1k/单元格的内存,因此大的文档会导致内存消耗的也很快。单元格缓存机制能够允许PHPExcel将内存中的小的单元格对象缓存在磁盘或者 APC,memcache或者Wincache中,尽管会在读取数据上消耗一些时间,但是能够帮助你降低内存的消耗。

PHPExcel1.76.官方文档 写道

By default, PHPExcel still holds all cell objects in memory, but you can specify alternatives. To enable cell caching, you must call the PHPExcel_Settings::setCacheStorageMethod() method, passing in the caching method  that you wish to use.

默认情况下,PHPExcel依然将单元格对象保存在内存中,但是你可以自定义。你可以使用PHPExcel_Settings::setCacheStorageMethod()方法,将缓存方式作为参数传递给这个方法来设置缓存的方式。

Php代码:

$cacheMethod = PHPExcel_CachedObjectStorageFactory::cache_in_memory;

PHPExcel_Settings::setCacheStorageMethod($cacheMethod);

PHPExcel1.7.6官方文档 写道

setCacheStorageMethod() will return a boolean true on success, false on failure (for example if trying to    cache to APC when APC is not enabled).

setCacheStorageMethod()方法会返回一个BOOL型变量用于表示是否成功设置(比如,如果APC不能使用的时候,你设置使用APC缓存,将会返回false)

PHPExcel1.7.6官方文档 写道

A separate cache is maintained for each individual worksheet, and is automatically created when the    worksheet is instantiated based on the caching method and settings that you have configured. You cannot    change the configuration settings once you have started to read a workbook, or have created your first    worksheet.

每一个worksheet都会有一个独立的缓存,当一个worksheet实例化时,就会根据设置或配置的缓存方式来自动创建。一旦你开始读取一个文件或者你已经创建了第一个worksheet,就不能在改变缓存的方式了。

PHPExcel1.7.6官方文档 写道

Currently, the following caching methods are available.

目前,有以下几种缓存方式可以使用:

Php代码:

PHPExcel_CachedObjectStorageFactory::cache_in_memory;

PHPExcel1.7.6官方文档 写道

The default. If you don’t initialise any caching method, then this is the method that PHPExcel will use. Cell    objects are maintained in PHP memory as at present.

默认情况下,如果你不初始化任何缓存方式,PHPExcel将使用内存缓存的方式。

===============================================

Php代码:

PHPExcel_CachedObjectStorageFactory::cache_in_memory_serialized;

PHPExcle1.7.6官方文档 写道

Using this caching method, cells are held in PHP memory as an array of serialized objects, which reduces the    memory footprint with minimal performance overhead.

使用这种缓存方式,单元格会以序列化的方式保存在内存中,这是降低内存使用率性能比较高的一种方案。

===============================================

Php代码:

PHPExcel_CachedObjectStorageFactory::cache_in_memory_gzip;

PHPExcel1.7.6官方文档 写道

Like cache_in_memory_serialized, this method holds cells in PHP memory as an array of serialized objects,   but- gzipped to reduce the memory usage still further, although access to read or write a cell is slightly slower. 

与序列化的方式类似,这种方法在序列化之后,又进行gzip压缩之后再放入内存中,这回跟进一步降低内存的使用,但是读取和写入时会有一些慢。

===========================================================

Php代码:

PHPExcel_CachedObjectStorageFactory::cache_to_discISAM;

PHPExcel1.7.6官方文档 写道

When using cache_to_discISAM all cells are held in a temporary disk file, with only an index to their location   in that file maintained in PHP memory. This is slower than any of the cache_in_memory methods, but significantly       reduces the memory footprint.The temporary disk file is automatically deleted when your script terminates.          

当使用cache_to_discISAM这种方式时,所有的单元格将会保存在一个临时的磁盘文件中,只把他们的在文件中的位置保存在PHP的内存中,这会比任何一种缓存在内存中的方式都慢,但是能显著的降低内存的使用。临时磁盘文件在脚本运行结束是会自动删除。

===========================================================

Php代码:

PHPExcel_CachedObjectStorageFactory::cache_to_phpTemp;

PHPExcel1.7.6官方文档 写道

Like cache_to_discISAM, when using cache_to_phpTemp all cells are held in the php://temp I/O stream, with  only an index to their location maintained in PHP memory. In PHP, the php://memory wrapper stores data in the  memory: php://temp behaves similarly, but uses a temporary file for storing the data when a certain memory   limit is reached. The default is 1 MB, but you can change this when initialising cache_to_phpTemp.

类 似cache_to_discISAM这种方式,使用cache_to_phpTemp时,所有的单元格会还存在php://temp I/O流中,只把 他们的位置保存在PHP的内存中。PHP的php://memory包裹器将数据保存在内存中,php://temp的行为类似,但是当存储的数据大小超 过内存限制时,会将数据保存在临时文件中,默认的大小是1MB,但是你可以在初始化时修改它:

Php代码:

$cacheMethod = PHPExcel_CachedObjectStorageFactory:: cache_to_phpTemp;

$cacheSettings = array( ’ memoryCacheSize ’  => ’8MB’  );

PHPExcel_Settings::setCacheStorageMethod($cacheMethod, $cacheSettings);

PHPExcel1.7.6官方文档 写道

The php://temp file is automatically deleted when your script terminates.

php://temp文件在脚本结束是会自动删除。

===========================================================

Php代码:

PHPExcel_CachedObjectStorageFactory::cache_to_apc;

PHPExcle1.7.6官方文档 写道

When using cache_to_apc, cell objects are maintained in APC with only an index maintained in PHP memory   to identify that the cell exists. By default, an APC cache timeout of 600 seconds is used, which should be enough  for most applications: although it is possible to change this when initialising cache_to_APC.

当使用cach_to_apc时,单元格保存在APC中,只在内存中保存索引。APC缓存默认超时时间时600秒,对绝大多数应用是足够了,当然你也可以在初始化时进行修改:

Php代码:



$cacheMethod = PHPExcel_CachedObjectStorageFactory::cache_to_APC;

$cacheSettings = array( ’cacheTime’  => 600   );

PHPExcel_Settings::setCacheStorageMethod($cacheMethod, $cacheSettings);

PHPExcel1.7.6官方文档 写道

When your script terminates all entries will be cleared from APC, regardless of the cacheTime value, so it   cannot be used for persistent storage using this mechanism.

当脚本运行结束时,所有的数据都会从APC中清楚(忽略缓存时间),不能使用此机制作为持久缓存。

===========================================================

Php代码:



PHPExcel_CachedObjectStorageFactory::cache_to_memcache

PHPExcel1.7.6官方文档 写道

When using cache_to_memcache, cell objects are maintained in memcache with only an index maintained in  PHP memory to identify that the cell exists.

By default, PHPExcel looks for a memcache server on localhost at port 11211. It also sets a memcache  timeout limit of 600 seconds. If you are running memcache on a different server or port, then you can change   these defaults when you initialise cache_to_memcache:

使 用cache_to_memory时,单元格对象保存在memcache中,只在内存中保存索引。默认情况下,PHPExcel会在localhost和 端口11211寻找memcache服务,超时时间600秒,如果你在其他服务器或其他端口运行memcache服务,可以在初始化时进行修改:

Php代码:

$cacheMethod = PHPExcel_CachedObjectStorageFactory::cache_to_memcache;

$cacheSettings = array( ’memcacheServer’  => ’localhost’,

‘memcachePort’    => 11211,

‘cacheTime’       => 600

);

PHPExcel_Settings::setCacheStorageMethod($cacheMethod, $cacheSettings);

从初始化设置的形式上看,MS还不支持多台memcache服务器轮询的方式,比较遗憾。

PHPExcel1.7.6官方文档 写道

When your script terminates all entries will be cleared from memcache, regardless of the cacheTime value, so   it cannot be used for persistent storage using this mechanism.

当脚本结束时,所有的数据都会从memcache清空(忽略缓存时间),不能使用该机制进行持久存储。

===========================================================

Php代码:

PHPExcel_CachedObjectStorageFactory::cache_to_wincache;

PHPExcel1.7.6官方文档 写道

When using cache_to_wincache, cell objects are maintained in Wincache with only an index maintained in   PHP memory to identify that the cell exists. By default, a Wincache cache timeout of 600 seconds is used, which   should be enough for most applications: although it is possible to change this when initialising cache_to_wincache.

使用cache_towincache方式,单元格对象会保存在Wincache中,只在内存中保存索引,默认情况下Wincache过期时间为600秒,对绝大多数应用是足够了,当然也可以在初始化时修改:

Php代码:

$cacheMethod = PHPExcel_CachedObjectStorageFactory::cache_to_wincache;

$cacheSettings = array( ’cacheTime’  => 600 );

PHPExcel_Settings::setCacheStorageMethod($cacheMethod, $cacheSettings);

PHPExcel官方文档1.7.6 写道

When your script terminates all entries will be cleared from Wincache, regardless of the cacheTime value,  so  it cannot be used for persistent storage using this mechanism.

PHPExcel还是比较强大的,最大的问题就是内存占用的问题,PHPExcel啥时候能出一个轻量级的版本,不需要那么多花哨的功能,只需要导出最普通的数据的版本就好了!

以上内容是LZ在网上找的一篇比较不错的文章,虽没有彻底解决我的问题,但感觉写的不错,谨以此作为笔记,希望对看到的童鞋能够有所帮助!
分享到:
评论

相关推荐

    phpExcel导出大量数据出现内存溢出错误的解决方法

    总之,针对phpExcel在导出大量数据时出现的内存溢出问题,我们可以通过采用不同的缓存策略和数据处理方法来有效解决。理解并灵活运用这些方法,可以在保证程序运行稳定的同时,提升处理效率和用户体验。在实际开发中...

    phpExcel导出大量数据.docx

    在PHP开发中,有时我们需要处理...总结来说,phpExcel是一个强大的工具,可以帮助开发者方便地处理Excel文件,特别是导出大量数据。通过合理优化和调整,我们可以有效地处理大数据导出,同时保证系统的稳定性和性能。

    phpexcel 导入导出,html格式导出

    通过调用PHPExcel的`getActiveSheet()`方法获取当前工作表,然后使用`generateHTMLHeader()`和`generateHTMLFooter()`方法生成表格的头部和尾部,`generateHTMLRow()`方法则用于生成表格行。最后,这些HTML代码可以...

    PHPExcel导出表格数据

    在描述中提到的是PHP使用PHPExcel库导出数据,这通常涉及到从数据库或其他数据源获取数据,然后将其写入Excel文件。例如,你可能有一个包含用户信息的数据库表,你可以查询这些数据,然后使用PHPExcel将它们导出为...

    php实现利用phpexcel导入导出数据至excel

    3, 默认只有一条数据,导出至少有一条数据; 4,如果数据不超过5W条,无需分割; 5,没有做文件大小,文件类型等判断; 6, 支持导入/导出xls,xlsx,不支持csv; 7,如果文件上传之前已经损坏,程序会做判断。

    phpexcel导出工作薄

    在PHP开发中,有时我们需要处理大量数据并将其导出为Excel格式,以便用户可以方便地查看、分析或进一步处理。`PHPExcel`库是PHP中一个非常流行的选择,它允许开发者创建、读取和修改Microsoft Excel文件。在这个场景...

    thinkphp3.2整合PHPExcel 数据导入导出完整示例

    同时,为了提高性能,可以使用PHPExcel的内存管理功能,避免一次性加载大量数据导致内存溢出。 总结一下,通过ThinkPHP 3.2和PHPExcel的结合,我们可以实现高效的数据导入导出功能。理解并掌握这两个工具的使用,...

    ThinkPHP5的PHPExcel导入导出

    7. **性能优化**:由于PHPExcel处理大量数据时可能会消耗大量内存,因此在处理大数据时,可考虑使用分块读取和写入,或者使用其他轻量级的库,如Spout,来提高性能。 通过以上步骤,你就能在ThinkPHP5项目中实现...

    phpexcel导出多个工作表.zip

    在实际应用中,你可能需要处理大量数据,这时可以使用`setCellValueFromArray`批量插入数据,或者利用`PHPExcel_Calculation`进行计算。此外,还可以设置样式、调整列宽、合并单元格等,以满足更复杂的需求。 总之...

    PHPExcel数据库表导出

    PHPExcel数据库表导出PHPExcel数据库表导出

    thinkphp3.2.3整合phpexcel导出功能

    创建一个新的控制器,例如`ExportController`,并在其中编写一个导出数据的方法。这个方法将负责读取数据,创建PHPExcel对象,设置工作表,填充数据,并触发文件下载。 ```php public function exportData() { ...

    PHPExcel_数据导出excel

    在数据导出方面,PHPExcel提供了灵活的方法来组织和格式化数据。你可以将数据库查询结果、数组或其他数据结构转换为Excel表格。例如,你可以使用foreach循环遍历数据并填充到Excel工作表中,从而实现批量数据的导出...

    PHPExcel导入导出插件

    导出数据到Excel则需要创建一个新的`PHPExcel`对象,设置相应的单元格值和样式,最后通过`write()`方法将数据写入文件。例如: ```php $objPHPExcel = new PHPExcel(); $worksheet = $objPHPExcel->...

    phpExcel大数据导出

    phpExcel 导出方法,可支持大数据导出,最大数据为各个系统文件最大容量,我在项目中常用到的

    Thinkphp 3.2利用phpexcel将数据通过excel导出

    接下来,我们来看如何在ThinkPHP 3.2中创建一个控制器方法来导出数据。首先,你需要从数据库获取要导出的数据,这通常涉及到模型操作。例如,如果你有一个名为`User`的模型,你可以这样做: ```php $model = M('...

    phpExcel 导入导出带图片的excel表格

    需要注意的是,由于`phpExcel`对大型或复杂Excel文件的处理可能较慢,且不支持某些高级功能,因此在处理大量数据或高复杂度的Excel时,你可能需要考虑其他库,如`phpspreadsheet`(`phpExcel`的升级版)。...

    php实现利用phpexcel导出数据

    本篇文章将详细讲解如何利用PHPExcel库来导出数据。 首先,要使用PHPExcel库,你需要在项目中引入相应的类文件。在提供的代码片段中,可以看到以下几行: ```php include_once(APP_PATH.’Tools/PHPExcel/Classes/...

    百万量级php excel快速导出代码案例

    在PHP开发中,面对百万量级的数据...本案例提供的方法在导出大量数据时兼顾了性能和资源消耗,适用于大型数据集的快速导出需求。通过结合使用生成器、缓冲技术和分批写入,可以有效解决PHP处理百万量级数据导出的挑战。

Global site tag (gtag.js) - Google Analytics