- 浏览: 608107 次
- 性别:
- 来自: 北京
文章分类
最新评论
-
kangh:
转载的也拿出来 都不试一下 完全错误
Nginx+ffmpeg的HLS开源服务器搭建配置及开发详解 -
wangtxlz:
#cd builders/cmake#cmake .系统提示命 ...
crtmpserver流媒体服务器的介绍与搭建 -
hnraysir:
支持支持支持
手机Android音视频采集与直播推送,实现单兵、移动监控类应用 -
wuent:
把web服务器和php框架绑定到一起?真不建议这样。。。
Swoole(PHP高级Web开发框架) -
wuent:
有更详细的性能比较吗?php,python,java
PHP中的(伪)多线程与多进程
前言:
在PHP+MySQL架构的站点中,本文重点从MySQL的角度去分析如何使Discuz!论坛(或者类似的PHP+MySQL架构的程序)应对大访问量。同时给出一些使用Memcache去减轻MySQL压力的建议。其中很多数据是个人测试的结果,如有不同意见,敬请留言告之。另外由于个人思维的问题,行文比较跳跃,特此声明!
系统分析:
单纯的从MySQL的角度出发,单台MySQL的数据库负载到每天上亿次的操作(每秒大概1100次MySQL操作,然后乘以86400)应该不是非常困难的事情。按照这个数据也就是说一个单MySQL服务器的论坛来说可以跑到2千万PV是不成问题的,我相信国内绝大部分的论坛都不可能做到每天2千万的PV,但实际情况并不是如此。当论坛PV超过百万的时候一台WEB早已经不堪重负了。
就我手头的一些数据显示,目前的Discuz!论坛的基本服务器架构是前面Squid顶着,后面才是一台DB在撑着。这种架构中,web服务器压力增大可以通过并行增加服务器解决,而MySQL压力却无处释放,在不考虑MySQL官方服务的情况下,我们通过合理的利用Memcache是可以达到减轻MySQL服务器负载的。
可能会有朋友说我们可以对数据表进行分表(注:此处分表是指通过PHP程序去分表,比如pw,dv的分表)处理,但是当前的情况是一台DB服务器已经不能支撑当前的数据处理了,通过PHP对MySQL进行的分表依然不能减轻MySQL的负载。(注:本段文字针对已经成型的系统,如果是独立开发的系统在架构前期就进行数据的同步分区还是不错的。)
还可能有朋友会说利用MySQL的主从构架,如果你提出这个问题,我就很明确的告诉你,回去看看手册吧。在Mysql Master/Slave 模式中,Slave主要是来备份数据的,只有当Master出现故障时,Slave才会接过Master的服务,对外部请求进行处理,直到Master恢复正常。就是说:在Master/Slave中,要么是Master在服务,要么是Slave在服务,不会Master/Slave同时提供服务。使用MySQL主从依然不能有效的降低MySQL的负载。
或许你又会问我为什么不使用MySQL集群(MySQL Cluster),那可是白花花的银子啊,同等金钱的付出下,获得最大的收益才是王道。PS:说句题外话,MySQL手册中将MySQL集群解释为MySQL簇,不习惯。
其实在MySQL5.1中的MySQL分区(MySQL Partition)是个很好的东西,它允许根据可以设置为任意大小的规则,跨文件系统分配单个表的多个部分。实际上,表的不同部分在不同的位置被存储为单独的表。我认为这个才是当前情况下,最积极有效的降低MySQL负载的解决方法之一。但是遗憾的是,这种MySQL分区的方式我个人没有使用过的经历,也不见有相当充分的案例表明它是稳定的或者不稳定的。所以我还在徘徊中。如果你知道,请麻烦告之!有朋友说腾讯是在用MySQL分区,但是遗憾的是我没有得到确切的数据。
好了分析总结了这么多种降低MySQL负载的方式之后,在用户环境需求等特定条件下,我得出结论在当前情况下,缓解Discuz!论坛的MySQL负载比较有效的方法就是使用Memcache!
<!--more-->
使用Memcache的理由:
1.Web Server(Lighttpd、Nginx据说都比Apache效率高好多,大家可以试用下)对CPU要求高,对内存要求低;而Memcached Server是对CPU要求低,对内存要求高,所以可以搭配使用。在对前端的Web Server上安装Memcached Server是可行的。
2.金钱金钱金钱,最少的付出,获得最大的收益。
3.简单简单简单,对于一个架构合理的系统来说,添加Memcache的支持可能只是一个批量处理文件的过程
Discuz!使用Memcache
1.在config.inc.php中增加
$memcachehost = '127.0.0.1'; |
$memcacheport = 11211; |
$memcachelife = 60; |
2.在include/common.inc.php中
$mem = new Memcache; |
$mem->connect($memcachehost, $memcacheport); |
3.修改include/db_mysql.class.php中的fetch_array、query这两个方法,并添加query_mysql方法,代码如下:
function fetch_array($query, $result_type = MYSQL_ASSOC) { |
return is_resource($query) ? mysql_fetch_array($query, $result_type) : $query[0]; |
} |
function query_memcache($sql, $type = '') { |
global $mem,$memcachelife; |
$key = md5($sql); |
if(!($query = $mem->get($key))) { |
$query = $this->query($sql, $type); |
while($item = $this->fetch_array($query)) { |
$res[] = $item; |
} |
$query = $res; |
$mem->set($key, $query , 0, $memcachelife); |
} |
return $query; |
} |
function query($sql, $type = '') { |
global $debug, $discuz_starttime, $sqldebug, $sqlspenttimes; |
$func = $type == 'UNBUFFERED' && @function_exists('mysql_unbuffered_query') ? |
'mysql_unbuffered_query' : 'mysql_query'; |
if(!($query = $func($sql, $this->link)) && $type != 'SILENT') { |
$this->halt('MySQL Query Error', $sql); |
} |
if(substr($sql, 0, 6) == 'SELECT') { |
echo '<font color="red">Cache SQL</font>:<font color="green">'.$sql.'</font><br /><br />'; |
} else { |
echo '<font color="red">Flash SQL</font>:<font color="green">'.$sql.'</font><br /><br />'; |
} |
$this->querynum++; |
return $query; |
} |
4.将需要使用Memcache缓存的SQL查询的代码由
$db->query( |
修改为
$db->query_memcache( |
注意并将
while($post = $db->fetch_array($query)) { |
修改为
foreach($query as $post) { |
没有while的$db->fetch_array可以不用修改。
下面代码有用得着的就拿去:
preg_replace("/while\([$](\w+)\s*\=\s*[$]db->fetch_array\([$]query\)\)/is", "foreach(\$query as \$\\1)", $file); |
回头放出个小工具批量替换下就可以了。
在EditPlus中可以这样替换:while\([$](.*) = [$]db->fetch_array\([$]query\)\)替换为foreach($query as $\1)
5.完成了,测试吧!~
参考资料:
对Memcached有疑问的朋友可以参考下列文章:
Linux下的Memcache安装:http://www.ccvita.com/257.html
Windows下的Memcache安装:http://www.ccvita.com/258.html
Memcache基础教程:http://www.ccvita.com/259.html
Discuz!的Memcache缓存实现:http://www.ccvita.com/261.html
Memcache协议中文版:http://www.ccvita.com/306.html
Memcache分布式部署方案:http://www.ccvita.com/395.html
发表评论
-
nginx、php-fpm默认配置与性能–TCP socket还是unix domain socket
2015-04-02 11:14 1469前几天看到一篇博客,提到php所在服务器在大并发情况下,频 ... -
使用socket方式连接Nginx优化php-fpm性能
2015-04-01 13:49 0Nginx连接fastcgi的方式有 ... -
PHP中include和require的区别详解
2015-04-01 08:32 01、概要 require()语句的性能与includ ... -
PHP 中cookie 和 session 的分析
2015-03-31 12:33 0HP 中cookie 和session 的分析 ... -
php 经典的算法题你懂的
2015-03-31 12:31 0有5个人偷了一堆苹果,准备在第二天分赃。晚上,有一人遛出来, ... -
PHP最常用的2种设计模式工厂模式和单例模式介绍
2015-03-31 12:26 0简单来说,PHP单例模式就是一个功能用一个类来实现,并且在整 ... -
PHP 数据类型
2015-03-31 12:23 0PHP 数据类型 PHP 支持八种原始类型(type)。 ... -
PHP mcrypt启用、加密以及解密过程详解
2015-03-30 11:32 1457Mcrypt扩展库可以实现加密解密功能,就是既能将明文加密, ... -
PHP扩展实现类扩展
2015-03-27 14:08 573在第一篇文章中,我们所开发的扩展是单个函数,本篇文章看一下 ... -
PHP高级工程师的面试题
2015-03-06 10:35 01. 基本知识点 HTTP协议中几个状态码的含义:1x ... -
PHP面试中常见的面试试题与算法例子
2015-03-05 14:14 0下面是四道比较常见的题目,主要考察的是对字符串函数以及文件操 ... -
PHP实现四种常用的排序算法
2015-03-05 14:09 0插入排序(Insertion Sort),选择排序(Sele ... -
用swagger-php/ui做API测试
2015-02-13 09:46 3643功能: 1 swagger-php根据自定义的规则生成API ... -
app后端设计(0)--总目录
2015-01-23 18:03 0做了3年app相关的系统架构,api设计,先后在3个创业公司中 ... -
PHP中eAccelerator、memcached、xcache、APC 4个加速、缓存扩展的区别
2015-01-23 10:26 912这篇文章主要介绍了PHP ... -
PHP内核探索:zend_parse_parameters函数
2015-01-16 14:14 961最简单的获取函数调用者传递过来的参数便是使用zend_pars ... -
实战:用C写php扩展(二)
2015-01-16 11:05 996一、前言 在我的上一篇文章“实战:用C写php扩展(一)”里介 ... -
实战:用C写php扩展(一)
2015-01-16 11:04 10151、 前言 首先,确保你的机器安装了apache和php。假 ... -
JavaScript or PHP 来检测移动设备
2014-09-22 10:04 625iPhone & iPod Detection T ... -
YII Framework学习教程-YII的Modules(模块化)
2014-08-27 11:04 751一个相对来说大的项目。如果按照yii生成的 ...
相关推荐
下Memcache缓存实现方法】 在高访问量的PHP+MySQL网站中,如Discuz!论坛,应对海量用户访问是一项挑战。本文主要探讨如何通过Memcache缓存技术来减轻MySQL数据库的压力,从而优化系统性能。Memcache是一种高性能的...
论坛就利用 Memcache 实现了缓存功能,以提升论坛页面的加载速度。 总之,Memcache 是一个强大的内存缓存系统,通过简单的 API 能够方便地集成到各种应用程序中,为高负载的网站提供快速、高效的数据缓存解决方案...
的Memcache缓存实现](http://www.ccvita.com/261.html) - [Memcache协议中文版](http://www.ccvita.com/306.html) - [Memcache分布式部署方案](http://www.ccvita.com/395.html) 以上步骤和信息旨在帮助开发者顺利...
例如,它可能使用SAE的KVDB代替传统数据库,利用SAE的Memcache服务进行缓存,以及利用TaskQueue进行异步任务处理。 2. **架构与组件**:压缩包内的文件反映了Discuz! 的核心结构。`index.php`是入口文件,负责调度...
- **source/class/class_memcache.php**:Memcached类封装文件,提供缓存功能。 - **config/config_global.php**:核心配置文件。 - **config/config_ucenter.php**:UCenter配置文件。 **方法清单** - **instance...
图片附件等存储在SAE的storage中,模板及数据缓存使用memcache。 支持连接sae的主从库 数据库备份的功能没有处理,若要进行数据库备份等操作,请在sae应用管理中提供的DeferredJob和PHPMyAdmin来操作 若官方出现...
的Memcache缓存实现》使用apt安装memcached apt-get install memcached 启动memcached 1. 终端下使用命令 memcached就可以启动 。例如 memcached -d。 2. 各个选项说明: -d选项是启动一个守护进程, -m是分配给...
例如,在Discuz论坛中,搜索功能会将结果ID存储在缓存表中,当用户再次搜索相同关键词时,系统会首先查找缓存表,而非重新执行数据库查询。此外,还可以将多个表的数据合并成一个数组存储在主表中,虽然这会增加数据...
例如,Discuz论坛因其集群部署而选择使用Memcached,但对于小型站点,使用eAccelerator或Xcache可能更合适。 eAccelerator是一款开源的PHP加速器,专注于优化PHP脚本的缓存性能,减少服务器资源消耗。它不仅缓存...
Memcache 是一种高性能的分布式内存对象缓存系统,通过减轻数据库负担来提高动态Web应用程序的速度。安装完成后,还需要配置php_memcache.dll,使其能够与PHP 5.3.21版本兼容。 #### 第七步:配置URL伪静态 URL伪...
现在你可以通过PHP代码调用Memcache服务,实现缓存功能,提升Web应用程序的性能。例如,使用`$memcache = new Memcache;`创建一个新的Memcache对象,`$memcache->connect('localhost', 11211)`连接到本地的Memcache...
需要在sae控制台初始化Memcache服务(用于缓存数据) 数据库被清除了pre_common_district表数据(城市列表),数据量太大,导入容易失败! 前面下载两个版本居然都要10个分享分,下载后不带安装教程,不带后台数据库...
Ucenter提供了一些缓存机制,如memcache或redis,用于存储用户基本信息,减少对数据库的直接访问。 综上所述,《Ucenter接口帮助文档》是开发者进行Discuz!二次开发的重要参考资料,它涵盖了接口的基本概念、使用...
本教程将详细介绍如何在Linux系统上进行Nginx+php-FastCGI的一键安装,以及添加memcache缓存服务和部署Discuz论坛系统,打造LAMP(Linux + Apache + MySQL + PHP)架构的替代方案——LNMP(Linux + Nginx + MySQL + ...
- **缓存策略**:可能调整了缓存机制,利用SAE的Memcache服务,提高数据读取效率。 - **代码优化**:针对SAE的特性进行了代码优化,减少不必要的计算和资源消耗。 4. **核心文件解析** - **favicon.ico**:网站...
支持 MYSQL 主从数据库架构、文件缓存、eAccelerator、APC、XCache、Memcache等多种数据库缓存方式。 使用 MYSQL 主从架构再配合 Memcache(分布式内存缓存系统),可以最大程度发挥 SKYUC 优势性能! 2、页面缓存...
- 分别编译安装Memcache和Memcached,它们是PHP的缓存扩展,提升网站性能。 6. **配置环境**: - 修改Apache配置文件`httpd.conf`,设置虚拟主机、目录权限等。 - 配置MySQL的my.cnf,优化数据库性能。 最后,...
1、数据库缓存:支持 MYSQL 主从数据库架构、文件缓存、eAccelerator、APC、XCache、Memcache等多种数据库缓存方式。 使用 MYSQL 主从架构再配合 Memcache(分布式内存缓存系统). 2、页面缓存:对于一定时间(可...
`memcache.inc.php`涉及Memcached缓存;`moderator.inc.php`版主工具;`moderation.inc.php`处理审核;`news.inc.php`管理新闻;`payment.inc.php`处理支付接口;`poll.inc.php`管理投票;`promotion.inc.php`促销...