`
wbj0110
  • 浏览: 1603079 次
  • 性别: Icon_minigender_1
  • 来自: 上海
文章分类
社区版块
存档分类
最新评论

让你的dede快10倍以上

    博客分类:
  • php
阅读更多

测试数据是无意中得到的企业黄页的数据,数据量将近90万,都是完全真实的数据,测试使用的程序是 dedecms4.0版本,你问为什么不用dedecms5.1?那是因为我们为了优化,针对dedecms做了很多修改,如果使用 dedecms5.1,我们害怕收到法院传票……,补充一句,以下的优化方法均能在dedecms5.1中使用,请在理解其原理的基础上自行完成。
未优化前我们测试发现主要有三个经常性的操作在dede大数据量的情况下影响管理性能,分别是文档生成、列表页生成和栏目列出所有文章,我们就针对这三个方面进行优化实践。
以下是测试数据的基本信息:

1.改进文档生成速度

    问题提出:和我们前一次测评结果相同,dedecms的文档的生成速度惨不忍睹。使用默认模板(article_article.htm),平均接近30秒才能生成20个页面(如图),按照这个速度生成下去,90万的数据全部生成网页能等到头发都白了。那么到底问题在哪里呢?

问题分析
    先排除表索引的问题,因为dede的数据库已经在数据主表(dede_archives)为主要字段都建立了索引。再排除主要内容的提取效率问题,因为页面生成过程中读取页面中的文章数据,每次需要到主表和附表中select取得id值唯一的数据内容,这个SQL语句的效率我们通过直接在mysql中运行SQL语句测试,执行时间非常短,因此这也不是最大的瓶颈。

    终于在页面生成过程中,我们发现程序执行了数次主表(dede_archives)查询,并取出符合一组复杂查询条件数据的操作,查询效率非常低,原来是它在影响效率!通过调试跟踪,我们定位了问题的关键,元凶就是模板中arclist标签。 Arclist标签是很多人很喜欢用的标签,因为它比较灵活,能从数据中取出热门、最新、相关等各种类型的文章列表,但是arclist标签每次都会带着一大推搜索条件去主表中查询,实际上对于一次性生成大量文章来说,如果使用相同的模板,arclist对数据库的查询操作只是简单机械重复罢了,为此而耗费了大量时间绝对是不值得的。接下来我们给出问题解决的建议。

解决问题

    解决方案1:去掉最终页面模板中的arclist标签,或者尽可能少用。这个方法虽然能极大提高效率,但是无异于泼水把孩子泼走了,对于企图增加访问pv的网站来说,不建议使用。

    解决方案2:建立arclist缓存,将每次arclist生成的数据放到临时目录或者缓存当中,在文档生成过程中判断缓存是否有更新,如果无更新,直接使用缓存数据。这个方法无需改变模板,对于提高生成效率也有一定的效果,但由于对程序改动较大,酌情考虑使用。

    解决方案3:也是小组建议的解决方案,那就是充分挖掘现有dedecms的功能,在尽量不改变程序的基础上,大幅提高效率。具体的方法就是通过freelist(自由列表生成)功能事先生成热门文章、最新文章、相关文章等内容的列表页面,然后使用 dedecms提供的include标签直接引入文档页面。标签格式为:{dede:include file='列表页面文件名称' ismake=' no'/}。这个方案优点在于仅增加部分操作步骤,没有改动任何程序,性能提高亦非常明显。下图就是我们利用这个方法优化后的生成速度,仅用时50秒就完成了1500多页的文章生成,达成目标优化效果。此方案由于增加了操作步骤,懒人慎用。


2.改进列表页面生成速度

问题提出
    接下来我们继续测试列表页面的生成,这次我们学乖了,先把模板(list_article.htm)中的arclist标签删除后再测试,但是生成效果依然非常不理想。如下图,每个列表页面生成时间接近20秒(我们修改了页面结果输出提示,为了大家更方便看到每个列表页面生成时间),按照每页50条数据计算,生成单个栏目的3万数据理论上也要花费3个多小时,生成90万数据……无语ing。由于列表内容使用的是list标签,这是一个和arclist有点类似的标签,因此我们不能延续上面的做法来解决问题,只能另辟蹊径。


问题分析
    由于目标锁定在list标签,测试的过程就简单了。我们直接使用dedecms中list的查询语句做优化分析,很快发现了问题。我们测试了list中的sql查询语句,以下代码就是list用来查询数据库中对应条件的SQL语句,执行时间大约为15秒,效率很不理想。

Select arc.ID,arc.title,arc.iscommend,arc.color, arc.typeid,arc.ismake,arc.money,arc.description,arc.shorttitle, arc.memberid,arc.writer,arc.postnum,arc.lastpost, arc.pubdate,arc.senddate,arc.arcrank,arc.click,arc.litpic, tp.typedir,tp.typename,tp.isdefault,tp.defaultname, tp.namerule,tp.namerule2,tp.ispart,tp.moresite,tp.siteurl from dede_archives arc left join dede_arctype tp on arc.typeid=tp.ID left join qiye_a**narticle on arc.ID = qiye_a**narticle.aid where arc.arcrank > -1 And ( ( arc.typeid='1′ ) or arc.typeid2='1′) order by arc.sortrank desc limit 0,50

        我们注意到这个SQL语句中的where子句使用了 and和or的多种条件判断,经验告诉我们如果查询子句中使用了in或者or语句,会导致全表扫描,这样的话索引的效率就无法体现。我们简化了where 子句的判断条件进行测试,结果发现删除了or子句之后,查询效率大幅提升,上面的查询语句只用时不到1秒就获得了查询结果。这就是问题关键。

    对于list查询来说,arc.typeid2='1′这个条件目的是查找某个文章所属的第二分类,而事实上这个功能在大部分情况下很少使用,因为我们大可使用标签(tag)来完成一篇文章的多个不同分类的归属,因此我们修改文件 inc_arclist_view.php,在查询语句中直接删除了typeid2的条件判断,并在pub_db_mysql.php中改进了查询执行函数(主要用于提高sql语句执行的效率,对最终结果影响不大),得到的最终测试结果如下,平均每个列表页面的生成时间下讲到不到1秒,3万数据600个列表页面生成只需要花费不到10分钟,优化目标达成。

3.改进文档管理效率

问题提出
    在90万这个数据量的情况下,dedecms打开栏目文章列表,尤其是打开所有档案列表企图进行文章管理的时候,速度简直无法让人忍受。我们点击所有文档列表,耐着性子等了将近2分钟,文章列表页面才姗姗来迟。到底什么在制约着文章列表速度呢?

分析问题
    控制显示文档列表的程序是dede/content_list.php和include /pub_datalist_dm.php,其中content_list.php是主控制程序,完成列表的参数传递和模板显示,而 pub_datalist_dm.php用于完成数据查询和分页等操作。通过程序调试,我们找到了问题的结症在于pub_datalist_dm.php 程序中对于全部数据的统计花费了大量的时间,而使用limit的列表数据的查询并不是性能的瓶颈。影响效率的关键代码为:

$this->dsql->Query();
$this->totalResult = $this->dsql->GetTotalRow();

        这里所用的数据总数统计的方式居然是通过 content_list.php传递过来一个复杂的查询语句,然后执行这个查询并将结果保存到数据集中,最后通过mysql_num_rows函数统计结果集中行的数目,完全没有想到dedecms居然走了一个最远的路途完成一个最简单的操作,难怪效率低得可怕。因此只要我们改用最常见的count方法来统计数据,执行效率就能大幅提高。

解决问题
    首先我们修改了程序content_list.php,构造了$conutquery参数用来保存统计使用的SQL语句,代码如下:

……
$conutquery=”
select count(*) as totalResult
from #@__archives
left join #@__arctype on #@__arctype.ID=#@__archives.typeid
left join #@__channeltype on #@__channeltype.ID=#@__archives.channel
left join #@__admin on #@__admin.ID=#@__archives.adminID
$whereSql
order by #@__archives.{$orderby} desc”;
……

然后将这个参数和查询$query参数一起传递给pub_datalist_dm.php进行处理。

$dlist->SetSource($query,$conutquery);

随后将pub_datalist_dm.php中获得数据总数统计的代码替换为使用$conutquery参数:

……
//统计优化
$row = $this->dsql->GetOneSimple($this->countSql);
$this->totalResult = $row['totalResult'];
……

    其中GetOneSimple是新构造的一个用来执行SQL语句的函数,我把它放在了pub_db_mysql.php类里面,主要的用途就是返回SQL语句执行结果, $this->countSql是上一个程序传递过来的统计使用的SQL代码,$this->totalResult用来记录数据统计结果。程序修改之后,获得了满意的效果。

分享到:
评论

相关推荐

    DEDE内核分类信息网站源码

    10. **安全防护**:DEDE内核会有一系列的安全措施,如防止SQL注入、XSS攻击等,保障网站不受恶意攻击。 总的来说,"DEDE内核分类信息网站源码"是一个集成了多种功能和工具的完整解决方案,可以帮助开发者快速搭建一...

    实战课程_DEDE织梦后台开发

    10. **故障排查与维护**:学习如何处理常见的后台问题,如错误日志分析、备份恢复、升级更新等,确保网站稳定运行。 通过本课程的学习,学员不仅可以提升DEDE织梦后台开发的专业技能,还能更好地适应PHP高级开发的...

    DEDE超级标签 绿色无广告版

    3. **易用性**:DEDE超级标签通常具有直观的界面和简化的操作流程,让非技术背景的网站管理员也能轻松使用。通过拖拽和配置,可以快速创建和管理标签,减少编写复杂SQL语句的工作量。 4. **代码生成**:此工具可能...

    dede 自考 资料 网站模板

    10. **安装和配置**:用户需要了解如何安装DEDE CMS系统以及导入并配置这套自考模板。这涉及到数据库连接设置、模板启用、网站基本设置等步骤。 总的来说,【dede自考资料网站模板】是一个全方位的解决方案,集成了...

    delphi dede.5

    - Delphi的编译器能够生成高效的本地机器代码,使得生成的应用程序运行速度快,体积小。 2. **VCL库**: - VCL(Visual Component Library)是Delphi的核心组件库,包含了大量的预先编写好的可视化和非可视化组件...

    dede源码整站

    【dede源码整站】是一个专为构建企业门户网站设计的源码,具有高端大气的界面风格,适合希望创建专业且吸引眼球的企业网站的用户。这个源码基于DEDECMS(织梦内容管理系统),它是一个广泛应用的开源PHP CMS平台,以...

    dede中日期的调用

    {dede:arclist row='10'} [field:link/]" title="[field:title/]"> [field:title/] [field:pubdate function="GetDateMK(@me)"/] {/dede:arclist} ``` **3. 首页** 首页作为网站的门面,通常也会展示...

    dede后台密码重置文件

    10. **用户认证机制**:理解DEDECMS的用户认证过程,包括哈希算法、盐值等,以及如何验证和更新存储的密码。 通过上述知识点,我们可以更全面地了解DEDECMS后台密码重置的过程,以及在实际操作中需要注意的安全和...

    dede新手学习文档

    《dede新手学习文档》是一份专为初学者和有一定经验的开发者准备的教程,主要讲解了DEDE(织梦内容管理系统)中的标签、语法及其使用方法,对于DEDE的开发工作具有极大的辅助作用。DEDE是基于PHP的开源CMS系统,广泛...

    dede标签大全_详解

    以上代码展示了如何使用`{dede:list}`标签来显示最新的10篇文章,并通过`{dede:pagelist}`标签实现了文章列表的分页功能。此外,我们还可以通过调整`listitem`参数来定制不同的分页样式。 通过本文介绍的各种Dede...

    DEDE婚纱源码

    "DEDE婚纱源码"是一套专为搭建婚纱摄影网站设计的开源代码,基于DEDE内容管理系统(CMS)开发。DEDE CMS是中国较为流行的内容管理框架之一,以其易用性和强大的功能深受用户喜爱。这套源码包含了一系列用于构建专业...

    dede标签代码很好用的

    例如,`{dede:arcrow num='10'}` 就是一个常用的标签,用于在页面上显示最近10篇文章。 描述中提到的“很好的DEDE标签代码只要根据自己的需求直接调用”,这意味着DEDE标签提供了丰富的自定义选项。用户可以根据...

    DEDE企业网站模版

    "DEDE企业网站模版"是一款专为中小企业设计的网站构建解决方案,由志诚科技开发。这个模版基于DEDE内容管理系统(CMS),一个广泛使用的开源PHP平台,它提供了丰富的功能和灵活的设计选项,帮助企业快速建立专业且...

    DEDE CMS 学校门户网站

    DEDE CMS 学校门户网站模板是一款专为中学设计的网站构建解决方案,基于知名的DEDE CMS内容管理系统。DEDE CMS,全称是“ Dedecms”,是中国广泛应用的开源CMS平台,以其强大的功能和易于操作的特性受到众多网站管理...

    dede标签不全

    - 按ID升序排列:`{dede:arclist channelid='' row='10' titlelen='60' orderby='id' orderway='asc' }` 4. **自定义属性值**: - `flag`参数允许设置自定义属性,例如`flag="c"`代表推荐文章。其他可用的属性值...

    dede5.3 新闻发布系统软件

    10. **数据分析**:系统内置或者通过集成第三方工具,可以提供访问统计、热门文章、用户行为分析等功能,帮助运营者了解网站的运行情况,优化内容策略。 总之,dede5.3新闻发布系统为建立和管理新闻网站提供了一套...

    一套改造过的DEDE MIP模板

    DEDE MIP模板是基于DEDE CMS(织梦内容管理系统)和MIP(Mobile Instant Pages,移动加速页面)技术的一款经过改造的网站模板。DEDE CMS是中国广泛应用的开源CMS系统,它提供了强大的内容管理功能,方便用户搭建和...

    dede常用代码[借鉴].pdf

    10. **产品展示(dede:list)**: - `pagesize`, `imgwidth`, `imgheight` 控制每页显示的产品数量以及图片的宽度和高度。 - `dede:list` 标签用于创建产品列表,包含图片链接和文字链接。 11. **位置导航(dede:...

    dede标签大全

    织梦(DedeCMS)是一款基于PHP...以上就是织梦DedeCMS常用的标签调用大全,它们极大地简化了模板开发工作,让网站的搭建和维护变得更加高效。了解并熟练运用这些标签,可以帮助你快速构建出功能丰富、易于管理的网站。

    织梦系统(dede)标签使用及问题解决方法总结.pdf

    {dede:arclist}标签可以用来显示文章列表,例如:<ul>{dede:arclist row='10' typeid='1'}<li><a href='[field:arcurl/]'>{field:arctitle/}</a></li>{/dede:arclist} {dede:arcbody}标签可以用来显示文章内容,...

Global site tag (gtag.js) - Google Analytics