`
jiakechong
  • 浏览: 208176 次
社区版块
存档分类
最新评论

百万级PHP网站架构工具箱

 
阅读更多
在了解过世界最大的PHP站点,Facebook的后台技术后,今天我们来了解一个百万级PHP站点的网站架构:Poppen.de。Poppen.de是德国的一个社交网站,相对Facebook、Flickr来说是一个很小的网站,但它有一个很好的架构,融合了很多技术,如 Nigix、MySql、CouchDB、Erlang、Memcached、RabbitMQ、PHP、Graphite、Red5以及Tsung。

51CTO推荐阅读:大型B2C网站高性能可伸缩架构技术探秘

Poppen.de目前有200万注册用户数、2万并发用户数、每天20万条私有消息、每天25万登录次数。而项目团队有11个开发人员,两个设计,两个系统管理员。该站点的商业模式采用免费增值模式,用户可以使用搜索用户、给好友发送消息、上载图片和视频等功能。

如果用户想享受不受限制发送消息和上载图片,那么就得根据需要支付不同类型的会员服务,视频聊天及网站其他服务也采用同样的策略。

Nginx

Poppen.de 所有的服务都是基于Nginx服务上的。前端有两台Nginx服务器在高峰期提供每分钟15万次请求的负载,每个机器已经有四年寿命,并且只有一个CPU 和3GB RAM。Poppen.de拥有三台独立的图像服务器,由三台Nginx服务器为*.bilder.poppen.de提供每分钟8万次请求服务。

Nginx 架构中一个很酷的设计就是有很多请求是由Memcached处理的,因此请求从缓存中获取内容而不需要直接访问PHP机器。比如,用户信息页(user profile)是网站需要密集处理的内容,如果把用户信息页全部缓存到Memcached上,那么请求直接从Memcached上获取内容。 Poppen.de的Memcached每分钟可以处理8000次请求。

架构中有三个Nginx图像服务器提供本地图像缓存,用户上载图 像到一个中央文件服务器。当向这三个Nginx之一中请求图像时,如果服务器本地中没有存在该图像,则从中央文件服务器下载到该服务器上作缓存并提供服 务。这种负载均衡的分布式图像服务器架构设计可以减轻主要存储设备的负载。

PHP-FPM

该网站运行在PHP- FPM上。共有28台双CPU、6GB内存的PHP机器,每个机器上运行100个PHP-FPM的工作线程。使用启用了APC的PHP5.3.x。 PHP5.3可以降低CPU和内存使用率的30%以上。

51CTO推荐阅读:Nginx + PHP-FPM + APC=绝妙的组合

程序代码是基于Symfony1.2框架之上开发的。一是可以使用外部资源,二是 能够提高项目开发进度,同时在一个著名的框架上可以让新开发人员更容易加入到团队中来。虽然没有任何事情都是十全十美的,但可以从Symfony框架中得 到很多好处,让团队可以更多的精力放在Poppen.de的业务开发上去。

网站性能优化使用XHProf,这是Facebook开源出来的一个类库。这个框架非常容易个性化和配置,能够可以缓存大部分高代价的服务器计算。

MySQL

MySQL是网站主要的RDBMS。网站又几个MySql服务器:一台4CPU、32GB的服务器存储用户相关信息,如基本信息、照片描述信息等。这台机器已经使用了4 年,下一步计划会使用共享集群来替换它。目前仍基于这个系统上进行设计,以简化数据访问代码。根据用户ID进行数据分区,因为网站中大部分信息都是以用户 为中心的,如照片、视频、消息等。

推荐专题:MySQL数据库入门与精通教程

有三台服务器按主-从-从配置架构提供用户论坛服务。一台从服务器负责网站自定义消息存储,到现在有 2.5亿条消息。另外四台机器为主-从配置关系。另外由4台机器配置成NDB族群专门服务于密集型写操作数据,如用户访问统计信息。

数据表设计尽量避免关联操作,尽可能缓存最多的数据。当然,数据库的结构化规范已经完全被破坏掉了。因此,为了更容易搜索,数据库设计创建了数据挖掘表。大部分表是MyISAM型表,可以提供快速查找。现在的问题是越来越多的表已经全表锁住了。Poppen.de正考虑往XtraDB存储引擎上迁移。








Memcached

网站架构中Memcached应用相当多,超过45GB的高速缓存和51个节点。缓存了Session会话、视图缓存以及函数执行缓存等。架构中有一个系统 当记录被修改时可以自动地把数据更新到缓存中去。未来改善缓存更新的可能方案是使用新的Redis Hash API或者MongoDB。

RabbitMQ

在 2009年中开始在架构中使用RabbitMQ。这是一个很好的消息解决方案,便于部署和集中到这个架构中去,在LVS后运行了两台RabbitMQ服务 器。在上个月,已经把更多的东西集成到该队列中,意味着同一时刻有28台PHP服务器每天要处理50万次请求。发送日志、邮件通知、系统消息、图像上载等 更多的东西到这个队列中。

应用PHP-FPM中的fastcgi_finish_request()函数集成队列消息,可以把消息异步发 送到队列中。当系统需要给用户发送HTML或JSON格式响应时,就调用这个函数,这样用户就没有必要等到PHP脚本清理。

这个系统可以改善架构资源管理。例如,在高峰期服务每分钟可以处理1000次登录请求。这表示有1000并发更新用户表保存用户的登录时间。由于使用了队列机制,可以 按相反的顺序来运行这些查询。如果需要提高处理速度,只需要增加更多的队列处理者即可,甚至可以增加更多的服务器到这集群中去,而不需要修改任何配置和部 署新节点。

CouchDB

日志存储CouchDB运行在一台机器上。在这台机器上可以根据模块/行为进行日志查询 /分组,或者根据错误类型等等。这对定位问题非常有用。在使用日志聚合服务CouchDB之前,不得不逐台登录到PHP服务器上设法日志分析定位问题,这 是非常麻烦的。而现在把所有的日志集中到队列中保存到CouchDB中,可以集中进行问题检查和分析。

Graphite

网站使用Graphite采集网站实时信息并统计。从请求每个模块/行为到Memcached的命中和未命中、RabbitMQ状态监控以及Unix负载等等。Graphite服务平均每分钟有4800次更新操作。实践已经证实要监测网站发发生什么是非常有用的,它的简单文本协议和绘图功能可以方便地即插即 用的方式用于任何需要监控的系统上。

一件很酷的事情是使用Graphite同时监控了网站的两个版本。一月份部署了Symfony框架新 版本,以前代码作为一个备份部署。这就意味着网站可能会面临性能问题。因此可以使用Graphite来对两个版本在线进行对比。

发现新版本上的Unix负载表较高,于是使用XHProf对两个版本进行性能分析,找出问题所在。

Red5

网站为用户也提供了两种类型的视频服务,一种是用户自己上载的视频,另外一种是视频聊天,用户视频互动和分享。到2009年年中,每月为用户提供17TB的流量服务。

Tsung

Tsung 是一个Erlang编写的分布式基准分析工具。在Poppen.de网站中主要用于HTTP基准分析、MySQL与其他存储系统(XtraDB)的对比分 析。用一个系统记录了主要的MySQL服务器的流量,再转换成Tsung的基准会话。然后对该流量进行回放,由Tsung产生数以千计的并发用户访问实验 室的服务器。这样就可以在实验环境中与真实场景非常接近。
分享到:
评论

相关推荐

    最新在线工具箱网站系统源码

    描述中的内容简洁,同样强调了这是一个最新的在线工具箱网站系统的源码,暗示可能包含了最新的技术栈和优化,比如前端框架、后端架构以及数据库设计等方面可能采用了当前流行的技术。 标签“在线工具箱网站系统源码...

    PHP在线工具箱源码 站长引流 在线工具箱源码 多款有趣的在线工具.zip

    为了实现这样的工具箱,开发者需要具备PHP编程基础,理解MVC(模型-视图-控制器)架构,以及数据库操作。同时,对于前端技术,如HTML、CSS和JavaScript也需要有一定了解,以创建用户友好的界面和交互效果。 总的来...

    php在线工具箱

    "PHP在线工具箱"是一个专为开发者设计的实用平台,集成了多种PHP相关的在线工具,旨在提高工作效率,简化日常编程任务。它具有易用性,安装便捷,且包含完整的站内数据,配备后台管理系统,允许用户根据需要进行个性...

    PHP在线工具箱源码站长引流必备.zip

    【PHP在线工具箱源码】是一种专门为网站管理员和开发者设计的资源,用于提供各种在线实用工具,方便他们在不离开浏览器的情况下进行日常的编程和站点管理任务。这些工具可能包括代码格式化器、加密解密器、字符编码...

    氧化氢工具箱网站源码.zip

    氧化氢工具箱网站源码是一个基于PHP编程语言开发的网站应用程序。PHP是一种广泛使用的开源脚本语言,尤其在Web开发领域中占据着重要的地位。它允许开发者创建动态、交互式的网页,提供服务器端的处理能力。 这个...

    php程序员工具箱v0.4php集成环境

    **PHP程序员工具箱v0.4:一个面向初学者的PHP集成环境** PHP作为一款广泛应用的开源服务器端脚本语言,广泛用于Web开发,创建动态交互式网站。对于初入PHP领域的爱好者来说,拥有一个集成环境是非常重要的,它可以...

    IT Tools工具箱:开发人员在线工具集合系统源码完整版

    1. **Web应用架构**:IT Tools工具箱作为一个Web应用程序,其架构可能基于常见的MVC(Model-View-Controller)模式,允许高效地分离业务逻辑、数据模型与用户界面。常见的Web框架如Spring Boot、Django或Node.js的...

    基于PHP的淮安便民网php查询工具箱v1.0源码.zip

    【标题】"基于PHP的淮安便民网php查询工具箱v1.0源码.zip" 提供的是一款基于PHP编程语言的查询工具箱,主要用于服务于淮安地区的便民网站。这个工具箱可能包含了各种实用的PHP函数、类库或者脚本,旨在帮助开发者更...

    在线工具箱源码 PHP多功能在线工具

    在线工具箱源码是一款基于PHP开发的多功能在线服务平台,它为用户提供了一系列便捷的Web工具,以帮助用户在不安装特定软件的情况下完成各种任务。这款工具箱涵盖了开发、运维等多个领域,适应于那些需要快速解决问题...

    php技术架构

    在IT行业中,PHP技术架构是构建大型互联网应用的重要组成部分,尤其在百度、新浪、腾讯、淘宝等知名互联网公司中有着广泛的应用。这些公司的技术架构因其业务规模庞大、用户流量巨大而具有高度复杂性和先进性。下面...

    多功能随身工具箱APP源码.zip

    综上所述,"多功能随身工具箱APP源码.zip"包含的项目是一个完整的移动应用开发项目,涵盖前端Android客户端和后端PHP服务器,涉及多种技术和工具,为开发者提供了深入了解和学习移动应用全栈开发的机会。

    06-PHP工具箱.rar

    标题 "06-PHP工具箱.rar" 涵盖了几个关键的IT资源,主要集中在PHP编程语言和MySQL数据库管理系统的使用上。这些资源包括不同版本的MySQL参考手册以及PHP的手册,对于开发者来说是非常宝贵的参考资料。 首先,我们来...

    类似114啦导航工具箱——115工具箱 最新开源代码修正版

    【115工具箱开源代码解析】 115工具箱是一款类似于114啦的导航工具,它集合了多种实用的在线服务,如文件管理、链接分享、云存储等功能。这款工具箱最近发布了开源代码的修正版,为开发者提供了一个学习和定制的...

    多功能随身工具箱APP源码+随身助手后台php源码

    《多功能随身工具箱APP与随身助手后台PHP源码解析》 在移动互联网时代,开发者们经常需要处理各种各样的应用开发需求。本资源包提供了“多功能随身工具箱APP源码”与“随身助手后台PHP源码”,旨在为开发者提供一个...

    二指禅站长工具箱源码.zip

    【二指禅站长工具箱源码】是一款专为网站管理员设计的综合性工具集合,它包含了多种功能,旨在帮助站长们更高效地管理和优化他们的网站。这个压缩包文件提供了这款工具箱的源代码,使得用户可以深入理解其工作原理,...

    氧化氢工具箱网站源码 (1).zip

    【标题】"氧化氢工具箱网站源码 (1).zip" 涉及的主要知识点是PHP编程语言在网站开发中的应用。PHP(Hypertext Preprocessor,超文本预处理器)是一种广泛使用的开源脚本语言,尤其适用于Web开发,可以嵌入到HTML中...

    氧化氢在线工具箱VEr1.5源码

    因此,获取并分析【氧化氢在线工具箱VEr1.5源码】的源代码,将能深入理解其架构设计、算法实现以及优化策略,对提升个人或团队的开发能力有着显著的帮助。 总的来说,【氧化氢在线工具箱VEr1.5源码】是一个集成了...

    站长工具网站源码(PHP源码)

    "站长工具网站源码(PHP源码)"这个标题表明这是一个用于创建类似站长工具的网站的PHP编程语言编写的源代码。站长工具通常包含一系列在线服务,如SEO分析、网站排名查询、Alexa排名查看、关键词挖掘等功能,帮助网站...

Global site tag (gtag.js) - Google Analytics