- 浏览: 2546126 次
- 性别:
- 来自: 深圳
文章分类
- 全部博客 (676)
- linux运维 (157)
- php (65)
- mysql (78)
- nginx (27)
- apche (18)
- framework (6)
- windows (9)
- IDE工具 (23)
- struts2 (7)
- java (13)
- 移动互联网 (14)
- memcache redis (23)
- shell基础/命令/语法 (37)
- shell (50)
- puppet (4)
- C (11)
- python (9)
- 产品经理 (27)
- Sphinx (4)
- svn (12)
- 设计构建 (12)
- 项目管理 (44)
- SEO (1)
- 网站架构 (26)
- 审时度势 (42)
- 网络 (14)
- 激发事业[书&视频] (81)
- 其它 (12)
- 摄影 (8)
- android (21)
最新评论
-
zhongmin2012:
原文的书在哪里
数据库水平切分的实现原理解析---分库,分表,主从,集群,负载均衡器 -
renzhengzhi:
你好,请问个问题,从master同步数据到slave的时候,s ...
数据库水平切分的实现原理解析---分库,分表,主从,集群,负载均衡器 -
ibc789:
你好,看了你的文章,我想请教个问题, 我在用 redis的时候 ...
redis 的两种持久化方式及原理 -
iijjll:
写得非常好
数据库水平切分的实现原理解析---分库,分表,主从,集群,负载均衡器 -
iijjll:
写得非常好
数据库水平切分的实现原理解析---分库,分表,主从,集群,负载均衡器
在了解过世界最大的PHP 站点,Facebook的后台技术后,今天我们来了解一个百万级PHP站点的网站架构:Poppen.de。Poppen.de是德国的一个社交网站,相对Facebook、Flickr来说是一个很小的网站,但它有一个很好的架构,融合了很多技术,如 Nigix、MySql 、CouchDB、Erlang、Memcached、RabbitMQ、PHP、Graphite、Red5以及Tsung。
统计信息
◆200万注册用户数;
◆2万并发用户数;
◆每天20万条私有消息;
◆每天25万登录次数;
◆项目团队有11个开发人员,两个设计,两个系统管理员;
商业模式
该网站采用免费增值模式,用户可以免费使用下面任何服务:
◆搜索其他用户;
◆给好友发送消息;
◆上载图片和视频;
◆寻找好友;
◆视频聊天;
◆更多…
但如果用户想享受不受限制发送消息和上载图片,那么就得根据需要支付不同类型的会员服务,视频聊天及网站其他服务也采用同样的策略。
工具箱
Nginx
Poppen.de 所有的服务都是基于Nginx服务上的。前端有两台Nginx服务器在高峰期提供每分钟15万次请求的负载,每个机器已经有四年寿命,并且只有一个CPU 和3GB RAM。Poppen.de拥有三台独立的图像服务器 ,由三台Nginx服务器为*.bilder.poppen.de提供每分钟8万次请求服务。
Nginx 架构中一个很酷的设计就是有很多请求是由Memcached处理的,因此请求从缓存中获取内容而不需要直接访问PHP机器。比如,用户信息页(user profile)是网站需要密集处理的内容,如果把用户信息页全部缓存到Memcached上,那么请求直接从Memcached上获取内容。 Poppen.de的Memcached每分钟可以处理8000次请求。
架构中有三个Nginx图像服务器提供本地图像缓存,用户上载图 像到一个中央文件服务器。当向这三个Nginx之一中请求图像时,如果服务器本地中没有存在该图像,则从中央文件服务器下载到该服务器上作缓存并提供服 务。这种负载均衡的分布式图像服务器架构设计可以减轻主要存储设备的负载。
PHP-FPM
该网站运行在PHP- FPM上。共有28台双CPU、6GB内存的PHP机器,每个机器上运行100个PHP-FPM的工作线程。使用启用了APC的PHP5.3.x。 PHP5.3可以降低CPU和内存使用率的30%以上。
程 序代码是基于Symfony1.2框架之上开发的。一是可以使用外部资源,二是 能够提高项目开发进度,同时在一个著名的框架上可以让新开发人员更容易加入到团队中来。虽然没有任何事情都是十全十美的,但可以从Symfony框架中得 到很多好处,让团队可以更多的精力放在Poppen.de的业务开发上去。
网站性能优化使用XHProf,这是Facebook开源出来的一个类库。这个框架非常容易个性化和配置,能够可以缓存大部分高代价的服务器计算。
MySQL
MySQL 是网站 主要的RDBMS。网站又几个MySql服务器:一台4CPU、32GB的服务器存储用户相关信息,如基本信息、照片描述信息等。这台机器已经使用了4 年,下一步计划会使用共享集群来替换它。目前仍基于这个系统上进行设计,以简化数据访问代码。根据用户ID进行数据分区,因为网站中大部分信息都是以用户 为中心的,如照片、视频、消息等。
有三台服务器按主-从-从配置架构提供用户论坛服务。一台从服务器负责网站自定义消息存储,到现在有 2.5亿条消息。另外四台机器为主-从配置关系。另外由4台机器配置成NDB族群专门服务于密集型写操作数据,如用户访问统计信息。
数 据表设计尽量避免关联操作,尽可能缓存最多的数据。当然,数据库的结构化规范已经完全被破坏掉了。因此,为了更容易搜索,数据库设计创建了数据挖掘表。大 部分表是MyISAM型表,可以提供快速查找。现在的问题是越来越多的表已经全表锁住了。Poppen.de正考虑往XtraDB存储引擎上迁移。
Memcached
网 站架构中Memcached应用相当多,超过45GB的高速缓存和51个节点。缓存了Session会话、视图缓存以及函数执行缓存等。架构中有一个系统 当记录被修改时可以自动地把数据更新到缓存中去。未来改善缓存更新的可能方案是使用新的Redis Hash API或者MongoDB。
RabbitMQ
在 2009年中开始在架构中使用RabbitMQ。这是一个很好的消息解决方案,便于部署和集中到这个架构中去,在LVS后运行了两台RabbitMQ服务 器。在上个月,已经把更多的东西集成到该队列中,意味着同一时刻有28台PHP服务器每天要处理50万次请求。发送日志、邮件通知、系统消息、图像上载等 更多的东西到这个队列中。
应用PHP-FPM中的fastcgi_finish_request()函数集成队列消息,可以把消息异步发 送到队列中。当系统需要给用户发送HTML或JSON格式响应时,就调用这个函数,这样用户就没有必要等到PHP脚本清理。
这 个系统可以改善架构资源管理。例如,在高峰期服务每分钟可以处理1000次登录请求。这表示有1000并发更新用户表保存用户的登录时间。由于使用了队列 机制,可以 按相反的顺序来运行这些查询。如果需要提高处理速度,只需要增加更多的队列处理者即可,甚至可以增加更多的服务器到这集群中去,而不需要修改任何配置和部 署新节点。
CouchDB
日志存储CouchDB运行在一台机器上。在这台机器上可以根据模块/行为进行日志查询 /分组,或者根据错误类型等等。这对定位问题非常有用。在使用日志聚合服务CouchDB之前,不得不逐台登录到PHP服务器上设法日志分析定位问题,这 是非常麻烦的。而现在把所有的日志集中到队列中保存到CouchDB中,可以集中进行问题检查和分析。
Graphite
网 站使用Graphite采集网站实时信息并统计。从请求每个模块/行为到Memcached的命中和未命中、RabbitMQ状态监控以及Unix负载等 等。Graphite服务平均每分钟有4800次更新操作。实践已经证实要监测网站发发生什么是非常有用的,它的简单文本协议和绘图功能可以方便地即插即 用的方式用于任何需要监控的系统上。
一件很酷的事情是使用Graphite同时监控了网站的两个版本。一月份部署了Symfony框架新 版本,以前代码作为一个备份部署。这就意味着网站可能会面临性能问题。因此可以使用Graphite来对两个版本在线进行对比。
发现新版本上的Unix负载表较高,于是使用XHProf对两个版本进行性能分析,找出问题所在。
Red5
网站为用户也提供了两种类型的视频服务,一种是用户自己上载的视频,另外一种是视频聊天,用户视频互动和分享。到2009年年中,每月为用户提供17TB的流量服务。
Tsung
Tsung 是一个Erlang编写的分布式基准分析工具。在Poppen.de网站中主要用于HTTP基准分析、MySQL与其他存储系统(XtraDB)的对比分 析。用一个系统记录了主要的MySQL服务器的流量,再转换成Tsung的基准会话。然后对该流量进行回放,由Tsung产生数以千计的并发用户访问实验 室的服务器。这样就可以在实验环境中与真实场景非常接近。
发表评论
-
haproxy 安装配置和负载实例
2015-03-27 11:49 11538一、环境说明实验环境 OS CentOS5.4 192.1 ... -
使用DNSPOD API实现域名动态解析
2015-03-17 11:13 13328http://www.williamsang.com/arc ... -
开发人员意识感悟
2014-10-30 16:02 01.将复杂的东西整理成 ... -
架构分布施工图
2012-04-17 14:37 1994架构分布施工图 ... -
juniper SSG550 防火墙
2011-11-11 13:47 1769VPN支持 基本 ... -
F5 BIG-IP
2011-11-11 13:43 3556http://wenku.baidu.com/vi ... -
[转]架构师必须补充的能力
2011-07-19 18:12 1634http://xiammy.blog.51cto.co ... -
[转]【拯救赵明】安全方案
2011-04-13 17:03 1718http://liuyu.blog.51cto.com/183 ... -
19个心得 明明白白说Linux下的负载均衡
2011-03-10 19:49 2403一、目前网站架构一般分成负载均衡层、web层和数据库层,我其实 ... -
大型网站运维探讨和心得
2011-03-10 19:33 2697看到一篇不错的心得 ... -
百万级PHP网站架构工具箱
2011-03-01 18:21 1772在了解过世界最大的PHP站点,Facebook的后台技术后,今 ... -
非常推荐:搭建一个大型网站架构的实验环境(FreeBsd+Nginx+Squid+Apache)
2009-09-10 15:23 2161http://blog.chinaunix.net/u1/55 ... -
网站架构收集
2009-09-10 14:13 2166来自sudone.com 服务器系统架构分析日志 ... -
使用MPICH构建一个四节点的集群系统
2009-09-09 14:01 3173http://selboo.com.cn/post/202/ ... -
网站架构--来自BAIDU百科
2009-08-15 20:55 1770网站架构 一:硬架构 ... -
推荐:大型网站架构设计系列--某人的总结
2009-08-15 20:45 3144大型网站架构设计系列-我的总结如下: 1、 数据结构和产品架 ... -
门户网站运维abc
2009-08-11 15:45 2354http://bbs3.chinaunix.net/threa ... -
【转自phpchina】支付宝架构师对话腾讯研发总监
2009-07-29 17:35 2142王速瑜,腾讯 R&D研发总监,从事产品研发和管理工作, ... -
【转自phpchina】内网CTO黄晶谈架构演变
2009-07-29 17:34 1421这是一次公司内部的交流会,主题是校内的发展史和构架讲解,主讲人 ... -
web架构设计经验分享
2009-07-14 11:08 1734朱燚的技术博客,转 ...
相关推荐
泰坦新闻提要服务此版本基于石墨... +--------------------+ +---------------------+ | | | | | Poppen.de | | Newsfeed Service | | | | | +--------------------+ +---------------------+ | | Http(Restful) Tita
更新至SDK 3-支持Homey v5-新开发者(Martijn Poppen) V1.4.8 ZP3102篡改运动和二进制触点拆分 V1.4.7 ZG8101额外输入分配 V1.4.6 ZM1602脚架动作流程 V1.4.4 ZM8101添加了产品ID和产品类型ID V1.4.2 ZM1602...
弹出顺序表此页面用于在PopPen音乐的每个级别的排名表上标记奖牌。 可以按歌曲/难度级别进行标记,并且可以通过“保存”按钮将其另存为图像。 创建人: 建造安装npm install开放式开发服务器npm run dev
电赛小车源码 常规C/C++编程 【核心代码】 ├── 2003智能小车(全国大学生电子设计竞赛) │ ├── BrainCar.M51 │ ├── BrainCar.Opt │ ├── BrainCar.Uv2 │ ├── BrainCar.hex │ ├── BrainCar.lnp │ ├── BrainCar.plg │ ├── BrainCar_Opt.Bak │ ├── BrainCar_Uv2.Bak │ ├── Config.h │ ├── Follow.LST │ ├── Follow.OBJ │ ├── Follow.c │ ├── Follow.h │ ├── IOCfg.LST │ ├── IOCfg.OBJ │ ├── IOCfg.c │ ├── LightDTC.LST │ ├── LightDTC.OBJ │ ├── LightDTC.c │ ├── LightDTC.h │ ├── MetalDTC.LST │ ├── MetalDTC.OBJ │ ├── Met
内容概要:本文详细介绍了如何运用C#的各种编程特性和概念编写新年祝福语句,展示了异步编程、字符串插值、LINQ表达式查询、Lambda表达式、扩展方法、自动实现属性、元组、本地函数、模式匹配(switch表达式)、以及记录类型共十种不同的编程方式来发送独特的新春祝福。不仅加深对C#不同语法和技术点的理解,还通过实际代码实例展示了各技术特点的应用。 适合人群:主要针对已掌握C#编程语言并希望进一步提高自己编程技巧的人群,尤其对于想提升编码灵活性与效率的技术从业者。 使用场景及目标:本文提供的示例适用于希望通过特定编程元素表达心意或展示技能的情形。比如,在个人项目实践中尝试多样化的程序结构,或是用于教授编程时引入有趣的应用案例激发学生兴趣。 其他说明:文章不仅仅停留在理论层面,更重要的是提供了一个实用的方式来将抽象的语言概念具象化到生活情境中去体验。这有助于读者更加深刻地理解和记住所学到的知识要点。每一段落都有具体的代码演示,可以帮助读者跟随教程进行实操练习。
"【深度探究】基于MATLAB Simulink的DFIG-0522双馈风机模型与机侧及网侧控制策略分析",【dfig0522】MATLAB simulink双馈风机包涵机侧和网侧控制。 ,dfig; simulink; 双馈风机; 机侧控制; 网侧控制,"MATLAB Simulink中双馈风机机侧与网侧控制解析"
[C++] 小游戏 能量 1.1.2 正式版 更新日志: 1 ,加强调试模式的功能,使其可以更方便快捷的找到出现问题的地方并及时修改,如果你不是专门想去找问题的话,开着调试模式来玩游戏可能会影响你的游戏体验。 2 ,将大部分输入改为getch输入方法,使你可以更方便更快捷的来选出你所想要选择功能。 3, 修改炼狱模式游戏数值无法保存的bug,把炼狱模式的游戏数值也写到了存档里面,不要试图偷偷修改你的存档,因为它有可能会让你的程序直接崩溃爆炸。 4, 一些极小的辅助功能的修改,其中包括那一些格式的修改、一些文字的修改和代码的优化。 5, 1个彩蛋,这个彩蛋是不会直接看到,但如果你在某些界面输入 “7” (不包括双引号),你有可能会触发这个彩蛋。
JavaFX + Maven实战:可内网联机的多人在线五子棋游戏开发全解析(附Socket通信与EXE打包)
新媒体(直播)绩效考核及提成方案12.1
东方日升集团薪酬绩效管理办法
Python源码实例06之如何按照拼音顺序对中文汉字进行排序.zip
1、文件内容:SDL-devel-1.2.15-17.el7.rpm以及相关依赖 2、文件形式:tar.gz压缩包 3、安装指令: #Step1、解压 tar -zxvf /mnt/data/output/SDL-devel-1.2.15-17.el7.tar.gz #Step2、进入解压后的目录,执行安装 sudo rpm -ivh *.rpm 4、安装指导:私信博主,全程指导安装
光伏储能虚拟同步机的低频振荡抑制机制:探究阻尼系数变化对振荡的影响,光伏储能同步机,抑制低频振荡,振荡随储能阻尼系数变化而变化 ,核心关键词:光伏储能;虚拟同步机;低频振荡;储能阻尼系数;振荡变化。,"光伏储能虚拟同步机:阻尼系数调控低频振荡抑制技术"
短视频okr工作考核表
1、文件内容:LibRaw-static-0.19.4-2.el7_9.rpm以及相关依赖 2、文件形式:tar.gz压缩包 3、安装指令: #Step1、解压 tar -zxvf /mnt/data/output/LibRaw-static-0.19.4-2.el7_9.tar.gz #Step2、进入解压后的目录,执行安装 sudo rpm -ivh *.rpm 4、安装指导:私信博主,全程指导安装
1、文件内容:adwaita-qt5-1.0-1.el7.rpm以及相关依赖 2、文件形式:tar.gz压缩包 3、安装指令: #Step1、解压 tar -zxvf /mnt/data/output/adwaita-qt5-1.0-1.el7.tar.gz #Step2、进入解压后的目录,执行安装 sudo rpm -ivh *.rpm 4、安装指导:私信博主,全程指导安装
可用于在ollama上使用openai来体验本地AI大模型qwen:7b,对电脑的要求是i5,16G内存,普通显卡或集成显卡,win10或以上操作系统。
结构光CUDA多线程编程在相位单目双目结构光三维重建系统中的应用:高速500万像素三维重建技术,结构光cuda多线程程序开发可用于基于相位的单目或者双目结构光三维重建系统 0.5s500w像素三维重建。 ,核心关键词:结构光;CUDA;多线程程序开发;基于相位的单目/双目结构光;三维重建系统;0.5s重建;500w像素。,"基于CUDA多线程的结构光三维重建系统:0.5秒内完成500万像素三维重建"
太阳能光伏并网逆变器系统:电导增量法最大功率追踪,三相桥式逆变与LCL滤波器的设计优化,太阳能光伏并网逆变器系统设计,输出与电网同相,输出380v50hz,并网效果良好。 最大功率追踪采用电导增量法,前极采用双向boost升压电路,后极三相桥式逆变 控制环采用双环PI调节 逆变器采用三相桥式逆变器,坐标变含PLL锁相环,逆变器输出端加设LCL滤波器。 ,系统设计;并网逆变器;同相输出;380v50hz;最大功率追踪;电导增量法;升压电路;双环PI调节;LCL滤波器,基于电导增量法的380v50hz光伏并网逆变器系统设计
将此文件放到Unity的Plugins下,在项目中使用以下代码就可以引用 //获取打开的文件全路径 var getPath = FileTool.OpenProject(""); if (getPath!="") { Debug.Log(getPath); //上传文件到服务器 UploadServer(getPath); }