`
jaesonchen
  • 浏览: 309767 次
  • 来自: ...
社区版块
存档分类
最新评论

twitter系统架构分析

 
阅读更多

(一)twitter的核心业务
twitter的核心业务,在于following和be followed:
(1)following-关注
进入个人主页,会看到你follow的人发表的留言(不超过140个字),这是following的过程;
(2)followed-被关注
你发布一条留言,follow你的人将看到这条信息,这是be followed的过程;

(二)twitter的业务逻辑
twitter的业务逻辑也不复杂
following业务,查follow了哪些人,以及这些人发表的留言;
followed业务,前端js轮询后端,看follow了的人有没有新留言,有则更新(更新及时性取决于轮询时间);

(三)三层架构(three-tier architecture)
网站的架构设计,传统的做法是三层架构,所谓“传统”不意味着“过时”,新潮的技术不成熟,传统的路子更稳健
(1)表示层(presentation tier):apache web server,主要任务是解析http协议,将请求分发给逻辑层;
(2)逻辑层(logic tier):mongrel rails server,利用rails现成的模块,降低工作量;
(3)数据层(data tier):mysql;

数据层先来吧:
twitter的核心是(1)用户;(2)消息;(3)用户关系;
围绕这几个核心,其核心数据的schema设计:
(1)用户表user
id, name, pass, status, …
(2)消息表msg
msgid, author_id, msg, time, …
(3)用户关系表relation
id, following_ids, followed_ids

逻辑层
当用户发布消息时,依次执行:
(1)存消息至msg表;
(2)查用户relation表,找出其followed_ids;
(3)获取followed_ids中用户的状态;
(4)在线的ids,将消息push进一个队列queue;
(5)queue中的msg,更新ids的主页;
这里面要用到队列,其实现方式有很多种,例如apache mina,twitter团队自己实现了一个kestrel

表示层
表示层的主要职能有2个:
(1)http协议处理(http processor);
(2)分发器(dispatcher);
当然,访问twitter的不仅仅是浏览器,可能还有手机,由于可能存在其他协议,故可能存在其他processor。

无论如何,架构框架清晰如下:

图1:架构版本1

(四)cache=cash即缓存等于收入
cache的使用对大型网站架构至关重要,网站响应速度是影响用户体验最明显的因素,而影响响应速度最大的敌人又是磁盘io。
twitter工程师认为,良好体验的网站平均响应时间应该在500ms左右,理想的时间是200-300ms。
关于cache的使用,是twitter架构的一大看点,带cache的架构清晰如下:

图2:带cache架构版本2

哪里需要cache?IO越频繁的地方,越需要cache。
数据库是IO访问最频繁处,三大核心表是否有必要放入内存中?
twitter的做法是,将表拆分,将其中访问最频繁的字段装入cache。
(1)vector cache and row cache即数组cache与行cache
vector cache:新发表消息的msgids,相关作者的ids,这些id的访问频率很高,存放它们的cache称为vector cache;
row cache:消息正文的行cache;
内存有限的情况下,优先vector cache,实际结果vector cache的命中率是99%,row cache为95%;

(2)fragment cache and page cache
访问twitter的用户除了网页(web通道),还有手机(API通道),而后者的比例占总流量的80%-90%。
mysql cache之外,cache的重心会在API通道上。
手机屏幕的主体,是一屏一屏的消息,不妨把整个页面分割成若干局部,每个局部对应一些/一条消息,这些就是fragment
人气高的作者,缓存其页面的fragment,可以提高读取其发布消息效率,这就是fragment cache的使命。
人气旺的作者,人们也会访问其主页,这就是page cache的使命。
实际结果,fragment cache的命中率为95%,page cache为40%。
虽然page cache的命中率低,但由于是访问主页,其占用的空间是很大的,为了防止两种cache相互影响,这两种cache需要部署在不同的物理机器上
twitter的fragment cache和page cache都是使用的memcached

(3)http accelerator
web通道的缓存问题也需要解决,分析之后,web通道的压力主要来自搜索。
面临突发事件时,读者们会搜索相关信息,而不会理会这些信息的作者是不是自己follow的那些人。
为了降低搜索压力,可以将搜索关键词与搜索内容cache起来,这里,twitter的工程师使用了varnish
有趣的是,varnish通常部署在web server外层,先访问varnish,其中没有先关的内容,才访问web server;
twitter的工程师却将varnish放在apache web server的内层,原因是他们认为varnish操作复杂,担心varnish崩溃造成系统的瘫痪,故采用了这种保守型部署方式。
twitter没有公开varnish的命中率,他们声称,使用了varnish之后,整站的负载下降了50%。

(五)抗洪需要隔离
twitter架构的另一大看点是其消息队列:隔离用户的操作,将流量高峰摊平。
餐厅客满时,对于新来的顾客,虽然不能服务,但不是拒之门外,而是让他们现在休息厅等待。
用户访问twitter时,接待他的是apache web server,而apache不能接待无限多的用户。
2009年1月20日,奥巴马发表就职演说,twitter流量猛增,此时如何是好。
面对洪峰,如何保证网站不奔溃?迅速接纳,但推迟服务。
apache收到请求,转发给Mongrel,由Mongrel负责实际处理,apache则腾出手来,迎接下一位用户。
但apache能够接待的用户数总是有限的,它的并发数受apache能够容纳的工作进程数量,这里不细究apache内部原理,图如下:

图3:apache内部架构

(六)数据流与控制流
快速接纳,推迟服务,只是缓兵之计,目的是让用户不至于收到503(service unavailable)。
真正的抗洪能力,体现在蓄洪与泄洪两个方面:
(1)twitter有庞大的memcached集群,能大容量蓄洪;
(2)twitter自己的kestrel消息队列,作为引流泄洪手段,传递控制指令(引流和渠道);
洪峰到达时,twitter控制数据流,将数据及时疏散到多个机器,避免压力集中,造成系统瘫痪。
下面举例说明twitter内部流程,假设有两个作者,通过浏览器发消息,一个读者也通过浏览器阅读他们的消息。

图4:twitter流

(1)登陆apache web server,apache分配一个工作进程为其服务,登陆,查id,写cookie等;
(2)上传新写的消息,把作者id,消息等转发给Mongrel,apache等待Mongrel回复,以便更新作者主页,将新写的消息更新上去;
(3)Mongrel收到消息后,分配一个msgid,将其与捉着id等缓存到vector memcached上去;
同时,Mongrel让vector memcached查找作者被哪些人follow,缓存如果没有命中会去后端mysql查找,并入cache;
读者ids会返回给Mongrel,Mongrel把msgid与短信正文缓存至row memcached;
(4)Mongrel通知kestrel消息队列服务器,每个作者及读者都有一个队列(没有则创建);
Mongrel将msgid放入读者的队列,以及作者本人的队列;
(5)某一台Mongrel,它可能正在处理某一个id的队列,就会往返回该id用户的主页上添加上此条信息;
(6)Mongrel将更新后作者的主页给前端等待着的apache,apache则返回浏览器。

(七)洪峰与云计算
不细说了,洪峰扛不住时,只能加机器。
机器哪里来?租云计算平台公司的设备
当然,设备只需要在洪峰时租用,省钱呀(@58沈剑 疑问:twitter怎么知道什么时候是洪峰?)。

(八)push与pull的折衷
可以看到,Mongrel的工作流程:
(1)将相关ids放入vector memcached和row memecached就算消息发布成功,而不负责mysql数据库的存入;
(2)将相关msgid放入kestrel消息队列就算消息推送成功;
Mongrel没有使用任何方式去通知作者、读者,让他们重新拉取消息。
上述工作方式,反映了twitter架构设计“分拆”的理念:
(1)将一个完整的流程分拆成独立工作的子流程,一个工作可以由各个服务负责(三层架构本身是一种分拆);
(2)多机器之间协作,细化数据流与控制流,并强调其分离;

twitter业务流程的分隔,是一种事件驱动式的设计,主要体现在两个方面:
(1)Mongrel与mysql的分离,前者不直接插手mysql的操作,而委托memcached全权负责;
(2)上传、下载逻辑分离:只通过kestrel队列来传递指令;

(九)完结
58沈剑:原文作者不容易,收集了好些资料,此文以作阅读笔记。

分享到:
评论

相关推荐

    Twitter系统结构分析

    ### Twitter系统结构分析 #### 一、引言 Twitter作为全球知名的社交平台之一,自2006年推出以来便迅速走红。其简洁明了的界面和独特的微博客功能吸引了大量的用户。本文将深入剖析Twitter的核心技术架构,探讨它是...

    系统架构学习 Twitter系统架构设计分析

    系统架构学习 参考文献 Twitter系统架构设计分析

    Twitter系统架构设计分析.pdf

    ### Twitter系统架构设计分析 #### 一、万事开头易——核心业务逻辑与初期架构 **1.1 核心业务逻辑** Twitter的核心业务逻辑主要基于两大功能:Following(关注)和Be followed(被关注)。当用户关注其他用户时...

    Twitter的核心架构设计分析.docx

    3. 微服务架构设计:Twitter 的微服务架构设计是基于高可扩展的体系架构,能够支持处理各种业务。 Twitter 的微服务架构设计可以分为两个阶段:第一个阶段是使用具有深包缓冲区的网络设备,第二个阶段是使用更加标准...

    基于Twitter大数据处理的境外舆情分析系统设计与实现.pdf

    在设计基于Twitter大数据处理的境外舆情分析系统时,系统的主要组成部分包括数据抓取、数据预处理、数据存储、数据分析和可视化展示等几个关键步骤。具体到技术实现,涉及到使用Python语言及其相关的库,如tweepy...

    基于redis的分布式缓存系统架构分析_张威.pdf

    【基于Redis的分布式缓存系统架构分析】 在现代高并发的互联网应用中,为了提高数据访问的速度和系统性能,往往采用缓存技术。基于Redis的分布式缓存系统因其高效、灵活的特点,被广泛应用于大型应用系统中。Redis...

    Twitter好友关系数据

    通过深入挖掘和分析“Twitter好友关系数据”,我们可以获得关于用户行为、网络结构和社会动态的宝贵洞察,为社交媒体营销、用户推荐系统、舆情监控等领域提供数据支持。然而,处理此类数据时应遵循数据隐私和保护...

    中科大软院软件体系结构作业题目及答案

    作业可能要求分析知名软件系统的架构,如Apache Hadoop、Twitter的雪崩系统或Netflix的OSS平台。 7. **架构风格与模式**:了解并掌握各种架构风格,如客户端-服务器、面向服务架构(SOA)、微服务架构等,以及它们...

    社交新媒体分析方法-以Twitter为例.pdf

    社交新媒体分析方法主要聚焦于如何从海量的社交媒体数据中提取有价值的信息,以Twitter为例,本文深入探讨了如何利用Python NLTK工具包进行分析。在当前的互联网时代,社交媒体如Twitter、Facebook和微博已经成为...

    仿twitter社区源码推特PHP源码修复版

    5. 错误日志分析:通过查看错误日志,找出并解决代码中的问题。 6. 安全性:防止SQL注入、XSS攻击等,确保用户数据的安全。 文件"A1499_OHYMW.COM"看起来像是源码文件的一部分,可能包含了项目的核心代码或者配置...

    Event Detection in Twitter

    通过该系统,研究团队成功地识别出了与选举相关的各种事件,展示了EDCoW在处理大规模社交媒体数据方面的强大能力。 #### 结论与展望 总体而言,EDCoW提供了一种新颖且有效的方法来应对Twitter上事件检测的挑战。它...

    大数据管理和数据挖掘及它们在twitter的应用实例

    大数据管理挖掘技术Hadoop的系统架构为处理大数据提供了强大的支撑。Hadoop通过其核心组件HDFS提供高可靠性、高吞吐量的数据访问,MapReduce等编程模型则为数据的分布式处理提供了简单编程模型和运行环境。此外,...

    Twitter storm

    ### Twitter Storm:实时计算系统详解 #### 背景与定义 Twitter Storm 是一款由Apache基金会维护的开源分布式实时计算系统。它最初由BackType公司开发,并于2011年开源,随后被Twitter收购并进一步发展。Storm 的...

    Twitter使用的技术详细解析

    通过引入"Storm"流处理系统,Twitter能够实时分析和处理来自全球用户的推文。此外,Twitter的"Snowbird"项目改进了信息检索和推荐算法,提高了用户体验。同时,Twitter的"Firehose"接口则为开发者和第三方服务提供了...

    Storm @Twitter-Slides.pdf

    Storm是一个分布式、容错的实时计算系统,它允许用户对持续流入的数据进行分析,以便在数据产生时立即做出反应。其数据模型基于有向无环图(DAG),其中顶点代表计算逻辑,边则表示数据流。在Storm中,有两种主要...

    com.twitter.app.TwitterApplication..zip

    通过对Twitter应用的深入理解,我们可以了解到这个核心组件在Android系统中的运行机制,以及它如何实现高效的数据流和用户体验。 首先,我们要明确的是,`.apk`文件是Android应用程序的安装包,相当于iOS中的`.ipa`...

    《分布式系统常用技术及案例分析》PDF

    第三部分选举了以淘宝网和 Twitter 为代表的国内外知名互联网企业的大型分布式系统案例,分析其架构设计以及演变过程;这部分相当于是对第二部分零散的技术点做一个“串烧”,让读者可以结合技术的理论,看到实战的...

Global site tag (gtag.js) - Google Analytics