`
houzhaowei
  • 浏览: 499144 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

微博feed系统的push和pull模式和时间分区拉模式架构探

阅读更多

sns系统,微博系统都应用到了feed(每条微博或者sns里的新鲜事等我们称作feed)系统,不管是twitter.com或者国内的新浪微博,人人网等,在各种技术社区,技术大会上都在分享自己的feed架构,也就是推拉模式(timyang上次也分享了新浪微薄的模式)。下面我们就微博的feed推拉(push,pull)模式做一下探讨,并提出新的时间分区拉模式

众所周知,在微博中,当你发表一篇微博,那么所有关注你的followers(粉丝)都会在一定的时间内收到你的微薄,这有点像群发一封邮件,所有的抄送者都会在一定的时间内收到。到这里,你可能觉得没有什么难度。我们看下下面的截图:

图一:新浪微博姚晨

图二:twitter上冯大辉

新浪微博的姚晨粉丝有2594751,她发表任何一篇微博,都需要2594751个粉丝在一定的时间内收到,twitter的冯大辉发表一篇的话,需要19868个followers收到。

相反,姚晨需要收到他关注的545个人的所有更新,冯大辉需要收到他关注的2525个人的所有更新。到这里,你是不是感觉到有那么一点点小挑战呢?

下面我们看下微博一般的整体结构图:

图三:微博整体结构

图中展示了微博的整体数据流程,先了解下整体的数据结构,没有涉及到followers等的推拉模式处理。下面我们再看下推模式(push):

图四:推模式结构

推模式需要把一篇微博推送给所有关注他的人(推给所有的粉丝),比如姚晨,我们就需要推送给2594751个用户的feeds表中。当然,feeds表可以很好的进行sharding,存储也都是一些数字型的字段,存储空间可能不是很大,用户在查询自己关注的所有人的feed时,速度快,性能非常高,但是推送量会非常大,姚晨发表一篇,就会产生200多万条数据。试想,一个大量用户的微薄系统通过使用推模式,是不是会产生非常惊人的数据呢?

下面看下拉模式(pull)

图五:拉模式

拉模式只需要用户发表微博时,存储一条微博数据到feeds表中(feeds表可以是一个临时表,只保存近期可接受范围的数据).用户每次查询feed时都会去查询feeds表。比如姚晨打开自己的微薄首页,就产生:SELECT id FROM feeds where uid in(following uid list) ORDER BY id DESC LIMIT n(查询最新的n条),缓存到memcached

uidlist=>{data:id list,timeline:上次查询出来的最新的一条数据的时间}

再次刷新:SELECT id FROM feeds where uid in(following uid list) AND timeline>(memcached存储的上次的timeline) ORDER BY id DESC LIMIT n

这种模式实现起来也是比较简单和容易的,只是在查询的时候需要多考虑下缓存的结构。但是feeds表会产生很大的压力,怎么说feeds表也要保存最近十天半个月的数据吧,对于一个大点的系统,这会产生比较大的数据,如果following的人数比较多,数据库的压力就会非常大。而且一般在线的用户,客户端都会定期扫描,又会增加很大的压力,这在查询性能上没有推模式的效率高。

下面我们在对拉模式做一下改进优化

图五:拉模式(pull)-改进(时间分区拉模式

拉模式的改进主要是在feeds的存储上,使用按照时间进行分区存储。分为最近时间段(比如最近一个小时),近期的,比较长时期等等。我们再来看下查询的流程,比如姚晨登陆微博首页,假设缓存中没有任何数据,那么我们可以查询比较长时期的feeds表,然后进入缓存。下一次查询,通过查询缓存中的数据的timeline,如果timeline还在最近一个小时内,那么只需要查询最近一个小时的数据的feed表,最近一个小时的feeds表比图四的feeds表可要小很多,查询起来速度肯定快几个数量级了。

改进模式的重点在于feeds的时间分区存储,根据上次查询的timeline来决定查询应该落在那个表。一般情况下,经常在线的用户,频繁使用的客户端扫描操作,经常登录的用户,都会落在最近的feeds表区间,查询都是比较高效的。只有那些十天,半个月才登录一次的用户需要去查询比较长时间的feeds大表,一旦查询过了,就又会落在最近时间区域,所以效率也是非常高的。

关于时间的分区,需要根据数据量,用户访问特点进行一个合理的切分。如果数据发表量非常大,可以进行更多的分区。

上面介绍的推模式和拉模式都有各自的特点,个人觉得时间分区拉模式弥补了图四的拉模式的很大的不足,是一个成本比较低廉的解决方案。当然,时间分区拉模式也可以结合推模式,根据某些特点来增加系统的性能。

后记:本文的目的是介绍时间分区拉模式,本人对新浪微博和twitter等的推拉模式的细节并不清楚。

[文章作者:孙立 链接:http://www.cnblogs.com/sunli/

分享到:
评论
1 楼 di1984HIT 2013-02-18  
请问这是用什么图画的啊

相关推荐

    微博feed系统的推(push)模式和拉(pull)模式和时间分区拉模式架构探讨1

    【微博Feed系统的推(push)模式和拉(pull)模式及时间分区拉模式架构探讨】 微博Feed系统是社交媒体平台的核心组成部分,它负责展示用户关注的人或事物的最新动态。推模式和拉模式是两种常见的实现方式,各有优缺点,...

    微博feed系统的推(push)模式和拉(pull)模式和时间分区拉模式架构探讨

    目前,微博feed系统主要采用推(push)模式和拉(pull)模式,而随着技术的进步,时间分区拉模式被提出作为改进策略,以应对大规模数据处理和实时性要求所带来的挑战。 推模式的运作原理类似于邮件群发系统,当用户发布...

    新浪微博架构和FEED架构分析--人人架构1

    总结来说,新浪微博的架构设计经历了从快速原型到应对大规模用户的过程,涉及了推送模式优化、数据库拆分和索引策略的调整,以及系统的模块化和异步化处理。这些经验对于理解大规模社交网络的架构设计具有重要的参考...

    朋友圈微博feed流,推拉实践

    在设计和优化feed流系统时,通常有两种主要的实现方式:拉模式(Read Diffusion)和推模式(Write Diffusion)。 **一、拉模式(读扩散)** 在拉模式中,数据的读取是扩散的。每个用户的feed队列只存储他们自己...

    微博和知乎中的 feed 流是如何实现的?1

    实现这一功能涉及到多种技术和策略,包括推送(Push)与拉取(Pull)模式,以及高效的数据库设计和缓存策略。 【标签】:观察者模式 【正文】: 在微博和知乎这样的社交平台上,feed流的实现主要涉及到两个核心...

    新浪微博开放平台中的Redis实践_大数据时代feed架构_微博消息系统架构演进_互联网公司技术架构资料.新浪微博.微博架构与平台安全_构建高性能的微博系统

    新浪微博开放平台中的Redis实践_大数据时代feed架构_微博消息系统架构演进_互联网公司技术架构资料.新浪微博.微博架构与平台安全_构建高性能的微博系统——再谈新浪微博架构 演讲视频,PPT,一些收集的博客地址等

    微博架构文档

    V2.0的存储采用了分布式数据库,拆分了缓存和实时搜索消息队列(MQ),异步处理信息,这些变化标志着微博开始走向高并发和大数据处理的架构模式。 微博架构继续演进,到V3.0和V4.0版本,微博开始对核心服务进行了...

    亿级访问量下的新浪微博系统架构.doc

    这种架构设计使得微博能够应对亿级访问量的挑战,通过服务化和组件化提升了系统的可扩展性和灵活性,而监控和治理平台则确保了系统的稳定性和高效运行。随着技术组件的不断丰富和完善,微博的架构持续演进,以适应...

    微博.亿级用户下的新浪微博平台架构_2014

    本篇将详细探讨微博的技术架构、技术挑战、架构演变、Watchman分布式服务追踪系统以及Feed多级双机房缓存系统等知识点。 首先,微博的技术架构主要包括客户端和服务器端两部分。客户端包括Web端、Android应用和...

    新浪微博架构

    微博架构 feed 介绍,精彩不要错过~~

    Facebook的news feed架构,最新公开资料

    综上所述,Facebook的News Feed架构是一个复杂而灵活的系统,它不仅需要处理海量数据,还需要不断适应新的技术和用户需求。通过采用先进的技术手段和策略,Facebook成功地构建了一个高效稳定的新闻推送系统,为全球...

    新浪微博架构猜想.pdf

    【新浪微博架构猜想】 新浪微博作为一款大型...综上所述,新浪微博的架构设计充分考虑了高性能、实时性和可扩展性,通过各种缓存策略、数据聚合方法以及混合的推送和拉取模式,实现了大规模社交媒体平台的高效运行。

    亿级用户下的新浪微博平台架构

    为了支持亿级用户规模,微博的技术架构历经多次重大调整和优化,逐步形成了一套成熟而复杂的系统。 1. 微博的技术架构 微博的技术架构主要分为客户端、接入层和后台三大部分。客户端包括Web端、Android端和iPhone端...

    亿级用户下的新浪微博平台架构.pptx

    该架构采用了分布式服务追踪系统、Feed 多级双机房缓存系统、Redis 和 MySQL 数据库等技术来实现高性能和高可用性。 二、微博平台技术挑战 微博平台在亿级用户下的技术挑战主要来自于以下几个方面: 1. 高并发:...

    timyang新浪微博设计

    微博的Feed架构设计主要有三种模式:Push(推)、Pull(拉)以及复合型。这三种模式各有优势和劣势,在实际应用中通常会结合使用。 ##### Push(推) - **概念**:将feed比喻为邮件。Inbox表示收到的微博,而Outbox则...

    大数据时代Feed系统架构-杨卫华.pdf

    在大数据时代,Feed系统架构是处理海量数据的关键技术,它主要设计用于提供个性化信息推送服务,如社交媒体平台上的新闻动态、推荐内容等。本架构由杨卫华详细阐述,主要涵盖了以下几个核心知识点: 1. **中间层...

Global site tag (gtag.js) - Google Analytics