`

微博feed系统推拉模式和时间分区拉模式架构探讨

 
阅读更多
原文地址:http://www.csdn.net/article/2010-09-01/278921



摘要:sns系统,微博都在应用feed系统,各种技术社区都在分享自己的feed架构——推拉模式。下面就微博的feed推拉模式做一下探讨,并提出新的时间分区拉模式。
sns系统,微博系统都应用到了feed(每条微博或者sns里的新鲜事等我们称作feed)系统,不管是twitter.com或者国内的新浪微博,人人网等,在各种技术社区,技术大会上都在分享自己的feed架构,也就是推拉模式(timyang上次也分享了新浪微薄的模式)。下面我们就微博的feed推拉(push,pull)模式做一下探讨,并提出新的时间分区拉模式。

众所周知,在微博中,当你发表一篇微博,那么所有关注你的followers(粉丝)都会在一定的时间内收到你的微薄,这有点像群发一封邮件,所有的抄送者都会在一定的时间内收到。到这里,你可能觉得没有什么难度。我们看下下面的截图:



图1  新浪微博姚晨





图2  twitter上冯大辉

新浪微博的姚晨粉丝有2594751,她发表任何一篇微博,都需要2594751个粉丝在一定的时间内收到,twitter的冯大辉发表一篇的话,需要19868个followers收到。

相反,姚晨需要收到他关注的545个人的所有更新,冯大辉需要收到他关注的2525个人的所有更新。到这里,你是不是感觉到有那么一点点小挑战呢?

下面我们看下微博一般的整体结构图:



图3  微博整体结构

图中展示了微博的整体数据流程,先了解下整体的数据结构,没有涉及到followers等的推拉模式处理。下面我们再看下推模式(push):



图4  推模式结构

推模式需要把一篇微博推送给所有关注他的人(推给所有的粉丝),比如姚晨,我们就需要推送给2594751个用户的feeds表中。当然,feeds表可以很好的进行sharding,存储也都是一些数字型的字段,存储空间可能不是很大,用户在查询自己关注的所有人的feed时,速度快,性能非常高,但是推送量会非常大,姚晨发表一篇,就会产生200多万条数据。试想,一个大量用户的微薄系统通过使用推模式,是不是会产生非常惊人的数据呢?

下面看下拉模式(pull)



图5  拉模式

拉模式只需要用户发表微博时,存储一条微博数据到feeds表中(feeds表可以是一个临时表,只保存近期可接受范围的数据).用户每次查询feed时都会去查询feeds表。比如姚晨打开自己的微薄首页,就产生:SELECTidFROMfeedswhereuidin(followinguidlist)ORDERBYidDESCLIMITn(查询最新的n条),缓存到memcached

uidlist=>{data:idlist,timeline:上次查询出来的最新的一条数据的时间}

再次刷新:SELECTidFROMfeedswhereuidin(followinguidlist)ANDtimeline>(memcached存储的上次的timeline)ORDERBYidDESCLIMITn

这种模式实现起来也是比较简单和容易的,只是在查询的时候需要多考虑下缓存的结构。但是feeds表会产生很大的压力,怎么说feeds表也要保存最近十天半个月的数据吧,对于一个大点的系统,这会产生比较大的数据,如果following的人数比较多,数据库的压力就会非常大。而且一般在线的用户,客户端都会定期扫描,又会增加很大的压力,这在查询性能上没有推模式的效率高。

下面我们在对拉模式做一下改进优化



图6  拉模式(pull)-改进(时间分区拉模式)

拉模式的改进主要是在feeds的存储上,使用按照时间进行分区存储。分为最近时间段(比如最近一个小时),近期的,比较长时期等等。我们再来看下查询的流程,比如姚晨登陆微博首页,假设缓存中没有任何数据,那么我们可以查询比较长时期的feeds表,然后进入缓存。下一次查询,通过查询缓存中的数据的timeline,如果timeline还在最近一个小时内,那么只需要查询最近一个小时的数据的feed表,最近一个小时的feeds表比图四的feeds表可要小很多,查询起来速度肯定快几个数量级了。

改进模式的重点在于feeds的时间分区存储,根据上次查询的timeline来决定查询应该落在那个表。一般情况下,经常在线的用户,频繁使用的客户端扫描操作,经常登录的用户,都会落在最近的feeds表区间,查询都是比较高效的。只有那些十天,半个月才登录一次的用户需要去查询比较长时间的feeds大表,一旦查询过了,就又会落在最近时间区域,所以效率也是非常高的。

关于时间的分区,需要根据数据量,用户访问特点进行一个合理的切分。如果数据发表量非常大,可以进行更多的分区。

上面介绍的推模式和拉模式都有各自的特点,个人觉得时间分区拉模式弥补了图四的拉模式的很大的不足,是一个成本比较低廉的解决方案。当然,时间分区拉模式也可以结合推模式,根据某些特点来增加系统的性能。

后记:本文的目的是介绍时间分区拉模式,本人对新浪微博和twitter等的推拉模式的细节并不清楚。

原文链接:http://www.cnblogs.com/sunli/archive/2010/08/24/twitter_feeds_push_pull.html
分享到:
评论

相关推荐

    微博feed系统的推(push)模式和拉(pull)模式和时间分区拉模式架构探讨1

    【微博Feed系统的推(push)模式和拉(pull)模式及时间分区拉模式架构探讨】 微博Feed系统是社交媒体平台的核心组成部分,它负责展示用户关注的人或事物的最新动态。推模式和拉模式是两种常见的实现方式,各有优缺点,...

    微博feed系统的推(push)模式和拉(pull)模式和时间分区拉模式架构探讨

    目前,微博feed系统主要采用推(push)模式和拉(pull)模式,而随着技术的进步,时间分区拉模式被提出作为改进策略,以应对大规模数据处理和实时性要求所带来的挑战。 推模式的运作原理类似于邮件群发系统,当用户发布...

    朋友圈微博feed流,推拉实践

    在设计和优化feed流系统时,通常有两种主要的实现方式:拉模式(Read Diffusion)和推模式(Write Diffusion)。 **一、拉模式(读扩散)** 在拉模式中,数据的读取是扩散的。每个用户的feed队列只存储他们自己...

    新浪微博架构和FEED架构分析--人人架构1

    总结来说,新浪微博的架构设计经历了从快速原型到应对大规模用户的过程,涉及了推送模式优化、数据库拆分和索引策略的调整,以及系统的模块化和异步化处理。这些经验对于理解大规模社交网络的架构设计具有重要的参考...

    微博和知乎中的 feed 流是如何实现的?1

    综上所述,微博和知乎的feed流实现涉及到了多方面的技术,包括但不限于观察者模式、消息队列、分布式计算、数据库优化和算法应用。这些技术的综合运用保证了在大规模用户下的高效信息推送和个性化体验。

    新浪微博开放平台中的Redis实践_大数据时代feed架构_微博消息系统架构演进_互联网公司技术架构资料.新浪微博.微博架构与平台安全_构建高性能的微博系统

    新浪微博开放平台中的Redis实践_大数据时代feed架构_微博消息系统架构演进_互联网公司技术架构资料.新浪微博.微博架构与平台安全_构建高性能的微博系统——再谈新浪微博架构 演讲视频,PPT,一些收集的博客地址等

    亿级访问量下的新浪微博系统架构.doc

    这种架构设计使得微博能够应对亿级访问量的挑战,通过服务化和组件化提升了系统的可扩展性和灵活性,而监控和治理平台则确保了系统的稳定性和高效运行。随着技术组件的不断丰富和完善,微博的架构持续演进,以适应...

    微博.亿级用户下的新浪微博平台架构_2014

    本篇将详细探讨微博的技术架构、技术挑战、架构演变、Watchman分布式服务追踪系统以及Feed多级双机房缓存系统等知识点。 首先,微博的技术架构主要包括客户端和服务器端两部分。客户端包括Web端、Android应用和...

    微博架构文档

    V2.0的存储采用了分布式数据库,拆分了缓存和实时搜索消息队列(MQ),异步处理信息,这些变化标志着微博开始走向高并发和大数据处理的架构模式。 微博架构继续演进,到V3.0和V4.0版本,微博开始对核心服务进行了...

    新浪微博架构

    微博架构 feed 介绍,精彩不要错过~~

    亿级用户下的新浪微博平台架构

    《亿级用户下的新浪微博平台架构》是一份深入探讨大规模社交平台技术实现的文档,主要涵盖了微博平台在处理海量用户时所面临的挑战、架构演进历程以及关键技术创新。在这个过程中,微博平台不仅需要处理亿级用户的...

    亿级用户下的新浪微博平台架构.pptx

    该架构采用了分布式服务追踪系统、Feed 多级双机房缓存系统、Redis 和 MySQL 数据库等技术来实现高性能和高可用性。 二、微博平台技术挑战 微博平台在亿级用户下的技术挑战主要来自于以下几个方面: 1. 高并发:...

    微博应对突发热点事件的弹性调度实践 胡忠想 微博_myslide.cn_.pdf

    微博作为中国知名的社交媒体平台,每天承载着亿万用户的交流和分享,其背后的技术架构不仅要保障服务的稳定性和高可用性,还要应对各种突发热点事件带来的高并发挑战。当某一事件迅速引发公众关注时,相关的业务模块...

    新浪微博架构猜想.pdf

    【新浪微博架构猜想】 新浪微博作为一款大型...综上所述,新浪微博的架构设计充分考虑了高性能、实时性和可扩展性,通过各种缓存策略、数据聚合方法以及混合的推送和拉取模式,实现了大规模社交媒体平台的高效运行。

    timyang新浪微博设计

    通过对微博的Feed架构和缓存设计的深入分析,我们可以了解到如何构建一个高性能、可扩展的微博系统。无论是Push还是Pull模型,还是各种缓存策略的应用,都是为了更好地服务于用户,提供快速、流畅的用户体验。在未来...

    大数据时代Feed系统架构-杨卫华.pdf

    在大数据时代,Feed系统架构是处理海量数据的关键技术,它主要设计用于提供个性化信息推送服务,如社交媒体平台上的新闻动态、推荐内容等。本架构由杨卫华详细阐述,主要涵盖了以下几个核心知识点: 1. **中间层...

Global site tag (gtag.js) - Google Analytics