做SNS的，一起来猜猜新浪微博的核心Feed系统是怎么设计的吧

要是不清楚什么是feed，google之。

Feed是sns类应用的核心和最复杂的部分，就是sina微博中看到的“我关注的人”的消息。像人人网中的“新鲜事”等等，都是一个东西。你想啊，你关注了几千人，又被几千人关注，你发了一个消息，另外几千人怎么看到哪？拿数据库做join和in操作肯定立刻挂。而且像sina weibo，数据和访问量庞大，怎么实现哪？这其实就是传说中的推和拉的选择，人人网写过一篇文章：http://news.csdn.net/a/20100726/277273.html，简单来说以推为主体。我猜测可能在某些情况下会使用拉，例如这个账号很久不登录，太不活跃，给他推东西纯属浪费。嗯。。。，这方面也欢迎一起来猜猜。

基于这些，我猜测的第1版架构图（我们现在就是这样做的，规模比较小，还看不出问题）：



整个架构基于memcached + mysql，图中分了ABC三个区域。所有的消息存储在mysql中，无论推送给多少人，只存储一份。另外有一个索引表，用来记录推送关系，推送给1000个人，就增加1000条记录，也就是图中的A。当发生查询时，从索引表中根据用户编号进行一次简单查询（基于用户编号为索引和条件的select），拿到索引结果后，进入B，从memcached中读取实际信息。如果不存在或者不全，进入C，根据索引信息读取网友实际发表或者转载的内容，用模板生成消息并存储到memcached中，然后返回来。

在整个过程中，B是memcached集群，性能应该问题不大。C是cache后面的东西，其中的数据库查询也是基于索引表中给的对象主键，分表条件等进行的分库分表基于主键的查询，性能问题应该也不大。关键是A区。我们现在的方案是用guzz框架把索引表分到单独的一组数据库中，然后根据用户id进行切表，每个人保留最多200条最新消息的索引。总的来说，每张表的大小还在控制内。对于像#话题#等也是一样的，建立索引表分发。无论怎样，实际的消息只有一份。

我猜测，sina微博第一版系统应该就是这样。架构简单实用。

但随着规模的扩大，A区索引表肯定会逐步出现大量性能问题。要升级到第二，第三版。这两个之间或许是一步到位的。

第二第三版架构猜测：

A区的性能问题不是mysql能够解决的，但幸好A区的数据结构非常简单。就是以 用户id+某个动态功能 为key下的一个固定大小的索引集合。最简单的办法就是把mysql换成nosql，这个数据结构用nosql应该非常容易实施。我没有用过nosql，但通过资料来看，相比mysql肯定是一大性能提升。我们暂且推测其为第二版方案吧。欢迎实际用过nosql的来谈谈行不行。

我们假设，第二版方案也解决不了问题。A区的性能问题太大了，怎么办？如果这样，我想索引系统只能是自己做了，谁也靠不住。我有个猜测，欢迎讨论。看下图。



这个架构是完全为feed定制的，我们为每个 用户id+某个动态功能 分配一个磁盘block。在索引表中，我们知道每条索引记录的大小是固定的（假设每条1k大小），而为用户提供的最多最新动态数也是固定的（假设200条）。那么我们这个block就分配固定的201K，前面的1k是头信息，后面的200k存储最多200条的索引记录。

在头信息中，记录这个块操作的系统版本号（升级使用），用户信息，操作的偏移量，总动态数等等。当插入一条新索引时，根据操作偏移量直接定位位置，写入；如果已经写到第200条，回到第一条覆盖写。读取的时候，根据偏移量数据直接读。因为记录大小固定，block维护简单，顺序读写，效率肯定不差。而这些block文件块，将存储在一套分布式文件系统中，依靠还算成熟的hadoop技术，无限扩展这个大集群。

相比数据库的优势，还省去了清理过期数据的问题。

这里面没有讨论block块缓存的问题，这是分布式文件系统的工作。对于不同的动态，可能block的大小会不一样，这都是可以的。

不知道猜的对不对。

评论

36 楼 zijan 2011-03-10  

ray_linn 写道

说句不客气的，微博就是垃圾堆，而数据库不是存垃圾的地方，所以是垃圾的东西就不需要用数据库，只需要回到本来面目---文本格式就可以。

用户----我关注的用户，是个一对多的关系。这种connection不是垃圾，可以放数据库里。

每个用户有自己独立的folder(以ID code为名），自己发表的垃圾，就堆在这个folder里，当场就生成静态html。

然后一个用户登录了，就到自己关注的用户的folder里东读一点西读一点，其实都是静态HTML，你要觉得硬盘IO太多，也不妨放个memcache，不放，也不见得会怎么样。


至于这些文本怎么删除，其实只要跟踪一下用户登录就可以，还登录的用户是hot user，他们的内容可以keep住，不是hot user的，folder就可以由后台清空了

同意.

35 楼 xici_magic 2011-03-10  

应该是非关系型数据库

34 楼 ray_linn 2011-03-09  

抛出异常的爱 写道

ray_linn 写道

说句不客气的，微博就是垃圾堆，而数据库不是存垃圾的地方，所以是垃圾的东西就不需要用数据库，只需要回到本来面目---文本格式就可以。

用户----我关注的用户，是个一对多的关系。这种connection不是垃圾，可以放数据库里。

每个用户有自己独立的folder(以ID code为名），自己发表的垃圾，就堆在这个folder里，当场就生成静态html。

然后一个用户登录了，就到自己关注的用户的folder里东读一点西读一点，其实都是静态HTML，你要觉得硬盘IO太多，也不妨放个memcache，不放，也不见得会怎么样。


至于这些文本怎么删除，其实只要跟踪一下用户登录就可以，还登录的用户是hot user，他们的内容可以keep住，不是hot user的，folder就可以由后台清空了

如果有新的微博是否需要f5来刷新?
如果非f5刷新那怎么通知到?
靠对所有跟随者广播么?
如果广播那怎么知道我的跟随者是否在线?(非在线不通知)
如果收到了广播通知如何通知浏览器F5刷新页面?
如果刷新页面时是把所有新消息都刷出来还是只刷出来刚刚广播的消息?

以上求解惑

javascript难道是吃干饭的吗？ 要我设计，每个垃圾信息都设计成xml格式，客户端用XSLT聚合起来就可以，还可以享受免费的browser cache

33 楼 ithero 2011-03-09  

这个主题我以前在论坛也发起贴讨论过，区别那是讨论具体实现，就本身用到的技术与架构谈不上复杂，主要是因为量而发生质变，具体实现就是数据分表+Cache层+推

32 楼 yujiang 2011-03-09  

推肯定不是整体全推送, 选择部分当时需要立即看到的去推, 比如最近N分钟还在线的.
对于微博还需要考虑按粉丝数量的划分的不同处理(推模式下甚至可以用专门的服务器处理特定的一批超热用户).

插个广告:
各位有兴趣于SNS各种系统开发的, 可以投简历到benyin#taobao.com (#替换为@), 我所在的团队负责淘宝SNS(淘江湖)的设计开发(其中有Feed分发系统, 信息实时推送系统, 推荐系统), 今年是淘宝SNS化的一年, 希望更多资深的开发工程师和架构师能加入我们.

31 楼 xjlsgcjdtc 2011-03-09  

lz的图画的真不错-_-!

30 楼 saharazhou 2011-03-09  

抛出异常的爱 写道

ray_linn 写道

说句不客气的，微博就是垃圾堆，而数据库不是存垃圾的地方，所以是垃圾的东西就不需要用数据库，只需要回到本来面目---文本格式就可以。

用户----我关注的用户，是个一对多的关系。这种connection不是垃圾，可以放数据库里。

每个用户有自己独立的folder(以ID code为名），自己发表的垃圾，就堆在这个folder里，当场就生成静态html。

然后一个用户登录了，就到自己关注的用户的folder里东读一点西读一点，其实都是静态HTML，你要觉得硬盘IO太多，也不妨放个memcache，不放，也不见得会怎么样。


至于这些文本怎么删除，其实只要跟踪一下用户登录就可以，还登录的用户是hot user，他们的内容可以keep住，不是hot user的，folder就可以由后台清空了

如果有新的微博是否需要f5来刷新?
如果非f5刷新那怎么通知到?
靠对所有跟随者广播么?
如果广播那怎么知道我的跟随者是否在线?(非在线不通知)
如果收到了广播通知如何通知浏览器F5刷新页面?
如果刷新页面时是把所有新消息都刷出来还是只刷出来刚刚广播的消息?

以上求解惑

同样求解

29 楼 抛出异常的爱 2011-03-09  

ray_linn 写道

说句不客气的，微博就是垃圾堆，而数据库不是存垃圾的地方，所以是垃圾的东西就不需要用数据库，只需要回到本来面目---文本格式就可以。

用户----我关注的用户，是个一对多的关系。这种connection不是垃圾，可以放数据库里。

每个用户有自己独立的folder(以ID code为名），自己发表的垃圾，就堆在这个folder里，当场就生成静态html。

然后一个用户登录了，就到自己关注的用户的folder里东读一点西读一点，其实都是静态HTML，你要觉得硬盘IO太多，也不妨放个memcache，不放，也不见得会怎么样。


至于这些文本怎么删除，其实只要跟踪一下用户登录就可以，还登录的用户是hot user，他们的内容可以keep住，不是hot user的，folder就可以由后台清空了

如果有新的微博是否需要f5来刷新?
如果非f5刷新那怎么通知到?
靠对所有跟随者广播么?
如果广播那怎么知道我的跟随者是否在线?(非在线不通知)
如果收到了广播通知如何通知浏览器F5刷新页面?
如果刷新页面时是把所有新消息都刷出来还是只刷出来刚刚广播的消息?

以上求解惑

28 楼 askjsp 2011-03-09  

<div class="quote_title">ray_linn 写道</div>
<div class="quote_div">说句不客气的，微博就是垃圾堆，而数据库不是存垃圾的地方，所以是垃圾的东西就不需要用数据库，只需要回到本来面目---文本格式就可以。 <br><br>用户----我关注的用户，是个一对多的关系。这种connection不是垃圾，可以放数据库里。 <br><br>每个用户有自己独立的folder(以ID code为名），自己发表的垃圾，就堆在这个folder里，当场就生成静态html。 <br><br>然后一个用户登录了，就到自己关注的用户的folder里东读一点西读一点，其实都是静态HTML，你要觉得硬盘IO太多，也不妨放个memcache，不放，也不见得会怎么样。 <br><br><br>至于这些文本怎么删除，其实只要跟踪一下用户登录就可以，还登录的用户是hot user，他们的内容可以keep住，不是hot user的，folder就可以由后台清空了</div>
<p> </p>
<p> 我觉得这个朋友说的有些道理</p>

27 楼 xgj1988 2011-03-09  

java_xiaoyi 写道

ch_space 写道

peterwei 写道

哥，你画的图也太恶心了吧，搞得我没有看的欲望。晚上抽空再看。想了解和深入的办法，就是我们自已去实现一个weibo,搭一下他们的架构。然后再回头看他们那些理论和谈话。

+1

++1

+++1

26 楼 samwalt 2011-03-09  

kyfxbl 写道

这图真的画得不好，太不认真了。你在办公室用白板，也要画得让大家看得舒服吧

汗。lz明显是用鼠标在电脑上画的啊。
白板是lz打个比方而已。

25 楼 ray_linn 2011-03-09  

说句不客气的，微博就是垃圾堆，而数据库不是存垃圾的地方，所以是垃圾的东西就不需要用数据库，只需要回到本来面目---文本格式就可以。

用户----我关注的用户，是个一对多的关系。这种connection不是垃圾，可以放数据库里。

每个用户有自己独立的folder(以ID code为名），自己发表的垃圾，就堆在这个folder里，当场就生成静态html。

然后一个用户登录了，就到自己关注的用户的folder里东读一点西读一点，其实都是静态HTML，你要觉得硬盘IO太多，也不妨放个memcache，不放，也不见得会怎么样。


至于这些文本怎么删除，其实只要跟踪一下用户登录就可以，还登录的用户是hot user，他们的内容可以keep住，不是hot user的，folder就可以由后台清空了

24 楼 samwalt 2011-03-09  

要不在纸上画了，拍照片传上来吧

23 楼 Jazag.van 2011-03-09  

学习学习，也算长见识了，一直搞企业级开发，互联网应用没接触过

22 楼 kyfxbl 2011-03-09  

这图真的画得不好，太不认真了。你在办公室用白板，也要画得让大家看得舒服吧

21 楼 zhangcs053 2011-03-09  

成为架构师。

20 楼 congdepeng 2011-03-09  

java_xiaoyi 写道

ch_space 写道

peterwei 写道

哥，你画的图也太恶心了吧，搞得我没有看的欲望。晚上抽空再看。想了解和深入的办法，就是我们自已去实现一个weibo,搭一下他们的架构。然后再回头看他们那些理论和谈话。

+1

++1

++9

19 楼 IPHONE3375 2011-03-09  

myreligion 写道

一个图有那么重要嘛，难道在办公室都不用白板。用白板也要拿尺子量着画？

只是您这个图太那个了

18 楼 myreligion 2011-03-09  

一个图有那么重要嘛，难道在办公室都不用白板。用白板也要拿尺子量着画？

17 楼 shixueyou521 2011-03-09  

java_xiaoyi 写道

ch_space 写道

peterwei 写道

哥，你画的图也太恶心了吧，搞得我没有看的欲望。晚上抽空再看。想了解和深入的办法，就是我们自已去实现一个weibo,搭一下他们的架构。然后再回头看他们那些理论和谈话。

+1

++1

+++1