资讯频道 → 企业架构
阅读更多

2顶
0踩

企业架构

转载新闻 从3张图了解Pinterest Feed算法与架构设计

2015-12-01 16:30 by 副主编 mengyidan1988 评论(0) 有6005人浏览
Pinterest hbase 算法
Pinterest首页的Feed消息流，最早是按照用户的关注对象的Pin（Pin类似微博）聚合后按时间进行排序（自然序，类似朋友圈），后来版本的feed系统放弃了自然序，而是根据一定规则及算法来设计，内部称之为Smart feed，其算法及架构根据其公开资料整理如下，值得业界做信息流产品的技术架构师参考。

Pinterest每个用户的首页feed都是个性化内容。Pinterest系统大约1/3流量都指向feed页面，因此它是整个系统最关键的页面之一。当工程师开发新版Smart Feed时，如何达到99.99%可用性也是衡量项目是否成功的指标之一。

Pinterest smart feed的主要算法及规则如下

1、不同来发表来源的Pin按照不同的频次聚合。
2、将Pin按照算法及权重有选择的去除（或延迟加载），质量较低的发表来源不必每次显示全部，系统可以有选择的决定哪些立即出现，哪些延迟显示。Pin的质量都是从当前接收用户的角度来衡量。
3、Pin排序的逻辑是最好的优先，而不是最新的优先。一些发表来源的Pin可能最新的优先，但另外一些发表来源的可能新的Pin优先级低。

Pinterest Feed如图所示主要由以下几部分构成，最左边是数据来源，最右边是用户看到的Pinterest瀑布流。中间的三个服务介绍如下。

图1

Feed worker
Feed worker职责：接收新的pin并根据接收的用户的不同赋予pin权重并保存。同一个Pin，不同的接收用户有不同的权重打分。

新的pin主要有三个来源：关注用户，相关内容，关注关系的感兴趣内容。Worker会给每个来源的pin打分之后插入到一个pool里面，每个Pool是针对单个用户的优先队列（Priority Queue，即优先级高的内容先出）。

由于Feed Worker按照接收用户的维度存储，因此所有的pin进入worker时候已经按照关注关系进行分发（即行内通常说的Feed推模式）。

Feed content generator
Feed content generator负责返回用户上次访问后新的pin。Content Generator可以返回前n条或者全部新的pin，用户获取过（即浏览过）的pin会从pool中删除。Content Generator可以将多个发表源的pin按照一定规则重新排列，但是不能改变原来的Priority Queue返回的优先顺序。即队列中高优先级的会被优先取出。

Smart feed service
物化视图用于保存用户上次feed列表的快照。此服务不需要对feed的重新排序，它将上次返回给用户的pin按照当时的顺序完整保存，由于它属于用户已阅读过的历史列表，读写较少，因此它可以提供更好的可用性。另外由于可以限制历史列表的长度，存储空间可控，因此可以更低成本来增加从库来提高访问的可用性。

Feed依赖content generator来提供新的Pin,如果content generator不可用，服务可以优雅的降级，用户仍然可以获取历史的列表，返回物化存储的结果。

Pinterest通过以上3个不同的服务，实现了对feed返回内容灵活的控制，每个服务都有自己明确的职责，达到了每个用户都具备个性化返回内容的目标。

Feed存储
Pinterest的feed存储需要解决以下几个需求：

1、写入新发表的feed，由于Pinterest采用的是推模式，这个场景需要面临需要高的写入QPS，但用户能容忍一定的写入延迟。
2、获取首页的物化feed列表，相对与写入的QPS要小很多，但是用户对请求的延迟容忍度低。
3、删除feed。

可以采用简单的设计方法，比如将所有的feed写入到一个存储，可以简单实现访问、更新及删除功能。在Pinterest当前的访问规模有上百T的数据以及每秒百万访问操作。经过综合评估，选择使用HBase来实现了上述需求，Pinterest业务场景需要提供非常高的读写及更新操作，HBase同时提供较高的读写及更新访问性能。

用户发表一个新的Pin时，将Pin分发给他所有的粉丝，他的粉丝可能被shard到所有的HBase region上，因此一个分发操作可能要访问到多个region，并锁定每个region的WAL日志，然后进行更新再解锁。每次的write/delete/update操作锁定WAL非常低效，而且很快成为系统的瓶颈。更好的方法是将HBase的操作批量进行，并且可以加大HBase的吞吐能力，但另外一方面增加了访问的时延latency，如果是面向用户请求的操作，访问时延增大是不能接受的。

为了满足不同的需求，Pinterest设计使用了双HBase集群的方法，将数据在不同的阶段写入到不同的HBase集群的方法，请参考图示。

图2

  • Zen是一个在HBase基础上提供图(Graph)存储的服务。
  • SmartFeed Worker将用户发表的内容分发后通过Zen保存在HBase中，异步处理任务通过PinLater服务来调用。
  • SmartFeed ContentGenerator负责返回最新的Pin，并进行评分及排序。

当用户刷新请求自己首页的feed时，SmartFeed服务从Content Generator和物化存储的HBase归并数据返回给用户，如果生成服务请求超时，则系统仍然可以返回物化存储的数据给用户。在后台，SmartFeed将物化存储的数据从左边的存储删除。

在实际的场景中，物化存储HBase的数据远远要比发表池的数据要少，这样请求的速度会非常快。

Feed的高可用
使用上述设计后，系统的可用性相当于物化存储HBase的可用性。HBase集群目前存在GC卡顿的风险，还有单点故障region迁移等问题，因此使用单一的HBase集群，可用性很难保证99.99%以上。

为了解决这个问题，在另外一个EC2可用区启用一个备用集群，任何写入到主集群的数据将会在数百毫秒内同步到另外一个集群上。当主集群不可用时，可以从备用集群返回用户请求的数据。通过上述设计，整个系统的可用性达到99.99%以上（不包括写）。



图3


本文是TimYang原创的有关架构、技术、开发等系列文章，长按下方二维码订阅。


  • 大小: 35.9 KB
  • 大小: 96 KB
  • 大小: 102.7 KB
  • 大小: 24.7 KB
来自: TimYang
2
顶
0
踩
评论 共 0 条 请登录后发表评论

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • 架构设计七张图

    架构设计是解决方案的腰，承上启下，统贯全局。解决方案架构设计通常包含七张图： 第一张图：

  • 微服务与领域驱动设计：构建高内聚低耦合系统的指南

    领域驱动设计DDD是一种设计思想，它可以同时指导中台业务建模和微服务设计(中台本质是业务模型，微服务是业务模型的系统落地)，领域驱动设计强调领域模型和微服务设计的一体性，先有领域模型然后才有微服务，而不是...

  • 一文带你了解 Spark 架构设计与原理思想

    Spark 架构设计与原理思想，性能调优与故障处理 ...

  • 十张图让你了解阿里公司架构设计的发展变化史

    目前国内盛行分布式与微服务结构设计，大小公司、电商、物联网等行业都是紧随这些概念在开展项目开发和运营，据我日前和一些架构师朋友讨论过程中发现不但大多公司没有把整体的方案落地，有些架构师甚至都不知道为...

  • Java常见设计模式总结

    项目中合理的运用设计模式可以完美的解决很多问题，每种模式在现实中都有相应的原理来与之对应，每种模式描述了一个在我们周围不断重复发生的问题，以及该问题的核心解决方案，这也是它能被广泛应用的原因。...

  • 【超全汇总】学习数据结构与算法，计算机基础知识，看这篇就够了

    由于文章有点多，并且发的文章也不是一个系列一个系列发的，不过我的文章大部分都是围绕着 数据结构 + 算法 + 计算机网络 + 操作系统 + Linux + 数据库 这几个方面发的，为了方便大家阅读，我整理了一波。...

  • 数据结构与算法必知基础知识

    各个中间件开发者，架构师他们都在努力的优化中间件、项目结构以及算法提高运行效率和降低内存占用，在这里数据结构起到相当重要的作用。此外数据结构也蕴含一些面向对象的思想，故学好掌握数据结构对逻辑思维处理...

  • 四张图带你了解Tomcat系统架构--让面试官颤抖的Tomcat回答系列！

    然后逐个部分个个击破，最后形成思路，了解具体细节，Tomcat的结构很复杂，但是 Tomcat 非常的模块化，找到了 Tomcat最核心的模块，问题才可以游刃而解，了解了Tomcat的整体架构对以后深入了解Tomcat来说至关重要！...

  • 架构设计实践五部曲（一）：架构与架构图

                           ... 本文是架构设计实践五部曲系列文章的第一篇，架构与架构图。本文将对架构作深入的阐释，并教你什么时候画.

  • 【服务器架构】十张图带你了解大型网站架构

    参考文章：【服务器架构】十张图带你了解大型网站架构

  • 十张图看懂华为业务与组织架构

    近十年来，华为的业务和组织架构发生了比较大的变化。特别是2017年成立了Cloud BU，到2019...但实际上，华为的业务与组织架构一直在其每年对外发布的年报中，有着清楚的描述。 （2009年华为业务与组织架构图） ...

  • 数据库架构设计——分布式数据库设计

    比如，表 orders，选择分片键 o_orderdate，根据函数 YEAR 求出订单年份，然后根据RANGE 算法进行分片，这样就能设计出基于 RANGE 分片算法的分布式数据库架构： 从图中我们可以看到，采用 RANGE 算法进行分片后，...

  • 架构设计之路 - DDD领域驱动模型设计 - 补充中20220315

    文章目录前言一、架构的演变历程二、领域驱动初窥1 传统软件开发中的痛点2 什么是领域驱动设计战略设计战术设计总结3 领域模型4 分层架构模型三层架构四层架构六边形架构三、架构设计进阶1 DDD下的项目目录结构2 ...

  • 产品高阶能力：架构图的设计与画法

    今天作者和大家分享的是产品架构图的设计与画法，架构图将可视化的具象产品和服务，抽象成信息化、模块化、层次结构以及关联关系清晰的架构，并通过不同分层的交互关系、功能模块的组合、数据和信息的流转，来传递...

  • 算法设计与分析基础（第3版）

    - 算法设计与分析基础 - Anany Levitin 著 （第三版） 序言 设计技术作为问题求解的一般性策略 分析算法效率（算法经验分析、算法可视化） 各种方法加习题练习 目录 1. 绪论 2. 算法效率分析基础 3. 蛮...

  • 一句话+一张图说清楚——银行家算法

    本文试图用一句话+一张图说清楚操作系统中的银行家算法。我相信用一句话可以讲清楚一个算法的核心思想，一张图可以描述整个算法的操作步骤。但本人能力有限，错误之处望大家指出，多谢。 一句话： 当一个进程...

  • YOLO系列算法精讲：从yolov1至yolov8的进阶之路（2万字超全整理）

    全网YOLO最详讲解，从v1到v5！从小白到大佬！

  • 【java毕业设计】智慧社区教育服务门户.zip

    有java环境就可以运行起来 ,zip里包含源码+论文+PPT, 系统设计与功能： 文档详细描述了系统的后台管理功能，包括系统管理模块、新闻资讯管理模块、公告管理模块、社区影院管理模块、会员上传下载管理模块以及留言管理模块。 系统管理模块：允许管理员重新设置密码，记录登录日志，确保系统安全。 新闻资讯管理模块：实现新闻资讯的添加、删除、修改，确保主页新闻部分始终显示最新的文章。 公告管理模块：类似于新闻资讯管理，但专注于主页公告的后台管理。 社区影院管理模块：管理所有视频的添加、删除、修改，包括影片名、导演、主演、片长等信息。 会员上传下载管理模块：审核与删除会员上传的文件。 留言管理模块：回复与删除所有留言，确保系统内的留言得到及时处理。 环境说明： 开发语言：Java 框架：ssm，mybatis JDK版本：JDK1.8 数据库：mysql 5.7及以上 数据库工具：Navicat11及以上 开发软件：eclipse/idea Maven包：Maven3.3及以上

  • 基于selenium的携程机票爬虫资料齐全+详细文档+高分项目+源码.zip

    【资源说明】 基于selenium的携程机票爬虫资料齐全+详细文档+高分项目+源码.zip 【备注】 1、该项目是个人高分项目源码，已获导师指导认可通过，答辩评审分达到95分 2、该资源内项目代码都经过测试运行成功，功能ok的情况下才上传的，请放心下载使用！ 3、本项目适合计算机相关专业(人工智能、通信工程、自动化、电子信息、物联网等)的在校学生、老师或者企业员工下载使用，也可作为毕业设计、课程设计、作业、项目初期立项演示等，当然也适合小白学习进阶。 4、如果基础还行，可以在此代码基础上进行修改，以实现其他功能，也可直接用于毕设、课设、作业等。 欢迎下载，沟通交流，互相学习，共同进步！

Global site tag (gtag.js) - Google Analytics