资讯频道 → 企业架构
阅读更多

2顶
1踩

企业架构

原创新闻 Facebook架构解读

2016-01-18 16:10 by 副主编 mengyidan1988 评论(3) 有11358人浏览
facebook 应用服务器 架构

声明：ITeye资讯文章的版权属于ITeye网站所有，严禁任何网站转载本文，否则必将追究法律责任！




从我看过的各种资料，还有与各式人等的交谈中，可以得出Facebook现在的架构是这样的：
  • Web前端用PHP语言编写，然后用HipHop Compiler[1]转换为C++语言，再用g++编译器编写，从而提供高性能的模板与web逻辑执行层。
  • 完全依赖静态编译所造成的限制，让Facebook开始启用HipHop Interpreter [2]及HipHop虚拟机，将PHP代码转译为HipHop ByteCode[3]。
  • 其业务逻辑以服务形式存在，使用Thrift框架[4]。其中一些服务根据具体需求，在实现时使用了PHP、C++或者Java语言（可能还用到了一些其他语言）。
  • 使用Java实现的服务并未使用任何常规的企业应用服务，而是使用Facebook的定制应用服务器。一开始这些都被视为重复工作，不过随着这些服务仅（或大多）使用Thrift框架，Tomcat甚至Jetty都显得开销过大、值不符实了。
  • 用MySQL、Memcached[5]、Hadoop’s HBase[6]实现持久化；用Memcached作为MySQL缓存与通用缓存。
  • 用Hadoop和Hive实现离线处理。
  • 类似日志、链接与feed之类的数据传输用Scribe[7]实现；用Scribe-HDFS [8]来完成HDFS的聚合存储工作；从而可以用MapReduce进行深入扩展分析。
  • BigPipe[9]是他们的定制技术，用流水线逻辑加快页面呈现。
  • 用Varnish Cache[10]实现HTTP代理，这套软件因其性能与效率较高而受到青睐[11]。
  • Facebook用户所发布的照片数以亿计，其存储由Haystack这个ad-hoc存储解决方案（由Facebook开发）来处理——包括对其进行低级别优化与只扩展写入方式[12]。
  • Facebook Message使用了自身架构——众所周知是基于分区与动态集群管理的架构。业务逻辑与持久化被封装到所谓的“Cell”中。每个Cell处理一部分用户的请求；随着用户数增加再扩展新的Cell[13]。使用HBase实现持久化[14]。
  • Facebook Message的搜索引擎建立在反向索引之上，存储于HBase之中[15]。
  • Facebook搜索引擎的实现细节尚不得而知。
  • 预输入搜索（typeahead search）使用定制化存储与检索逻辑[16]。
  • 聊天服务建立在Epoll服务器之上，由Erlang开发，用Thrift[17]访问。
  • Facebook还构建了一个自动化系统，负责启动适当的修复工作流来管理应对警报，并在故障无法解决时通知人类管理员[18]。

已知信息中，各个组件的配置资源、一些信息还有数字如下：
  • Facebook拥有超过6万台服务器 [18]。最近发布的数据中心位于俄勒冈州普赖恩维尔市，硬件完全自行设计[19] ，并被归为Open Compute Project[20]。
  • Memcached所存储与处理的数据多达300TB[21]。
  • 其Hadoop与Hive集群由3000台8核、32G内存、12TB空间的服务器组成，总计达到2.4万核、96TB内存、36PB空间[22]。
  • 在2010年7月份就已达到每天1000亿的点击量，500亿张图片，3万亿个缓存对象，130TB的日志[22]。
  • 备注：Cassandra已经不再使用。Facebook的实时分析系统是基于记录所有输入的链接（来自用户页面的like和comment请求）。将其记录在HDFS中，而不是用Puma将其拽出再分批存储到HBase中。

相关资料与可参考文章还包括：
Facebook近期发布了一篇博文，详细描述了将会在Altoona数据中心试用的下一代网络架构。这种处理大流量的方式非常新颖，优于传统方式与协议。 Facebook发布了下一代网络

还有就是近期宣布强化搜索功能，以大数据分析与数据管理基础作为支持。Facebook大数据分析增强搜索功能

另外可参考的文章还有：

参考资料包括：
[1] HipHop for PHP
[2] Making HPHPi Faster
[3] The HipHop Virtual Machine
[4] Thrift
[5] Memcached
[6] HBase
[7] Scribe
[8] Scribe-HDFS
[9] BigPipe
[10] Varnish Cache
[11] Facebook goes for Varnish
[12] Needle in a haystack: efficient storage of billions of photos
[13] Scaling the Messages Application Back End
[14] The Underlying Technology of Messages
[15] The Underlying Technology of Messages Tech Talk
[16] Facebook’s typeahead search architecture
[17] Facebook Chat
[18] Who has the most Web Servers?
[19] Building Efficient Data Centers with the Open Compute Project
[20] Open Compute Project
[21] Facebook’s architecture presentation at Devoxx 2010
[22] Scaling Facebook to 500 millions users and beyond

原文链接：What is Facebook’s architecture?（译者/Vera 责编/钱曙光）
  • 大小: 34.2 KB
来自: 极客头条
2
顶
1
踩
评论 共 3 条 请登录后发表评论
3 楼 Gould 2016-01-25 15:00
mark！！！
2 楼 netkiller.github.com 2016-01-25 14:15
没有任何参考价值
1 楼 dieslrae 2016-01-20 23:46
404打不开啊

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • Hints用法大全

    在SQL语句优化过程中，我们经常会用到hint,现总结一下在SQL优化过程中常见Oracle HINT的用法：1. /*+ALL_ROWS*/表明对语句块选择基于开销的优化方法,并获得最佳吞吐量,使资源消耗最小化.例如:SELECT /*+ALL+_ROWS*/ EMP_NO,EMP_NAM,DAT_IN FROM BSEMPMS WHERE EMP_NO=’SCOTT’; 2. /*+F

  • hint UNNEST 可以提示CBO进行Subquery Unnesting

    SQL> set linesize 200 SQL> set pagesize 200 SQL> ALTER SESSION SET STATISTICS_LEVEL=ALL; 会话已更改。 SQL> select sql_text from v$sqlarea where (address, hash_value) in (select DECO...

  • SQL优化--用各种hints优化一条SQL

    oracle 10g R2加各种hints优化一条SQL：Select Count(*) From t_Ho_Order_Statistics --2032946Select ...

  • SQL优化技巧

    理论上，它会考虑所有可行的执行计划，实际上，除了简单的SQL语句之外，优化器为了保持合理的优化时间，不会考虑太多种组合。hint必须紧随delete、insert、merge、select和update关键字，注释分隔符的第一个字符必须是加号。除非改变执行环境，使用hint你将告诉查询优化器，针对某跳特定SQL语句应该考虑哪些操作或者不应该考虑哪些操作。一般而言，hint的语法错误不会引发报错，如果解析器无法解析它们，就会把它们当做注释。hint是添加到SQL语句中的指令，用来影响查询优化器的判定。...

  • HINT - SQL语句暗示

    hints - SQL语句的注释，指导oracle优化器选择指定的执行计划。 下面是常见的一些hints： 1. unnest UNNEST hint指导优化器unnest子查询，也就是将...

  • sql hint 的作用

    1、写HINT目的 手工指定SQL语句的执行计划 　　hints是oracle提供的一种机制，用来告诉优化器按照我们的告诉它的方式生成执行计划。我们可以用hints来实现： 　　1) 使用的优化器的类型 　　2) 基于代价的优化器的优化目标，是all_

  • WITH (NOLOCK) 是 SQL Server 中的一个提示

    是 SQL Server 中的一个提示（hint），它告诉 SQL Server 在读取数据时不要获取共享锁。这个提示通常用于优化读取操作的性能，特别是在读取大量数据时，因为它可以减少锁的竞争，从而可能加快查询的执行速度。

  • SQL性能的度量 - 利用Hints和dbms_sqltune进行SQL监控

    可以使用Hints对某个SQL开启实时监控 select /*+monitor*/ count(*) from scott.emp where sal>2000; 使用dbm...

  • mysql hint_提示（Hint） - 非官方 MySQL 8.0 优化指南 - 学习笔记

    和在 MySQL 系统数据库里调整代价常量一样，MySQL 还提供了覆盖已选计划的方法。提示(Hint)在两种情形下很好用：调试。EXPLAIN 展示了执行计划是如何基于已有的信息决定的，添加提示可以强制使用其他执行计划，以对比时间花费。生产。如果调试中你注意到另一种执行计划快很多，你或许可以添加提示以提升性能。虽然调试中可以频繁的使用提示，但生产中使用还是要谨慎。数据分布和索引总在改变，可能会因...

  • MySQL Hints：控制查询优化器的选择

    MySQL Hints是一组特殊的注释或指令，可以直接嵌入到SQL查询中，以改变MySQL优化器的默认行为。这些Hints通常被用于解决性能问题，或者当开发者比优化器更了解数据分布和查询特性时，来指导优化器选择更好的查询计划。MySQL Hints是一种强大的工具，可以帮助我们解决复杂的查询性能问题。然而，它们应该谨慎使用，并且总是与彻底的测试和验证相结合。通过正确使用Hints，我们可以引导MySQL优化器做出更明智的决策，从而提高数据库查询的性能和稳定性。

  • Oracle中Hint深入理解(转)

    Hint概述 基于代价的优化器是很聪明的，在绝大多数情况下它会选择正确的优化器，减轻了DBA的负担。但有时它也聪明反被聪明误，选择了很差的执行计划，使某个语句的执行变得奇慢无比。 此时就需要DBA进行人为的干预，告诉优化器使用我们指定的存取路径或连接类型生成执行计划，从 而使语句高效的运行。例如，如果我们认为对于一个特定的语句，执行全表扫描要比执行索引扫描更有效，则我们就可以指示优化器...

  • Lint常见的问题及解决方案

    通用的解决方案： 在java代码中同样可以忽略（ignore） Lint 警告：@SuppressLint(“忽略的警告名称”)，如：Handler泄漏（@SuppressLint(“HandlerLeak”)）要是你不清楚要忽略的警告具体是什么名字，那就直接忽略 all，当然是当前类/方法/对象： @SuppressLint("all") 在XML中：tools:ignore="忽略"

  • postgresql 排它约束

    --pg支持 EXCLUSION Constraint,排它约束是约束中定义的操作计算结果为false，则不允许插入 Exclusion constraints ensure that if any two rows are compared on the specified columns or expressions using the speci...

  • 常用的几种Hints优化一条SQL

    环境：  oracle 10g R2  Select Count(*) From t_Ho_Order_Statistics --2032946 Select Count(*) From t_Ho_Order_Info       --2032946 其他都是小的维度表 统计信息已经检查过了，差不多10天前的（不过我10天前跑过这个SQL,出来的执行计划一样）， 这里，这里就把注意力集中在两个大表

  • oracle hint用法

    常见的 从网上copy的1. /*+ALL_ROWS*/　　表明对语句块选择基于开销的优化方法,并获得最佳吞吐量,使资源消耗最小化.　　例如:　　SELECT /*+ALL+_ROWS*/ EMP_NO,EMP_NAM,DAT_IN FROM BSEMPMS WHERE EMP_NO=SCOTT; 　　2. /*+FIRST_ROWS*/　　表明对语句块选择基于开销的优化方法,并获得最佳响

  • 取消将要执行的延迟函数吗？（使用了performSelector）

    取消将要执行的延迟函数吗？（使用了performSelector） [NSObject cancelPreviousPerformRequestsWithTarget:self selector:@selector(你要停止的函数名) object:nil];

  • 五分钟精通Oracle Hints

    转自 http://database.51cto.com/art/200911/163085.htm 在向大家详细介绍Oracle Hints之前，首先让大家了解下Oracle Hints是什么，然后全面介绍Oracle Hints，希望对大家有用。基于代价的优化器是很聪明的，在绝大多数情况下它会选择正确的优化器，减轻了DBA的负担。但有时它也聪明反被聪明误，选择了很差的执行计划，使某个语句...

  • SQL优化【基础04】 - 常用HINT用法

    --parallel

  • python django面试题(第八章)

    第八章 django 1. 简述http协议和常用请求头 http协议是超文本传输协议 常用请求头: 协议头 说明 Accept 可接受的响应内容类型 Accept-Charset 可接受的字符集 Accept-Encoding 可接受的响应内容的编码方式。 Accept-Language 可接受的响应内容语言列表。 Accept-Datetime 可接受的按照时间...

Global site tag (gtag.js) - Google Analytics