扩展Facebook到5亿用户以及以上
By Robert Johnson Translated By Jametong
今天对Facebook来讲,我们达到了Facebook的一个非常重要的里程碑-5亿的用户数.这对于我们这些从事技术与运维的工程师来讲尤其令人激动,是我们构建了有能力处理如此巨大规模的增长的系统.当我在4年前来到Facebook的时候,我们有700万用户(在当时看似已经是非常的数量了),这一路走来遇到的挑战远远超出我们的想像.
下面是我们处理的部分大数字(the Big Numbers):
- 5个亿的活跃用户数
- 每天1000亿的点击数
- 500亿的图片数
- 2万亿的缓存对象,每秒亿级的请求数
- 每天130TB的日志量
这些年,我们在此页面写了部分关于我们如何处理这么大规模数据的技术方案.今天,我将退后一步,来谈谈一些我们关于扩展(Scaling)的常用方法,以及部分我们用来解决此类扩展性问题的原则.如在Facebook本身一样,这些原则既涉及到技术也涉及到人.实际上,下面将要讨论的原则只有部分是完全技术相关的.在这一天结束的时候,是这些构建此系统并使其运转的人,我们用来扩展这些系统的最佳工具是我们可以处理任何问题的技术与运营团队.我最感到自豪的扩展统计指标是我们的每个工程师可以服务100万的用户,并且这个指标还在稳定地增长.
纵向扩展
它不是万能的,不过,它确实很重要.如果什么东西出现了爆发性的增长,处理它的唯一明智可行的方法就是将其分布到任意多数量的机器上.切记,计算机世界只有三个数字:0,1和n.
例如,考虑这样一种情况,用户数据库无法处理此负载.我们可以将其拆分成两个功能-比如说,账户与概要—并将他们放到不同的数据库中.这可能耗费掉我们一整天的时间,不过,也可能需要花费更多的工作,而且它只能扩展到两倍的容量.一旦完成此项工作,我们还必须开始下一步新的工作,而且下一步的工作会更加困难.相反,我们可以花费部分额外的时间来编写代码,以解决当两个用户不在同一个数据库中的情况.这可能比将代码拆成两半要耗费更多的工作时间,不过它可以在后续的很长时间都给我们带来收益.
注意,这样做并不会提高效率,实际上,它可能让情况变得更糟糕.效率是非常重要的,但是,我们认为它与扩展性(Scaling)是相互独立的项目.
快速响应
如果你查看我们的增长曲线,你将发现不到它有平稳的时候.我们从来就没有坐下来深呼吸、自我恭维一番、并考虑下一步该如何做的时间.每周,我们都会遭遇更大的挑战.
当然,我们对此图的最终走向有不错的注意,但是,每个规模级别上都会有惊喜.我们可用来处理这些惊喜的最佳方式是,拥有可以灵活应对并快速解决问题的技术与运维团队.快速响应也使得我们可以尝试更多的事情,来检验哪个才是在实践中真正可用的.我们发现,保持这种灵活性要远远比任何其他技术决定来的重要.
渐进变更
我们发现,保持快速移动的最好方式是进行大量的小的变更,并衡量做了这些变更后系统的反应.这并不意味着我们不去做大事,它仅仅表示只要有可能,我们都将其拆分成大量的独立的小块.与此相反,很多开发哲学尝试做批量变更.
即使有些东西无法在功能上对其进行拆分,我们也尝试逐步地推出.这可能意味着一次迁移一部分用户或者一部分机器,甚或构建一个与老系统完全并行的系统,并在我们衡量效果的时候缓慢地将流量切换过来.
渐进变更的伟大之处在于,只要有东西与你期望的不一致,你立刻就能发现.与直觉不同,这样做最终让保持系统稳定变更更加容易.
当生产环境有问题时,修复它的最困难的部分可能就是问题定位了.如果只有一个变更的话,问题的定位就简单多了.在传统模型中,当你有几个星期甚至几个月的变更一起生效时,定位具体哪个变更导致了问题可能是个梦魇.
度量一切
只有当你确实有能力监控系统在做什么时,你才可以做大量的小的变更,并监控系统在做什么.在Facebook,我们收集巨量的数据,任一特定的服务器都会输出几十上百个可制作成图表的指标.这不仅仅包含类似于CPU与内存等系统级别的内容,还包含应用级别的统计信息,我们可以据此判断为什么发生这样的事情.
当他们有问题时(真正有趣的问事情只会出现在生产环境),统计信息来自真实的发生问题的生产环境机器这一点非常重要.这些统计必须来自所有的机器,因为大量重要的影响都被平均数隐藏了,只是出现在分布图上,特别是95%或99%的百分位上.
我们构建了多个用来收集、分析这些数据的工具,并已经将它们发布到了开源社区,其中包含Hive与Scribe.
小而独立的团队
当我开始在Facebook工作时,我是图片处理模块团队的两个人之一.这很疯狂,但是,现在我们已经是一个”大”公司了.我们图片处理模块有三个人.我们每个人都了解图片处理模块的所有底细,都可以独立地做相关决定.因此,当需要对图片处理模块做什么变更时,都可以快速而准确地做好此变更.
控制权与责任
如果没有开发与运营团队地无缝合作，以及他们如同事一个团队一样的去解决问题，上述原则都将无法实施.对于这一点，说易行难,但是,我们有一个非常有用的基本原则.
对一件事情负责的人必须对这件事有控制权.
这一点看似非常明显,但实际情况通常不是这样.经典的例子是一个人发布另一个人写的代码.发布代码的人好像对此负责,但实际上是写这个代码的对此有控制权.这就将发布此代码的人置于一个艰难的境地,他们仅有的选择是要么发布此代码,要么对冒险对可能出现的问题承担责任,因此,他们有强烈的动机拒绝发布.另一方面,如果写此代码的人感觉自己并不负责此功能是否有效,这个功能很可能就无法有效工作.
在Facebook,我们每天都会往网站发布代码,是写这些代码的人对此具体负责.看到自己创建的东西被5亿的人使用是令人振奋并震撼人心的.看到它出问题就更加震撼人心了. 关于如果给这5亿的用户带来伟大的软件,我们所知道的最好的方式是让对此事的重要性有深刻理解,对此事有深刻理解并有控制权的人来做正确的决定.
5亿之外
我们非常自豪,我们创建了一个5亿人想要使用的网站,这个5亿人正在使用的网站仍然在工作.但这确实仅仅是一个开始. 我们希望在不远的将来,我们会有另外5个亿的用户,这些原则将帮助我们克服后面将要面对的任何新的挑战.
Bobby, 技术总监, 比他4年前对大数字(Big Numbers)有了完全不同的理解.
相关推荐
Dify智能体：JSON 修复.yml
陕西省2025年初中学业水平考试实验操作考试试题及评分细则.zip
内容概要：本文详细介绍了西门子S7-1200 PLC在污水处理项目中的应用，涵盖模拟量处理、设备轮换、Modbus通讯以及事件记录等多个方面。文中展示了如何利用博途V17进行程序设计，包括具体的SCL代码实例，如液位检测的滑动窗口滤波法、提升泵的轮换逻辑、Modbus TCP对变频器的控制以及报警信息管理等。此外，还分享了一些实用技巧，如防止信号跳变、避免设备过度磨损、确保通讯稳定性和提高报警记录效率的方法。 适合人群：从事工业自动化领域的工程师和技术人员，尤其是熟悉西门子PLC和博途软件的从业者。 使用场景及目标：适用于污水处理项目的PLC编程和系统集成，旨在提高系统的稳定性和可靠性，减少维护成本并优化设备性能。 其他说明：文中不仅提供了详细的代码示例，还分享了许多来自实际项目的经验教训，帮助读者更好地理解和应用相关技术。
内容概要：本文详细介绍了基于PLC（西门子S7-1200）的自动药片装瓶机控制系统的设计与仿真过程。涵盖了硬件选型（伺服电机、光电传感器）、软件编程（梯形图、结构化文本）、关键算法（传送带定位、振动盘控制、药片计数）、异常处理以及仿真测试等方面的内容。重点讨论了如何通过精确的硬件配置和优化的控制逻辑来确保系统的稳定性和高效性。 适合人群：从事工业自动化领域的工程师和技术人员，尤其是对PLC编程和机电一体化感兴趣的读者。 使用场景及目标：适用于制药行业及其他需要自动化包装设备的企业。主要目标是提高生产效率、减少人工干预、提升产品质量和稳定性。 其他说明：文中提供了大量实际案例和调试经验，帮助读者更好地理解和应用相关技术和方法。同时强调了仿真测试的重要性，为后续的实际部署提供了宝贵的经验和改进建议。
内容概要：本文介绍了一种利用元启发式算法（如粒子群优化，PSO）优化线性二次调节器（LQR）控制器加权矩阵的方法，专门针对复杂的四级倒立摆系统。传统的LQR控制器设计中，加权矩阵Q的选择往往依赖于经验和试错，而这种方法难以应对高维度非线性系统的复杂性。文中详细描述了如何将控制器参数优化问题转化为多维空间搜索问题，并通过MATLAB代码展示了具体实施步骤。关键点包括：构建非线性系统的动力学模型、设计适应度函数、采用对数缩放技术避免局部最优、以及通过实验验证优化效果。结果显示，相比传统方法，PSO优化后的LQR控制器不仅提高了稳定性，还显著减少了最大控制力，同时缩短了稳定时间。 适合人群：控制系统研究人员、自动化工程专业学生、从事机器人控制或高级控制算法开发的技术人员。 使用场景及目标：适用于需要精确控制高度动态和不确定性的机械系统，特别是在处理多自由度、强耦合特性的情况下。目标是通过引入智能化的参数寻优手段，改善现有控制策略的效果，降低人为干预的需求，提高系统的鲁棒性和性能。 其他说明：文章强调了在实际应用中应注意的问题，如避免过拟合、考虑硬件限制等，并提出了未来研究方向，例如探索非对角Q矩阵的可能性。此外，还分享了一些实践经验，如如何处理高频抖动现象，以及如何结合不同类型的元启发式算法以获得更好的优化结果。
内容概要：本文详细介绍了LLC谐振变换器的设计方法及其仿真模型的应用。首先，通过参数设计程序，如Excel表格和Matlab脚本，进行关键参数的计算，确保设计符合预期性能。其次，利用Matlab/Simulink构建闭环控制仿真模型，优化PID控制器和PWM生成模块，提高系统的稳定性和响应速度。最后，提供了详细的模态分析和波形解读，帮助理解和规避常见设计陷阱。文中强调了参数选择的重要性，如电感比k值、死区时间和谐振元件的实际测量值，并分享了多个实战经验和调试技巧。 适合人群：从事电力电子设计的技术人员，尤其是对LLC谐振变换器感兴趣的工程师。 使用场景及目标：适用于需要高效、稳定的电源转换解决方案的研发项目。主要目标是掌握LLC谐振变换器的设计原理和技术要点，能够独立完成从参数计算到闭环调试的全过程。 其他说明：文中提供的工具和方法不仅有助于初学者快速入门，也能为有经验的工程师提供宝贵的参考资料。特别提到了一些容易忽视的细节和常见的错误，帮助读者避免不必要的损失。
内容概要：本文探讨了利用深度强化学习（DRL）解决现代电网复杂控制问题的方法，特别是针对自主电压控制（AVC）的应用。文中介绍了多智能体系统（MAS）与深度确定性策略梯度（MADDPG）相结合的MA-AVC算法，展示了如何将电网划分为多个子区域，每个子区域由一个智能体负责，通过集中训练和分散执行的方式进行电压控制。文章详细解释了智能体网络的设计、训练过程、奖励机制以及在伊利诺伊200总线系统上的实验验证。结果显示，相比传统方法，该算法在处理负荷突变、N-1故障和通信延迟等方面表现出显著优势。 适合人群：对深度强化学习、电力系统自动化感兴趣的科研人员和技术开发者，尤其是希望了解如何将AI应用于实际工业场景的研究者。 使用场景及目标：适用于需要提高电网稳定性和响应速度的实际应用场景，特别是在可再生能源接入和快速需求响应的要求下。目标是通过智能化手段提升电网的自适应能力和鲁棒性。 其他说明：文章提供了详细的代码示例和实验结果，帮助读者理解和复现相关算法。特别强调了奖励函数设计和电网仿真的重要性，指出了一些常见的实现陷阱及其解决方案。
内容概要：本文详细介绍了MIMO通信系统的三个重要方面：空间编码、系统容量计算以及信道特性仿真。首先探讨了Alamouti空时编码的具体实现方法及其在接收端的解码过程，展示了如何通过共轭转置排列实现分集增益。其次，深入讲解了MIMO系统容量公式的推导及其在Matlab中的高效实现，特别强调了使用奇异值分解提高数值稳定性的技巧。最后，讨论了信道矩阵的条件数对系统性能的影响，并提出了应对病态信道的方法如MMSE检测。 适合人群：具备一定通信理论基础和技术背景的研究人员、工程师及高校学生。 使用场景及目标：适用于希望深入了解MIMO通信系统内部机制的人群，帮助他们掌握空间编码、系统容量计算和信道建模的实际应用技能，为后续研究提供理论支持和技术储备。 其他说明：文中提供了大量实用的Matlab代码片段，便于读者快速理解和实践。同时提醒读者注意实际工程中可能遇到的问题，如数值稳定性、信道相关性和噪声增强等。
内容概要：本文档详细介绍了西门子PLC与意普测量光栅通过Modbus RTU协议进行通信的方法。硬件方面，使用了1214DC/DC/DC PLC、CB1214通讯板、ESM4810NQ-2测量光栅以及USB转485串口线缆等设备。软件部分采用博图V18进行编程，并利用调试助手modbuSCAN和sscom来辅助配置与测试。文中具体描述了创建MASTER_COMM_LOAD指令、添加MB_MASTER主站指令及轮询程序编写的步骤，包括详细的报文格式解析如站号、功能码、寄存器地址、内容及CRC校验码等信息。此外，还提供了针对光栅的初始化、波特率、奇偶校验和停止位等参数配置示例及其对应的报文解释。; 适合人群：熟悉PLC编程并希望深入了解Modbus通讯协议的应用工程师和技术人员。; 使用场景及目标：①实现PLC作为主站与测量光栅之间的稳定通信；②掌握Modbus RTU协议的具体应用细节，包括报文结构的理解与配置；③解决实际项目中可能遇到的通信问题，如线路连接、参数设置等。; 阅读建议：建议读者在阅读时结合实际硬件设备进行操作练习，同时注意文中提到的一些常见问题及其解决方案，如线序连接错误导致的乱码现象等。
内容概要：本文详细介绍了基于Qt的Modbus协议开发，涵盖协议原理、Qt框架支持、开发流程、代码示例及常见问题解决方案。Modbus协议支持串行通信（RTU/ASCII）和以太网（TCP/IP）两种传输方式，具有功能码定义、数据模型和通信模式等核心功能。Qt通过Qt Serial Bus模块提供对Modbus的支持，主要类有QModbusDevice、QModbusClient（含QModbusTcpClient和QModbusRtuSerialMaster）、QModbusDataUnit和QModbusReply。开发环境配置需在Qt项目的.pro文件中添加相应模块，并准备硬件设备。文中给出了Modbus客户端（TCP）的连接、读取和写入寄存器的代码示例，以及Modbus服务器的实现步骤。还列举了常见的问题与调试技巧，包括通讯不稳定、数据异常和性能优化的方法。最后介绍了该技术在工业自动化、能源管理和智能家居的应用场景。; 适合人群：具备一定Qt编程基础，对工业通信协议感兴趣的开发者。; 使用场景及目标：①学习Modbus协议的基本原理及其在Qt中的实现方法；②掌握Qt Modbus框架的核心类及其用法；③能够独立开发Modbus客户端和服务器程序，解决常见问题。; 阅读建议：本文内容详实，涉及多个知识点和技术细节，在阅读过程中应结合实际开发环境进行实践操作，以便更好地理解和掌握相关技术。
本书《SEO for Beginners 2021》旨在向读者介绍如何使用搜索引擎优化（SEO）技术，在谷歌上提升网站排名，吸引新客户，从而实现业务增长。作者加里·戈丁和阿伦·肯尼迪通过实例和策略指导，帮助读者了解SEO的基础知识，包括关键词研究、网站设置、链接构建、社交媒体SEO优化以及如何使用谷歌分析工具来监控SEO效果。书中还特别强调了SEO在商业世界中的重要性，并提供了在谷歌广告平台上进行有效广告投放的技巧和策略。此外，作者还分享了如何通过解决SEO常见问题、设置广告账户、撰写广告文案、创建着陆页以及监控转化率等方法，进一步优化搜索引擎营销效果。
内容概要：本文详细介绍了利用混沌系统进行图像加密的方法，重点探讨了Logistic映射生成混沌序列用于图像加密的具体实现。首先，通过Python代码生成混沌序列，确保其随机性和不可预测性。然后，采用循环移位扰乱技术对图像像素进行重新排列，使图像的像素位置发生改变。接着，通过水平和垂直扩散技术进一步打乱像素之间的关联性，增加加密强度。文中还展示了加密效果评估方法，如直方图分析、信息熵计算以及相关系数测量，验证了加密算法的有效性。 适合人群：对图像加密技术和混沌系统感兴趣的科研人员、信息安全专家及有一定编程基础的研究者。 使用场景及目标：适用于需要高强度图像加密保护的场合，如军事、医疗等领域的重要图像资料保护。目标是提供一种高效、安全的图像加密解决方案。 其他说明：文中提供了详细的Python代码示例，便于读者理解和实践。同时强调了实际应用中需要注意的问题，如参数选择和性能优化等。
内容概要：本文详细介绍了利用FLAC3D软件进行双线隧道开挖和临近既有隧道的基坑开挖的数值模拟方法和技术要点。首先，针对隧道开挖部分，采用反力支撑法控制应力释放，并使用shell壳单元模拟喷射混凝土支护结构。其次，在基坑开挖过程中，采用了地连墙加对撑的方式，分层开挖并及时安装水平对撑。文中还提供了多个关键代码片段，展示了具体的实现步骤。此外，文章强调了监测点数据采集和处理的重要性，以及如何通过调整接触面参数解决潜在问题。最后，作者分享了一些实用技巧，如固定云图色标范围、正确设置接触面摩擦系数等。 适合人群：从事地下工程、岩土工程及相关领域的研究人员和工程师。 使用场景及目标：适用于需要进行复杂地质条件下隧道和基坑开挖数值模拟的研究人员和工程师，旨在帮助他们更好地理解和掌握FLAC3D软件的应用，提高模拟精度和效率。 其他说明：文章不仅提供了详细的代码示例，还结合实际案例进行了深入分析，有助于读者将理论知识应用于实际工程项目中。
实现多数据类型的传输
内容概要：《2024年中国物联网产业创新白皮书》由深圳市物联网产业协会与AIoT星图研究院联合编制，汇集了全国30多个省市物联网组织的智慧。白皮书系统梳理了中国物联网产业的发展历程、现状及未来趋势，涵盖了物联网的概念、产业结构、市场规模、投融资情况、面临的问题与机遇。书中详细分析了感知层、传输层、平台层及应用层的关键技术，探讨了智慧城市、智能工业、车联网、智慧医疗等九大产业物联网应用领域，以及消费物联网的发展特征与热门单品。此外，白皮书还关注了物联网数据安全、法规遵从、人才短缺等挑战，并提出了相应的解决方案。 适用人群：物联网从业者、企业决策者、政策制定者及相关研究机构。 使用场景及目标：①帮助从业者深入了解物联网产业的现状和发展趋势；②为企业决策者提供战略规划依据；③为政策制定者提供政策支持和法规制定参考；④为研究机构提供详尽的数据和案例支持。 其他说明：白皮书不仅限于技术科普，更从宏观角度结合市场情况，多维度讨论了物联网产业生态，旨在为物联网企业、从业者找到最适合的技术应用场景，促进产业健康发展。报告还特别鸣谢了参与市场调研的企业，感谢他们提供的宝贵行业信息。由于时间和资源的限制，报告可能存在信息不充分之处，欢迎各界人士提出宝贵意见。
内容概要：本文介绍了如何利用Simulink实现‘质心侧偏角-横摆角速度’相平面法，用于分析车辆的动力学行为。作者详细描述了模型的构建过程，包括输入模块、车辆动力学模型以及相平面生成模块的设计。通过调整车辆速度、路面附着系数和前轮转角等参数，可以直观地观察到车辆稳定性的变化。此外，文中还提供了详细的代码示例和结果分析，帮助读者更好地理解和应用这一方法。 适合人群：对车辆动力学感兴趣的工程师和技术人员，特别是那些希望通过Simulink进行车辆稳定性分析的人。 使用场景及目标：适用于需要评估车辆在不同行驶条件下稳定性的场合，如汽车制造商的研发部门、交通安全研究机构等。目标是通过相平面法直观展示车辆动态响应，辅助优化车辆设计和改进驾驶安全性能。 其他说明：附带完整代码和Simulink模型文件，便于读者动手实践。同时，文中提到的一些调试技巧和常见问题解决方法也非常有价值。
Minecraft PEB 1.21.90.20 v8a原版.apks
项目资源包含：可运行源码+sql文件+； mysql5.7+Flask+html+jieba+pandas+pillow+scikit-learn+wordcloud+matplotlib 适用人群：学习不同技术领域的小白或进阶学习者；可作为毕设项目、课程设计、大作业、工程实训或初期项目立项。 系统功能介绍: 数据可视化：品牌数据可视化、城市价格可视化、地址销量可视化、品牌付款可视化 词云图：商品、地址、商家词云图 价格预测：模型训练、参数调整、模型预测、线性回归预测 用户模块：用户登陆/注册、个人信息修改、添加日志 管理员模块：登陆、个人信息修改、用户管理、日志管理、价格预测、酒类数据维护
本书是《Data Structures and Algorithm Analysis in C++》第三版的解答手册，包含了该教科书中许多练习题的答案。这些答案反映了第三版第一次印刷时书籍的状态。特别排除了一般编程问题和任何解决方案在章节末尾有参考文献的问题。解决方案在完整性程度上有所不同；通常，细节留给读者。存在的少量代码段落应该是伪-C++代码，而不是完全完美的代码。本书适合已经学习过《Data Structures and Algorithm Analysis in C++》的学生或读者使用，作为理解和掌握数据结构与算法分析的辅助材料。
内容概要：本文详细介绍了利用CST Microwave Studio进行2.4GHz WiFi微带贴片天线设计的具体步骤和技术要点。首先阐述了天线的基础参数设定，包括贴片尺寸、基板材料选择以及介电常数的实际测量重要性。接着深入探讨了馈电位置优化的方法论，强调了参数扫描对于找到最佳匹配点的关键作用。同时，针对网格划分这一易忽视环节提供了宝贵的经验分享，指出合理的网格密度能够显著提高仿真的准确性。此外，还提到了边界条件设置、方向图分析等方面需要注意的问题，并给出了具体的解决方案。最后，作者结合自身经历总结了一些常见错误及其应对措施，为初学者提供了宝贵的实践经验。 适合人群：从事无线通信、射频工程领域的技术人员，尤其是对微带贴片天线设计感兴趣的工程师。 使用场景及目标：帮助读者掌握基于CST平台的微带贴片天线设计流程，提升仿真精度，减少实际制作中的误差，最终达到高效完成天线设计的目标。 阅读建议：由于文中涉及大量专业术语和具体操作指导，建议读者提前熟悉相关基础知识并配合实际案例练习，以便更好地理解和应用所学内容。