`

eBay 的数据库分布扩展架构

阅读更多

eBay 的数据库分布扩展架构

网址:

 

在过去的 Blog 中, 我(插一嘴:这里的"我" 如果替换成 "Fenng" 似乎有些自恋, 也不是我喜欢的行文语气, 可发现转贴不留名的行为太多了,他大爷的) 曾经介绍过 《eBay 的应用服务器规模》 , 也介绍过 《eBay 的数据量》 ,在这篇文章中提到过 "eBay 购买了 Quest Share Plex 全球 Licence 用于数据复制",这个地方其实没有说开来。

对于 eBay 这样超大规模的站点来说,瓶颈往往最容易在数据库服务器上产生,必定有一部分数据(比如交易记录这样不容易水平分割的数据)容易带来大量的读操作,而不管用什么存储,能承担的 IO 能力是有限的。所以,如果有效的分散 IO 的承载能力就是一个很有意义的事情。

经过互联网考古学不断挖掘,路路续续又现了一些蛛丝马迹能够多少说明一些问题。客观事实加上主观想象,简单的描述一下。见下图:

ebay_shareplex_F5.jpg

通过 Quest 公司的 Share Plex 近乎实时的复制数据到其他数据库节点,F5 通过特定的模块检查数据库状态,并进行负载均衡,IO 成功的做到了分布,读写分离,而且极大的提高了可用性。F5 真是一家很有创新性的公司,虽然从这个案例来说,技术并无高深之处,但方法巧妙,整个方案浑然一体。

F5公司专门为Oracle 9i 数据库开发了专用的健康检查模块,通过调用F5专有的扩展应用校验(EAV)进程,F5能够随时得到Oracle 9i数据库的应用层服务能力而不是其他的负载均衡设备所采用的 ICMP/TCP 层进行健康检查。

这个图来自一篇《F5助力eBay数据库服务器负载均衡》的软文,真是一篇很好的软文,国外恐怕不会出现这样"含金量"极高的东西。

当然,这个技术架构可不算便宜。Quest 的 Share Plex License 很贵,而且,对于每个结点来说,都需要数据库 License 与硬件费用。但优点也很多:节省了维护成本; 数据库层面的访问也能做到 SOA; 高可用性。

国内的一些厂商比较喜欢给客户推存储级别的解决方案。通过存储底层复制来解决数据分布以及灾备问题。这个思路似乎太传统了,对于互联网企业来说多少有点过时。

BTW : 对 Amazon 的存储架构非常感兴趣,谁/哪里能提供点线索呢?

分享到:
评论

相关推荐

    eBay大数据基本架构的未来 共23页.pdf

    面对如此爆炸性的数据增长,eBay的大数据架构需要具备高度的扩展性和适应性。一方面,公司处理着庞大的交易数据,如每秒售出的商品种类繁多,从手机到服装、家具,再到电子产品,这些交易数据构成了eBay业务的核心。...

    ebay架构原则,架构演变历史及ebay的自动化

    eBay的架构原则是其成功的关键之一,它们确保了系统的可扩展性、灵活性和可靠性。这些原则包括: 1. **模块化**:系统被设计成多个独立的模块,每个模块负责特定的功能,这使得系统能够更容易地进行升级和维护。 2....

    Ebay的架构发展

    随后,Ebay开始采用微服务架构来进一步提升系统的可扩展性和灵活性。微服务架构通过将大的系统拆分成小的、独立的服务来运行,每个服务可以独立部署、扩展和更新。这种架构帮助Ebay在面对流量高峰时,能够有针对性地...

    eBay架构

    为了处理如此大规模的业务,eBay的架构必须具备高可用性、可扩展性和高性能等特性。以下是对eBay架构的详细解析。 首先,eBay架构的核心是基于服务化的分布式系统。这种架构将复杂的业务逻辑拆分成多个独立的服务,...

    Ebay分布式数据库实现

    本篇文章将详细介绍eBay分布式数据库的架构与分层原理。 #### 二、Data Access Layer (DAL) 概览 Data Access Layer (DAL) 是一种面向对象的抽象层,用于访问和更新分布式持久资源中的数据。所有对持久资源的增删...

    ebay架构分析

    综上所述,eBay的架构设计体现了现代大型互联网公司的最佳实践,旨在提供高可用、高性能、可扩展的服务,同时保证数据安全和用户体验。通过不断地优化和创新,eBay持续满足其全球用户的快速增长需求。

    网站架构及高性能并发服务器设计

     eBay 的数据库分布扩展架构 68  从LiveJournal后台发展看大规模网站性能优化方法 70  中国顶级门户网站架构分析1 116   中国顶级门户网站架构分析 2 118  服务器的大用户量的承载方案 120  YouTube ...

    Ebay架构特点(HPTS 2009)

    Ebay架构特点主要体现在其高可扩展性、高性能和高可用性上,这些特性使得Ebay平台能够处理全球海量的在线交易。在2009年HPTS(High Performance Transaction Systems)会议上,Ebay分享了他们的系统架构设计,以下是...

    分布式数据库实践(下eBay Marketing Feeds在十亿数据场景下的架构演变和NewSQL的实践尝试V3.zip

    分布式数据库实践是现代大数据处理的关键技术之一,尤其在面对如eBay Marketing Feeds这样处理海量数据的场景下,其架构的演变与优化至关重要。在这个专题中,我们将深入探讨eBay如何应对十亿级别的数据挑战,并尝试...

    eBay的MongoDB弹性数据库设计.docx

    综上所述,eBay 的 MongoDB 弹性数据库设计展示了如何通过精心设计的架构和策略,结合MongoDB 的特性和功能,构建一个高度可用、可扩展且适应性强的数据库系统,以满足大规模在线市场的严苛需求。这样的设计不仅保证...

    ebay,youku,facebook等架构文档

    - eBay的架构设计注重高可用性和可扩展性,以支持全球范围内的大规模在线交易。 - 强调服务化和模块化,使系统能够快速适应业务变化。 - 使用负载均衡和分布式缓存技术来处理高并发请求。 - 探讨了eBay在数据...

    ebay archtecture

    数据库层面,eBay拥有上百个逻辑数据库分布在不同物理主机上,根据数据类型进行独立管理和扩展。 2. 水平切分:无状态设计使得应用层的水平扩展变得简单,通过负载均衡器将请求分发至多台应用服务器。数据库层面,...

    分布式数据库实践(下eBay Marketing Feeds在十亿数据场景下的架构演变和NewSQL的实践尝试V3.pdf

    然而,这种架构存在高延迟、维护成本高和扩展性差的问题,且由于数据源多样,导致兼容性问题。\n\n**第二代系统架构**\n\n为了解决上述问题,eBay引入了统一的批流处理单元,降低了延迟并提高了吞吐量。这一架构包含...

    高性能高并发服务架构.doc

    #### eBay的数据库分布扩展架构 - 实现了数据库的水平扩展,通过分片、复制等手段,支撑了海量交易数据的处理。 #### LiveJournal的性能优化方法 - 从单台服务器到多服务器集群,再到引入缓存和负载均衡,逐步...

    从eBay的SOA解决方案谈SaaS扩展性

    本文将通过分析eBay的SOA(Service-Oriented Architecture,面向服务的架构)解决方案,深入探讨SaaS扩展性的实现路径。 ### SOA与SaaS的结合 SOA是一种设计原则,它强调通过服务接口将应用程序的不同功能组件解耦...

    高性能高并发服务器架构.pdf

    - 数据库分布扩展架构: 使用了多种技术手段实现了数据库的分布式扩展。 #### 4. 高并发高负载网站的系统架构设计 - **系统分层设计**: 通常包括前端展示层、业务逻辑层、数据访问层等多个层次。 - **模块化设计**:...

    eBay Architecture-Scalability with Agility

    标题“eBay Architecture - Scalability with Agility”及描述同名,揭示了eBay如何通过灵活且可扩展的架构来应对日益增长的数据量、用户需求以及业务挑战。下面,我们将深入探讨这一主题,理解eBay是如何实现其架构...

    eBay架构设计原则、策略、模式

    在构建大型电子商务网站如...总的来说,eBay的架构设计旨在创建一个能够灵活扩展、高度可用、低延迟且易于管理的平台,同时考虑到成本效益。这些原则和策略对于任何寻求构建或优化大规模在线服务的企业都具有参考价值。

    Qcon2011 eBay技术平台:掌控十亿级交易数据(Tony Ng)

    为了应对海量数据和高并发访问的需求,eBay采取了一系列策略来构建其可扩展架构: 1. **分区一切**:数据库、应用程序层和搜索引擎均被分区,以实现负载均衡和性能优化。 2. **无状态偏好**:应用程序层不保留会话...

Global site tag (gtag.js) - Google Analytics