`
huangxx
  • 浏览: 324934 次
  • 来自: ...
社区版块
存档分类
最新评论

eBay 的数据库分布扩展架构 - zt

阅读更多

在过去的 Blog 中, 我(插一嘴:这里的"我" 如果替换成 "Fenng" 似乎有些自恋, 也不是我喜欢的行文语气, 可发现转贴不留名的行为太多了,他大爷的)曾经介绍过 《eBay 的应用服务器规模》 , 也介绍过 《eBay 的数据量》,在这篇文章中提到过 "eBay 购买了 Quest Share Plex 全球 Licence 用于数据复制",这个地方其实没有说开来。

对于 eBay 这样超大规模的站点来说,瓶颈往往最容易在数据库服务器上产生,必定有一部分数据(比如交易记录这样不容易水平分割的数据)容易带来大量的读操作,而不管用什么存储,能承担的 IO 能力是有限的。所以,如果有效的分散 IO 的承载能力就是一个很有意义的事情。

经过互联网考古学不断挖掘,路路续续又现了一些蛛丝马迹能够多少说明一些问题。客观事实加上主观想象,简单的描述一下。见下图:

ebay_shareplex_F5.jpg

通过 Quest 公司的 Share Plex 近乎实时的复制数据到其他数据库节点,F5 通过特定的模块检查数据库状态,并进行负载均衡,IO 成功的做到了分布,读写分离,而且极大的提高了可用性。F5 真是一家很有创新性的公司,虽然从这个案例来说,技术并无高深之处,但方法巧妙,整个方案浑然一体。

F5公司专门为Oracle 9i 数据库开发了专用的健康检查模块,通过调用F5专有的扩展应用校验(EAV)进程,F5能够随时得到Oracle 9i数据库的应用层服务能力而不是其他的负载均衡设备所采用的 ICMP/TCP 层进行健康检查。

这个图来自一篇《F5助力eBay数据库服务器负载均衡》的软文,真是一篇很好的软文,国外恐怕不会出现这样"含金量"极高的东西。

当然,这个技术架构可不算便宜。Quest 的 Share Plex License 很贵,而且,对于每个结点来说,都需要数据库 License 与硬件费用。但优点也很多:节省了维护成本; 数据库层面的访问也能做到 SOA; 高可用性。

国内的一些厂商比较喜欢给客户推存储级别的解决方案。通过存储底层复制来解决数据分布以及灾备问题。这个思路似乎太传统了,对于互联网企业来说多少有点过时。

BTW: 对 Amazon 的存储架构非常感兴趣,谁/哪里能提供点线索呢?

--EOF--

 
分享到:
评论

相关推荐

    PyPI 官网下载 | ebay_rest-0.0.9-py3-none-any.whl

    标题中的"PyPI 官网下载 | ebay_rest-0.0.9-py3-none-any.whl"指出了这是从Python Package Index (PyPI) 官方网站下载的一个软件包,名为`ebay_rest`,版本号为0.0.9。PyPI是Python社区用来分享、发布和管理Python第...

    ebay架构原则,架构演变历史及ebay的自动化

    标题与描述均提到了“ebay架构原则,架构演变历史及ebay的自动化”,这实际上指代了eBay在IT架构设计、发展以及自动化技术应用上的深入探索与实践。以下是对这一主题的深入分析,旨在解析eBay如何通过其独特的架构...

    eBay大数据基本架构的未来 共23页.pdf

    面对如此爆炸性的数据增长,eBay的大数据架构需要具备高度的扩展性和适应性。一方面,公司处理着庞大的交易数据,如每秒售出的商品种类繁多,从手机到服装、家具,再到电子产品,这些交易数据构成了eBay业务的核心。...

    2013年中国数据库大会-11-NoSQL一致性实践:我对CAP的一点认识

    CAP定理的流行得益于多篇重要论文的发表,例如Google的Bigtable(2006)和Amazon的Dynamo(2007),以及Werner Vogels(亚马逊的CTO)和Dan Pritchett(eBay的架构师)的推介文章。 在实践中,传统数据库保证了一致...

    PyPI 官网下载 | ebay_feedsdk-0.2.0-py3-none-any.whl

    **PyPI 官网下载 | ebay_feedsdk-0.2.0-py3-none-any.whl** 在Python开发中,PyPI(Python Package Index)是官方的第三方库存储库,它提供了大量的Python软件包供开发者下载和使用。标题中的"PyPI 官网下载"表明...

    Ebay分布式数据库实现

    eBay 的分布式数据库架构是其业务成功的关键之一。通过采用 DAL 抽象层,eBay 能够高效地处理海量数据,同时保持系统的可扩展性和可靠性。本文详细介绍了 DAL 的各个方面,包括其结构、功能和服务。此外,还讨论了...

    2013年中国数据库大会-32-基于SQL Server的大数据解决方案设计及实现

    在2013年中国数据库技术大会中,有关于基于SQL Server的大数据解决方案设计及实现的专题讨论,这一议题的重要性在于为数据库专业人士提供了一个平台,以探讨和交流如何在大数据环境下运用SQL Server技术。...

    Ebay的架构发展

    随后,Ebay开始采用微服务架构来进一步提升系统的可扩展性和灵活性。微服务架构通过将大的系统拆分成小的、独立的服务来运行,每个服务可以独立部署、扩展和更新。这种架构帮助Ebay在面对流量高峰时,能够有针对性地...

    eBay架构

    为了处理如此大规模的业务,eBay的架构必须具备高可用性、可扩展性和高性能等特性。以下是对eBay架构的详细解析。 首先,eBay架构的核心是基于服务化的分布式系统。这种架构将复杂的业务逻辑拆分成多个独立的服务,...

    Python库 | ebay_oauth_zs-0.11.tar.gz

    这个库帮助开发者获取和管理eBay API的访问权限,以便于进行数据交互和功能扩展。OAuth(开放授权)是一种开放标准,允许用户提供一个令牌,而不是用户名和密码来访问他们存储在第三方应用上的信息。这为用户提供了...

    高性能高并发服务架构.doc

    #### eBay的数据库分布扩展架构 - 实现了数据库的水平扩展,通过分片、复制等手段,支撑了海量交易数据的处理。 #### LiveJournal的性能优化方法 - 从单台服务器到多服务器集群,再到引入缓存和负载均衡,逐步...

    个人整理-Ebay最全商品类目-法国站点.xlsx

    电子商务,跨境电商,电商运营,售后客服必备资源

    ebay架构分析

    综上所述,eBay的架构设计体现了现代大型互联网公司的最佳实践,旨在提供高可用、高性能、可扩展的服务,同时保证数据安全和用户体验。通过不断地优化和创新,eBay持续满足其全球用户的快速增长需求。

    ebay-oauth-csharp-client:eBay OAuth C#客户端库

    eBay OAuth C#客户端库目录概括为了使与eBay RESTful API的集成更加容易,eBay提供了C#和Java客户端库,以简化授权设置,减少了应用程序开发人员为获取OAuth访问令牌而必须编写的代码量。 该库除了可以用作简单的...

    网站架构及高性能并发服务器设计

     eBay 的数据库分布扩展架构 68  从LiveJournal后台发展看大规模网站性能优化方法 70  中国顶级门户网站架构分析1 116   中国顶级门户网站架构分析 2 118  服务器的大用户量的承载方案 120  YouTube ...

    高性能高并发服务器架构

    - **案例二**:eBay的数据量及架构 - **策略**: - 分布式数据库。 - 数据库读写分离。 - 缓存技术。 #### 10. 性能优化方法 - **前端性能优化**: - 减少HTTP请求。 - 压缩图片和文件。 - 异步加载脚本。 - *...

    个人整理-Ebay最全商品类目-EBAY_马来西亚站点.xlsx

    电子商务,跨境电商,电商运营,售后客服必备资源

Global site tag (gtag.js) - Google Analytics