`

各大型网站架构分析收集

阅读更多
转载([url]http://blog.csdn.net/lovingprince/archive/2008/11/26/3379710.aspx
1. PlentyOfFish 网站架构学习
http://www.dbanotes.net/arch/plentyoffish_arch.html

采取 Windows 技术路线的 Web 2.0 站点并不多,除了 MySpace ,另外就是这个 PlentyOfFish。这个站点提供 “Online Dating” 服务。一个令人津津乐道的、惊人的数据是这个只有一个人(创建人Markus Frind)的站点价值 10 亿,估计要让很多人眼热,更何况 Markus Frind 每天只用两个小时打理网站–可操作性很强嘛。

2. 从LiveJournal后台发展看 大型网站系统架构以及性能优化方法
http://www.example.net.cn/archives/2006/03/olivejournaloio.html

LiveJournal是99年始于校园中的项目,几个人出于爱好做了这样一个应用,以实现以下功能:
* 博客,论坛
* 社会性网络,找到朋友
* 聚合,把朋友的文章聚合在一起

LiveJournal采用了大量的开源软件,甚至它本身也是一个开源软件。

在上线后,LiveJournal实现了非常快速的增长:
* 2004年4月份:280万注册用户。
* 2005年4月份:680万注册用户。
* 2005年8月份:790万注册用户。
* 达到了每秒钟上千次的页面请求及处理。
* 使用了大量MySQL服务器。
* 使用了大量通用组件。

3. YouTube 的架构扩展
http://www.dbanotes.net/opensource/youtube_web_arch.html

在西雅图扩展性的技术研讨会上,YouTube 的 Cuong Do 做了关于 YouTube Scalability 的报告。视频内容在 Google Video 上有(地址),可惜国内用户看不到。
Kyle Cordes 对这个视频中的内容做了介绍。里面有不少技术性的内容。值得分享一下。(Kyle Cordes 的介绍是本文的主要来源)
http://v.youku.com/v_show/id_XMTE2MzYzMzI4.html国内优酷上面可以看到

4. WikiPedia 技术架构学习分享
http://www.dbanotes.net/opensource/wikipedia_arch.html

维基百科(WikiPedia.org)位列世界十大网站,目前排名第八位。这是开放的力量。

来点直接的数据:

* 峰值每秒钟3万个 HTTP 请求
* 每秒钟 3Gbit 流量, 近乎375MB
* 350 台 PC 服务器

5. Tailrank 网站架构
http://www.dbanotes.net/review/tailrank_arch.html

每天数以千万计的 Blog 内容中,实时的热点是什么? Tailrank 这个 Web 2.0 Startup 致力于回答这个问题。

专门爆料网站架构的 Todd Hoff 对 Kevin Burton 进行了采访。于是我们能了解一下 Tailrank 架构的一些信息。每小时索引 2400 万的 Blog 与 Feed,内容处理能力为 160-200Mbps,IO 写入大约在10-15MBps。每个月要处理 52T 之多的原始数据。Tailrank 所用的爬虫现在已经成为一个独立产品:spinn3r。

6. LinkedIn 架构笔记
http://www.dbanotes.net/arch/linkedin.html

LinkedIn 雇员有 180 个,在 Web 2.0 公司中算是比较多的,不过人家自从 2006 年就盈利了,这在 Web 2.0 站点中可算少的。用户超过 1600 万,现在每月新增 100 万,50% 会员来自海外(中国用户不少,也包括我).

7. Yahoo!社区架构
http://www.dbanotes.net/arch/yahoo_arch.html

旧金山举行的 QCon 会议带给我们很多新鲜的信息。虽然没机会参加,但是看看各个网站”晒架构”也是个比较过瘾的事情。请参观并收藏这个页面:Architectures you’ve always wondered about。

8. Craigslist 的数据库架构
http://www.dbanotes.net/database/craigslist_database_arch.html

Craigslist 绝对是互联网的一个传奇公司。根据以前的一则报道:

每月超过 1000 万人使用该站服务,月浏览量超过 30 亿次,(Craigslist每月新增的帖子近 10 亿条??)网站的网页数量在以每年近百倍的速度增长。Craigslist 至今却只有 18 名员工(现在可能会多一些了)。

9. Fotolog.com 的技术信息拾零
http://www.dbanotes.net/review/fotolog_arch.html

尽管是世界上最大的图片服务网站, Fotolog.com 在国内的名气并不是很响亮, 每当提到图片服务, 很多人第一个会想起 Flickr. 但实际上 Fotolog 也的确是很猛的, Alexa 上的排名一直在 Flickr 前面, 目前注册用户超过 1100 万. 而前不久也卖了一个好价钱, 9000 万美金. 算下来的话, 1 个注册用户大约 9 美金. Yupoo 的刘平阳可以偷着算算自己的网站如果卖给老外是怎样一个价格了.

10. Digg 网站架构
http://www.dbanotes.net/arch/digg_arch_cache_and_shard.html

Digg 工程师采用 LAMP (Linux, Apache, MySQL and PHP) 模式。这个 Alexa 排名在 100 左右的、自我估价 1.5 亿美金的站点目前有超过 100 台的 PC 服务器(足够少了),可以粗略分成三个部分:数据库服务器,Web 服务器,搜索服务器。

11. Amazon 的 Dynamo 架构
http://www.dbanotes.net/techmemo/amazon_dynamo.html

我在 DBAnotes.net 上记录过不少比较大的网站架构分析(eg: eBay [1], eBay [2]) ,Amazon 一直找不到太多的资料。国庆期间读到了一篇关于 Amazon Dynamo 的论文,非常精彩。Amazon Dynamo 这个高可用、可扩展存储体系支撑了Amazon 不少核心服务.

12. 财帮子(caibangzi.com)网站架构
http://www.dbanotes.net/arch/caibangzi_web_arch.html

财帮子(caibangzi.com) 定位在”基金理财社区”。是国内访问量最大的基于 Ruby on rails 的 startup 项目。“理财”这个词据说是光大银行发明的,且不去管,不可否认的是,目前国内”理财”是个很有潜力的切入点。财帮子网站潜在用户群还是很大的。

13. 了解一下 Technorati 的后台数据库架构
http://www.dbanotes.net/web/technorati_db_arch.html

目前处理着大约 10Tb 核心数据, 分布在大约 20 台机器上.通过复制, 多增加了 100Tb 数据, 分布在 200 台机器上. 每天增长的数据 1TB. 通过 SOA 的运用, 物理与逻辑的访问相隔离, 似乎消除了数据库的瓶颈. 值得一提的是, 该扩展过程始终是利用普通的硬件与开源软件来完成的. 毕竟 , Web 2.0 站点都不是烧钱的主. 从数据量来看,这绝对是一个相对比较大的 Web 2.0 应用.

14. 说说大型高并发高负载网站的系统架构
http://www.toplee.com/blog/?p=71

我在CERNET做过拨号接入平台的搭建,而后在Yahoo&3721从事过搜索引擎前端开发,又在MOP处理过大型社区猫扑大杂烩的架构升级等 工作,同时自己接触和开发过不少大中型网站的模块,因此在大型网站应对高负载和并发的解决方案上有一些积累和经验,可以和大家一起探讨一下。

分享到:
评论

相关推荐

    大型网站技术架构_核心原理与案例分析_李智慧PDF高清

    《大型网站技术架构_核心原理与案例分析》是李智慧撰写的一本专著,主要针对Web开发领域的高级架构设计进行深入探讨。这本书旨在帮助读者理解并掌握构建大规模、高性能、高可用性的网站所需的关键技术与实践策略。...

    大型网站技术架构核心原理与案例分析

    《大型网站技术架构核心原理与案例分析》这本书深入探讨了构建和优化大型网站所需的关键技术和实践,对于希望成为或已经是架构师的专业人士来说,是一本不可或缺的参考书。书中不仅涵盖了理论知识,还通过实际案例...

    大型网站技术架构:核心原理与案例分析 亿级流量网站架构核心技术 跟开涛学搭建高可用高并发系统

    这两本书——《大型网站技术架构:核心原理与案例分析》和《亿级流量网站架构核心技术 跟开涛学搭建高可用高并发系统》提供了宝贵的指导,帮助我们构建稳定、高效且可扩展的系统。 首先,我们要讨论的是高并发处理...

    [高清]大型网站技术架构 核心原理与案例分析+李智慧.pdf

    《大型网站技术架构:核心原理与案例分析》是李智慧所著的一本关于构建和优化大规模网站架构的重要著作。这本书深入浅出地介绍了大型网站在应对高并发、大数据量、高可用性等挑战时所采用的技术策略和实践经验,是IT...

    大型网站技术架构 核心原理与案例分析+李智慧-高清 和 大型网站系统与JAVA中间件实践

    《大型网站技术架构:核心原理与案例分析》与《大型网站系统与JAVA中间件实践》这两本书是深入探讨现代互联网企业级应用开发的关键资源。它们涵盖了构建和优化大规模网站所需的诸多核心技术,包括分布式系统、Java...

    大型网站架构演变和知识体系.

    总的来说,大型网站架构演变的知识体系包括:单体架构、垂直拆分、水平扩展、微服务架构、容器化、数据一致性理论、缓存技术、CDN、NoSQL、消息队列、监控和日志分析等多个方面。理解并掌握这些知识,有助于构建高效...

    大型网站技术架构:核心原理与案例分析+李智慧.rar

    《大型网站技术架构:核心原理与案例分析》是李智慧先生的一部著作,该书深入探讨了构建和优化大型网站所需的关键技术和实践经验。在大型互联网公司的日常运营中,技术架构的选择和演进对于系统的稳定性和扩展性至关...

    收集的大型网站架构实例

    以下是对几个著名大型网站架构实例的深入分析: 1. **Mixi的服务器架构** Mixi作为日本最大的社交网络,其CTO Batara Kesuma在分享中提到了如何利用开源工具进行向外扩展。Mixi的核心挑战在于如何有效地管理MySQL...

    大型网站架构

    《大型网站架构:核心原理与案例分析》这本书深入探讨了构建和优化大型网站所需的关键技术和策略。在现代互联网环境中,大型网站面临着高并发、海量数据处理、高性能、高可用性等挑战,本书针对这些挑战提供了详尽的...

    免费大型网站技术架构:核心原理与案例分析.pdf

    《免费大型网站技术架构:核心原理与案例分析》是一本深入探讨互联网大型网站技术架构的著作,旨在揭示支撑海量用户访问、高并发处理的核心技术原理,并通过实际案例为读者提供直观的理解。这本书主要涵盖了以下几个...

    大型网站技术架构核心-原理与案例分析.mobi.epub多格式打包资源

    《大型网站技术架构核心-原理与案例分析》这本书深入探讨了构建和优化大型网站所需的关键技术架构知识。作为一本涵盖多种格式(.mobi和.epub)的资源,它为读者提供了灵活的阅读选择,无论是在移动设备还是电子阅读...

    大型网站技术架构

    《大型网站技术架构》这本书深入探讨了构建高访问量、高并发、高可用性的大型网站所需的技术和架构设计。在互联网行业中,随着用户数量的急剧增长,如何保证网站的稳定性和性能成为了一项重大挑战。Java作为业界广泛...

    各类大型网站架构图

    最后,"淘宝量子"是淘宝提供的一种数据分析工具,其简单版架构可能包括数据收集、处理、存储和可视化展示等部分。在电商领域,数据分析对于优化营销策略、提升转化率至关重要。淘宝量子通过监控店铺流量、用户行为等...

    大型网站技术架构:核心原理与案例分析-李智慧.pdf

    《大型网站技术架构:核心原理与案例分析》是李智慧所著的一本深入探讨大型网站技术架构的专业书籍。这本书详细阐述了大型网站在设计、构建和优化过程中所面临的关键问题和解决方案,涵盖了从基础架构到高级技术的多...

    国内某知名网站架构分析

    在这个主题中,我们将深入探讨国内某知名网站的架构分析,这将涉及到多个层面的技术和策略。 首先,我们要理解网站架构的基本组成部分,包括前端、后端和数据库。前端是用户与网站交互的部分,主要由HTML、CSS和...

    大型分布式网站架构设计与实践.带目录书签.完整版.pdf

    《大型分布式网站架构设计与实践》是一本深入探讨如何构建高效、可扩展的大型网站架构的专业书籍。在当今互联网行业中,随着用户数量的急剧增长和业务需求的复杂性提升,传统的单体架构已经无法满足需求,分布式系统...

    大型分布式网站架构设计与实践

    《大型分布式网站架构设计与实践》是一本深入探讨如何构建高效、可扩展、高可用性的分布式网站架构的专业书籍。在互联网行业中,随着用户量的急剧增长和业务需求的复杂化,传统的单体架构已无法满足需求,分布式系统...

    大型网站技术架构:核心原理与案例分析--李智慧

    《大型网站技术架构:核心原理与案例分析》一书由李智慧所著,全面解析了在构建和优化大型网站过程中所需的关键技术和策略。本书旨在帮助读者理解大型网站从诞生到演进的过程中,如何应对高并发、大数据量、复杂业务...

    大型网站技术架构:核心原理与案例分析

    《大型网站技术架构:核心原理与案例分析》是一本深入探讨如何构建和优化大型网站架构的专业书籍。书中全面覆盖了大型网站在设计、开发、运维过程中所面临的关键技术和挑战,旨在帮助读者理解并掌握构建高性能、高...

Global site tag (gtag.js) - Google Analytics