`
jiakechong
  • 浏览: 207485 次
社区版块
存档分类
最新评论

Flickr 网站架构分析

 
阅读更多
Flickr 网站架构分析

每天多达40亿次的查询请求
squid总计约有3500万张照片(硬盘+内存)
squid内存中约有200万张照片
总计有大约4亿7000万张照片,每张图片又生成不同尺寸大小的4-5份图片
每秒38,000次Memcached请求 (Memcached总共存储了1200万对象)
超过2 PB 存储,其中数据库12TB
每天新增图片超过 40万(周日峰值超过200万,约1.5TB)
超过8百50万注册用户
超过1千万的唯一标签(tags)
响应4万个照片访问请求
处理10万个缓存操作
运行13万个数据库查询

http://www.itivy.com/ivy/archive/2011/3/7/634351294385186067.html
分享到:
评论

相关推荐

    基于Python的关于Flickr图片网站的爬虫.pdf

    本项目的实现过程中,首先通过调研分析,选择了Flickr网站作为研究对象,然后利用Python语言的简洁语法和强大的类库支持来设计和编写爬虫程序。Python作为一种动态的面向对象的脚本语言,其语法简单明了,易于阅读和...

    Facebook 网站架构总结

    通过以上分析,我们可以看到Facebook的网站架构是如何通过模块化、缓存策略、数据库优化、服务化和分布式计算来处理海量用户和数据的。这种架构设计不仅保证了网站的稳定性,还为用户提供了无缝的社交体验,对于任何...

    校内、猫扑、facebook大型互动网站架构预览

    在互联网的快速发展中,大型互动网站如Friendster、Myspace、Facebook、Flickr、LiveJournal、猫扑大杂烩以及校内网等,已经成为人们日常生活的一部分。这些网站的成功不仅依赖于其创新的功能和吸引人的内容,更在于...

    基于python的Flickr地理标签照片信息的爬虫.pdf

    Flickr是一个全球性的照片共享网站,它允许用户上传照片,并为每张照片添加地理标签,这些标签记录了照片拍摄地点的地理位置信息,包括经纬度坐标。这种地理标签对于地理研究、旅行规划和历史数据记录等有着重要的...

    高性能高并发服务器架构大全

     中国顶级门户网站架构分析 2 118  服务器的大用户量的承载方案 120  YouTube Scalability Talk 121  High Performance Web Sites by Nate Koechley 123 One dozen rules for faster pages 123 Why ...

    PyPI 官网下载 | flickr_download-0.2.6.tar.gz

    描述中提到"资源来自pypi官网,资源全名:flickr_download-0.2.6.tar.gz",进一步确认了这个包的来源和完整名称,它是一个可以用来从Flickr网站下载图片的工具,可能是用于个人收藏、数据分析或是自动化备份等用途。...

    PyPI 官网下载 | flickr_photostream_mirroring-1.0.2.tar.gz

    标题中的“PyPI 官网下载 | flickr_photostream_mirroring-1.0.2.tar.gz”表明这是一个从Python Package Index (PyPI) 官方网站获取的软件包,名为flickr_photostream_mirroring,版本号为1.0.2,其格式为tar.gz。...

    分布式架构系统生成全局唯一序列号的一些思路对比分析.docx

    总结来说,分布式架构系统生成全局唯一序列号的方法多种多样,包括但不限于Flickr方案的优化版、基于AtomicLong的号段管理和Snowflake算法等。选择哪种方案取决于具体业务需求、系统规模以及对性能、扩展性的要求。...

    商务智能架构图表

    在互联网上,那些掌握了大量用户活动信息、用户关系网或语料库的网站,比如digg,friendfeed,flickr或大型电子商务网站等,都有实验性的可视化项目。可惜在中国在这方面的商用或实验项目还是比较空白的。 数据可视...

    一款使用Swift编写的Flickr照片查看器

    6. **单页应用架构(SPA)**:SwiftFlickrApp可能采用了MVVM(Model-View-ViewModel)架构,这是一种流行的iOS应用设计模式,它分离了视图逻辑、数据模型和业务逻辑,使得代码更加模块化和易于维护。 7. **导航控制...

    Flickr Exposition-crx插件

    通过查看和分析其CRX文件(如压缩包中的"Flickr_Exposition.crx"),可以了解到如何实现浏览器扩展的基本架构,包括与Flickr API的交互、用户界面的构建以及如何利用JavaScript和HTML来增强网页功能等技术细节。...

    Hadoop系统架构【范本模板】.docx

    Hadoop 系统架构的设计目标是处理和存储海量数据,特别是针对互联网行业中的应用场景,如电子商务、社交网络等。随着互联网用户的急剧增长,以及像图片、视频等多媒体内容的爆炸性增加,传统的存储和处理方式已经...

    Open_API分析、实践和思索.pdf

    从给定文件的内容来看,其主要围绕OpenAPI的分析、实践和应用进行了深入探讨。下面将对文件中提及的各个知识点进行详细的阐释。 首先,文件中提到的OpenAPI,它的定义在文件的开头与结尾处多次重复。OpenAPI是一种...

    flickr-search:使用闪烁API学习改造

    通过参与这个项目,开发者不仅可以提升Java编程技能,还能接触到实际的Web开发流程,包括需求分析、设计、编码、测试和部署,这对于任何软件工程师的职业发展都是非常有益的。同时,项目也提供了实践用户体验设计和...

    ArcGIS Server 性能优化与高可用性部署

    文档中提到的两个案例——Wiki网站架构和Flickr网站架构,为我们提供了宝贵的参考经验。这些大型网站的成功运维经验表明,合理的架构设计和技术选型对于支撑高并发访问至关重要。例如,Flickr通过使用Squid缓存系统...

    Building+Scalable+Web+Sites+2006 pdf

    - **Flickr.com**:本书作者Cal Henderson作为Flickr的核心开发者之一,分享了该网站如何成功应对大规模用户访问的经验。 - **低成本技术栈**:利用“穷人技术”(如Linux、Apache、MySQL、PHP等)构建高性能网站,...

    Web2.0站点构建技术初探

    一、 web2.0网站常用可用性功能模块分析 二、 Flickr的幕后故事 三、 YouTube 的架构扩展 四、 mixi.jp:使用开源软件搭建的可扩展SNS网站 五、 Technorati的后台数据库架构 六、 通过了解MySpace的六次重构...

    PhotoGalleryAndroidApp:Android应用程序可查看Flickr.com的最新照片

    《构建Flickr照片墙:基于...通过研究“PhotoGalleryAndroidApp”,开发者不仅可以学习到Android应用的基本架构,还能进一步提升在网络请求、数据解析、UI设计等方面的技术能力,为后续开发更复杂的应用打下坚实基础。

Global site tag (gtag.js) - Google Analytics