最近其实发现了不少可以和大家一起学习的好内容。Flickr 的 John Allspaw 在 MySQL Conf 2007 作了一个题为 Capacity planning for LAMP (下载PDF文件) 的技术报告,说起容量规划,多少有点空对空的意思,不过这个 PPT 还是介绍了不少 Flickr 的网站运维经验。
Flickr 的数据量的确越来越惊人了,根据文档中透漏的数据:
Squid Cache 中共有 3500 万张图片;
在 Squid RAM 中有 200 万张图片;
4.7亿的图片,每张图片有4到5种尺寸;
每秒钟 38000 个到 memcached 的请求;
2 PB 裸存储容量(周日需要消耗1.5T 的空间)
三个主要步骤:
计划
基于实际业务,而不是抽象的理论。John Allspaw 认为基准测试(Benchmark) 作用并不大,这一点我也很赞同。在业务频繁变化的环境中,Benchmark 根本不能与实际业务情况匹配。
部署
Flickr 使用SystemImager/SystemConfigurator(自动化安装、软件分发),CVSup(网络中的文件分发、更新),Subcon(配置管理工具)提高部署效率。
度量(图形化展现)
Flickr 使用了 Ganglia 来进行容量数据的展现。Ganglia 最初设计是用于高性能集群计算的监控上面,也是以 RRDTool 为基础来进行图形展示。Ganglia 最主要的优点还是管理的方便性: Client/Server 结构, 各自跑 Demon 进行数据交互(XML形式)。相比起来, Cacti + Collectd 需要进行很多手工配置,在面对大量需要监控的主机的时候的确不那么方便。 Web 2.0 站点的运维似乎大家都在摸索着走。期望这次阿里巴巴组织的侠客行大会上也有有朋友坐下来聊聊这个话题(Flickr 的架构师本来可以来的,因为时间的问题不能成行,挺遗憾的)。
--EOF--
分享到:
相关推荐
atmosphere-flickr-0.8.0-rc3-sources.jar
atmosphere-flickr-0.8.0-rc1-sources.jar
FFHQ(Flickr-Faces-HQ)是一个广泛用于人工智能研究,特别是深度学习领域的人脸图像数据集。这个数据集的特点是包含了大量的高清、彩色的人脸图片,每张图像的分辨率高达1024x1024像素。数据集的设计目的是支持高级...
atmosphere-flickr-0.8.0-rc2-sources.jar
4. **搜索与过滤**:可以基于关键词、地点、日期等条件搜索Flickr上的照片。这对于开发照片搜索应用或分析Flickr上的公共数据非常有用。 5. **相册管理**:创建、删除、编辑相册,以及将照片添加到相册,都是这个库...
资源来自pypi官网。 资源全名:flickr_api_dlebech-0.6-py2-none-any.whl
资源分类:Python库 所属语言:Python 资源全名:flickr_api_dlebech-0.5-py2-none-any.whl 资源来源:官方 安装方法:https://lanzao.blog.csdn.net/article/details/101784059
FFHQ(Flickr-Faces-High-Quality)是人工智能领域中一个广泛使用的高分辨率人脸图像数据集,由NVIDIA公司于2018年发布。这个数据集包含了70,000张精心挑选和增强的1024x1024像素的人脸照片,旨在支持深度学习模型在...
Flickr修复程序一个浏览器扩展程序,用于增强桌面Web浏览器中的Flickr体验。 在照片流页面上显示摄影师的相册,增加小照片的显示大小,通过标签链接增加摄影师的其他照片,链接到相册地图和相册评论的链接,在相关...
MIR-Flickr 功能 从提取的视觉特征。 出版物 如果您使用这组功能,请引用 MIR-Flickr 数据集。 另外,请引用分析提取特征的论文: Alceu Ferraz Costa、Agma Juci Machado Traina、Caetano Traina Jr.、 。 ACM ...
使用深度学习和Flickr-8k数据集进行自动图像字幕。 还对Xception模型和Inception模型进行了比较。 这是使用卷积神经网络和一种递归神经网络(LSTM)为所有类型的图像生成标题和替代文本的最简单方法。 关于 图像特征...
python作业-基于Flickr30k数据集实现图像文本跨模态搜索python源码+数据集+测试界面+项目说明.zip 已获导师指导并通过的97分的高分期末大作业设计项目,可作为课程设计和期末大作业,下载即用无需修改,项目完整确保...
基于虚拟属性学习的文本-图像行人检索方法 本文提出了一种基于虚拟属性学习的文本-图像行人检索方法,以解决当前行人检索任务中遇到的两个挑战:细粒度检索和图像与文本之间的异构鸿沟。该方法通过无监督属性学习...
《Flickr API在.Net环境中的应用详解》 Flickr API 是一个强大的工具,它允许开发者通过编程方式访问Flickr网站的海量图片库和用户数据。本文将深入探讨如何在.Net环境中利用Flickr API进行开发,结合提供的...
标题中的“基于Python的关于Flickr图片网站的爬虫”表明了这个压缩包内容是关于使用Python编程语言来抓取Flickr网站上的图片数据。Flickr是一个著名的在线照片管理和分享平台,而网络爬虫则是自动提取网页信息的一种...
【Laravel开发-flickr-laravel5】是一款专为在 Laravel 5 框架中集成 Flickr API 而设计的扩展包。Laravel 是一个基于 PHP 的流行开源框架,以其优雅的语法和强大的功能深受开发者喜爱。Flickr,则是全球知名的图片...
由于Flickr8k图像没有类别标签,因此无法使用常见的分类损失和低学习率直接在其上微调网络。 因此,我们使用高斯混合模型以无监督的方式适应Flickr8k图像,然后使用Fisher向量编码来获得比原始ImageNet预训练网络...
标题中的“PyPI 官网下载 | flickr_photostream_mirroring-1.0.2.tar.gz”表明这是一个从Python Package Index (PyPI) 官方网站获取的软件包,名为flickr_photostream_mirroring,版本号为1.0.2,其格式为tar.gz。...
将Foursquare地点添加到您的Flickr照片 通过此扩展程序,您可以选择Foursquare场所与Flickr照片相关联,类似于Flickr iPhone应用程序...https://github.com/bertrandom/flickr-venue 支持语言:English (United States)