今天去听infoQ的百度和豆瓣架构师分享Web开发的艺术
豆瓣的哥们不错。
其中说:mogilfFS不适合做??, 是他们开发BeansDB的动力。
他们也用了mfs存储日志,他说mfs可以和hadoop一起???
其实个人觉得它们对beansDB的需求(做小文件存储,总共12T左右,metaData??个)完全可以用mfs满足.
我问了一下这位哥哥,他说mfs的mds可能承受不了压力,还有当文件数量大了,可能mds放不下
但是我看他们的BeansDB所承受的压力大约是90hit/s,mfs的mds是可以承受的。
mfs master:
The master server should have approximately 300 MiB of RAM allocated
to handle 1 million files on chunkservers.
这么说:3G可以10 M文件
内存用16G,大概可以搞4千万个文件
BeansDB的一个好处是不需要中心服务器,只有client和chunkserver,蛮有意思的,client通过一个算法,从文件名,映射到所在的服务器(采用类似memcached的去中心化结构,在客户端实现数据路由
),有冗余
使用memcache协议存取。
这哥们建议不要搞多机房,而是搞一个环境比较好的机房,因为维护简单。不需要同步。--确实
分享到:
相关推荐
从2011年开始接触Python, 从运维、运维开发到现在的Web开发,积累了丰富的运维和开发经验,作者积极参与开源项目,给IPython、pip及Python标准库等贡献过代码。这本书将作者这些年使用Python进行Web开发,对各方面...
1. 豆瓣网简介:2005年3月上线,是一个以分享和发现为核心内容的社区,主要内容包括读书、电影、音乐、小组、同城以及九点等板块,同时还有“我的豆瓣”和“友邻”这样的个性化服务。 2. 初始架构和技术选择:在...
**Python Django Web典型模块开发实战** - 这个主题涵盖了使用Python的Django框架进行Web应用开发的实践项目。Django是一个高级的Python Web框架,它鼓励快速开发和干净、实用的设计。通过使用Django,开发者可以...
豆瓣作为知名的Web2.0网站,其技术选型和架构设计一直备受关注。技术总监洪强宁先生在采访中分享了豆瓣选择Python作为开发语言的原因及其背后的战略考量。Python以其动态语言的特性,如快速开发、敏捷适应用户需求...
在CTO俱乐部北京举办的第99期主题活动中,豆瓣的首席架构师洪强宁介绍了豆瓣的技术架构和自主研发的几个主要组件。通过这次分享,我们可以深入了解到豆瓣的技术构成和背后的技术策略。 首先,豆瓣的技术架构主要由...
作者是豆瓣条目组高级产品...从2011年开始接触Python, 从运维、运维开发到现在的Web开发,积累了丰富的运维和开发经验,这本书将作者这些年使用Python进行Web开发,对各方面知识的理解和积累的经验进行梳理和 总结。
豆瓣网,作为中国知名的Web2.0平台,其技术架构的发展历程揭示了互联网技术的演进和创新。本文将深入探讨豆瓣网的技术架构变化,包括早期的基础架构、应对高并发的解决方案、数据存储与处理、分布式系统以及持续优化...
洪强宁,作为豆瓣的首席架构师,曾在2010年的QCon北京大会上分享了豆瓣网的技术内幕。 1. **用户规模与访问量** - 当时,豆瓣网的注册用户已接近300万,加上非注册用户,日访问量达到约两千万。这种规模体现了豆瓣...
豆瓣网是中国的一家知名社交媒体和内容分享平台,它的架构设计注重用户互动和内容推荐。豆瓣的核心架构可能包括以下几个部分: 1. **分布式服务**:豆瓣采用微服务架构,将业务拆分为多个独立的服务,每个服务都有...
【标题】"豆瓣电台桌面Web版"是一款基于C#编程语言开发的应用程序,它提供了方便的桌面客户端形式,让用户能够享受豆瓣电台丰富的音乐资源。这款Web版桌面应用旨在为用户提供与网页版相似的体验,同时利用桌面环境的...
《基于Web的豆瓣查询》 在互联网时代,各种在线服务为我们的生活提供了极大...通过实践这个项目,开发者不仅可以提升Web开发技能,还能深入理解数据获取和用户交互的设计原则,为今后的互联网项目开发打下坚实的基础。
作为一家提供图书、电影、音乐等多领域信息分享与评价服务的平台,豆瓣的技术架构需要应对海量数据处理、高并发访问以及用户个性化体验等挑战,因此其架构的演进具有很高的学习价值。 在早期,豆瓣可能采用了传统的...
Python作为一门具有开发快速、适合多人协作、库资源丰富以及社区支持成熟的编程语言,在Web开发领域拥有广泛的应用,例如国外的YouTube、Quora和国内的豆瓣、知乎等均采用Python作为主要的开发语言。 书中内容从Web...
百度文库是百度公司推出的一款在线文档分享平台,用户可以上传、分享和下载各类文档,包括研究报告、学术论文、课件、小说等。然而,下载某些高质量或热门的文档通常需要消耗积分,这些积分可以通过上传文档、完成...
"百度豆瓣下载器"是一款专门用于从百度文库和豆瓣平台下载PDF文档的工具。它可以帮助用户方便地获取网络上的共享资源,特别是那些通常需要付费或积分才能下载的高质量PDF文档。这款下载器的使用相对简单,只需运行....