`
pengcqu
  • 浏览: 774595 次
  • 性别: Icon_minigender_1
  • 来自: 未来
社区版块
存档分类
最新评论

2010年大规模技术架构的思路

阅读更多

相比其他行业,IT技术由于信息流动便捷,新技术更新非常频繁。架构师经常面临新技术及传统方案选择的困惑。架构师应如何抓住本质构建新一代的应用?本文从几个方面提出一些思路供架构师参考。


编程语言
2009年编程语言领域也发生了不少变化。虽然架构师通常都表示编程语言并不重要,但事实上每一次大的语言改进还是对业界产生非常大的影响,同时大部分技术团队也依赖某一两种编程语言。下面介绍几种值得架构师关注的语言及热点。

Erlang近几年在并发编程与分布式领域比较受关注。2009年11月7~8日在杭州举办了第四次Erlang全国开发者大会(CN Erlounge IV)。从会议主题及参会者的讨论来看,Erlang在2009年在一些先行项目中取得了不错的效果,同时Erlang的并发编程思想也在其他语言得到了一些借鉴和应用。预计2010年Erlang会继续在小圈子内流行,目前业界应用Erlang技术最大的障碍不是Erlang技术本身,而在于缺乏这方面专业人才,与C++/Java相比,Erlang暂时不具备大规模团队协同开发的条件。

Scala也是一门和Erlang类似的函数式编程语言, 由于Scala是基于成熟JVM并具有丰富的周边library,因此相比于Erlang切换成本和风险都低很多。尤其是Java团队如果希望利用函数式及并发编程优势的可以关注。

2009年11月,Google发布了一种新的语言Go,它在系统编程领域具有很多优势,如支持goroutine并行编程模型,支持GC,编译速度快等。很多系统程序员表示Go就是他们心中的“梦中情人”。但是由于刚推出不久的缘故,Go还是不适合在生产环境使用,建议保持跟进。

在网页编程领域,PHP仍然是Web页面编程语言首选。如Facebook谈到选择PHP的原因是“开发效率高,支持快速的产品迭代”。2010年2月,Facebook开源了HipHop框架,在PHP业界引起较大的轰动。它将PHP编译成C++执行,可以提高性能50%。据Facebook博客上的资料,HipHop发布仅半年之后,Facebook 90%的Web服务器都用上了HipHop。据估算,Facebook每月有4000亿页面访问,则HipHop承担了3600亿。如果节省50%服务器的开销,那将是非常大的节省。希望在2010年国内的PHP开发者也能充分利用HipHop的成果。

Ruby由于具有快速的开发效率,近年来在Web开发领域异军突起。首届中国Ruby大会2009年5月21日上海召开,Ruby创始人Matz也亲自来华做了主题演讲。从大会来看Ruby社区在国内已经比较蓬勃。预计在2010年Ruby会在企业应用和部分互联网Web应用中得到更广泛的使用。

存储:从Cache、数据库到分布式文件系统
Web 2.0的设计中,Cache会成为一个中心元素。传统的web应用瓶颈通常在数据库或者应用程序上,但是最近Twitter的一篇技术博客的分析,Twitter广为人知的“鲸鱼”故障的罪魁祸首竟然是Memcached。因此最近技术界流传一句新的名言,“Disk is the new Tape,RAM is the new Disk。”意思就是说传统SQL存储已经像旧的磁带机一样成为应用的瓶颈,需要把一切数据都放在内存里面才能满足新的应用需求。另一Web 2.0应用巨头Facebook也广泛使用Memcached,据称每秒访问量达2亿次以上。

在2009年数据库受到NoSQL运动的冲击。NoSQL是指用非关系数据库的方式来存储数据,通常也指用key value方式存储。比较有名的有Tokyo Cabinet, Redis, Cassandra等。由于大部分Web应用的需求是基于主键查询,同时业务上又常常面临更改表结构字段的需求。如果将所有数据内容作为一个value字段存入,相对于SQL模式,使用更简洁,维护方便。在性能上一些key value产品比传统的SQL在小数据访问性能上有一个数量级的提升。因此key value存储迅速被业界接受及采用。

分布式文件存储也具有广泛需求,目前开源的解决方案有HadoopFS,MogileFS等。很多互联网公司目前也借鉴GFS来开发自己分布式存储产品。

可扩展架构:从手工切分到云服务
LAMP是一种经典的Web架构设计,他指用Linux, Apache,MySQL,PHP来搭建Web架构。当Web请求量增大到单台服务器没法承载时典型解决方案是对应用服务器及数据库进行切分。目前切分大部分是借鉴LiveJournal模式,由于LiveJournal架构设计甚至大部分源代码都是公开的,因此在过去很多架构师设计LAMP扩展通常是在LiveJournal基础上作出改进。

从2009年开始,由于云计算的蓬勃发展,LAMP发生了两大变化。首先,部分原先用数据库如MySQL的场合开始被key value 存储代替。分布式的key value存储产品本身解决了扩展,负载均衡,复制,数据一致性等问题。无需架构师手工编写代码解决数据过大后的分表问题。

另外一个变化是PHP/Python/Java等语言可以运行在一个App Engine的容器上,这个容器可以托管一个几行代码的hello world项目,也可以承载上千万访问量的用户的大型项目。App Engine自身具有可扩展性,容错性,负载均衡,用户可以自动访问最近的IP等特性。它对于需要架构师根据业务来切分的传统做法是一种全新体验。

在2010年,分布式存储及App Engine模式是架构师需要考虑的两大方向。

 

转载自 http://www.infoq.com

分享到:
评论

相关推荐

    2010大规模技术架构的思路

    ### 2010年大规模技术架构的关键思路 随着信息技术的快速发展,特别是在2010年前后,IT行业的技术更新速度达到了前所未有的水平。对于架构师而言,如何在这场技术变革中把握方向,构建出既能满足当前需求又能适应...

    互联网公司技术架构资料.腾讯.集中式IT系统的技术架构

    - **2010年之后:**腾讯进一步扩大了业务范围和服务领域,不仅包括国内还涉及海外市场。代码量达到了亿级,技术人员分布于不同地域,并且采用了更加开放的合作方式。面对新的挑战,腾讯提出了构建海量、稳定、安全...

    SAAS架构和关键技术分享

    ### SAAS架构和关键技术知识点详解 #### 一、SAAS概述 - **软件发展阶段**: - **项目式软件开发阶段**:根据客户的具体需求进行定制化开发,但这种方式会导致大量的重复工作,增加开发成本。 - **套装式软件开发...

    豆瓣的架构和一些组件

    从洪强宁的介绍中我们不难看出,豆瓣在技术架构和组件方面的设计思路和实现手段。豆瓣的技术团队能够在有限的人力资源下,成功开发出一系列有价值的内部技术基础组件,这不仅体现了他们的技术实力,也为其他企业提供...

    京东交易架构演进-高可用服务的保障-杨超

    ***与SQL Server的逻辑服务替换,这是在2010年到2012年间的重要变革。 - Web平台的建立和基础服务的建设,分别发生在2011年和2013年。 - 2014年是多中心建设的开始,这一举措旨在通过地理分布式中心来提高服务的可靠...

    一种大规模RDF语义数据的分布式存储方案.pdf

    在当今信息技术飞速发展的背景下,语义Web作为Web的一个扩展,为网络上的资源提供了更丰富的语义信息。随着语义Web的发展,大量的资源...通过研究和实践,这一方案为未来处理大规模RDF数据提供了新的技术思路和方法。

    系统架构设计师考试试题分类精解2016(案例分析与论文篇).doc

    - **2010年及2009年下半年试题1-5**:这些更早年的案例分析题目,虽然技术背景有所不同,但依然能为考生提供有价值的参考,尤其是在系统设计的基本原则和模式上。 **1.3 案例分析答题技巧** - **理解问题本质**:...

    企业数字化规划思路.docx

    公司数字化现状可以分为三个阶段:2010年前的无序建设阶段,2011年开始的变革规划阶段,以及全面提升阶段。每个阶段都有其标志性成果,如基础应用系统的建设和财务管理软件的应用。但同时,也存在一些不足,如OA协同...

    专题资料(2021-2022年)SmartExam2010在线考试项目标准方案.docx

    《SmartExam2010在线考试项目标准方案》是针对浙江工商大学统计软件等级考试实验室的建设方案,由深圳市新为软件有限公司于2010年6月制定。该方案详细阐述了项目的实施背景、技术架构以及其主要特点。 1. **项目...

    使用分布式的追踪和APM系统架构.pdf

    Dapper是一个大规模分布式系统的追踪系统,它允许开发者跟踪跨越多个服务的请求流程,从而更好地理解和优化系统的性能。Dapper通过在HTTP头中添加特定的标识(如TRACEID和SPAN_ID)来实现追踪,这种设计思路后来被...

    我省水利信息化规划思路要点.pptx

    规划的基准年为2006年,近期规划到2010年,远期展望到2020年。在这一框架下,我省将重点建设基础数据库、技术标准、信息采集系统和数据中心等关键基础设施,同时强调统一规划、资源共享、分步实施和安全保障。 在...

    基于分布式跟踪的业务调用链监控技术在湖南电信的探索和应用.pdf

    该技术的起源可以追溯到Google在2010年发布的"Dapper"论文,它为大规模分布式系统提供了跟踪基础设施的设计思路。目前,许多大型企业,如京东的Hydra和阿里的鹰眼Tracing,都基于这一论文开发了自己的分布式跟踪系统...

    面向5G RAN的IT与CT的ICT融合白皮书

    在2010年首次提出C-RAN(集中式、协作式、云化和清洁RAN)概念时,就显现出了IT、CT和DT技术融合的趋势。直到2012年,欧洲电信标准协会网络功能虚拟化产业合作论坛(ETSI NFV ISG)成立,明确提出了将虚拟化技术应用...

    Yupoo! (花瓣网_又拍云) 架构中的消息与任务系统

    - **上线时间**:2010年 - **数据规模**:超过10亿张图片 - **访问量**:图片日访问量超过2亿次 #### 又拍云服务特性 - **服务类型**:提供通用大规模存储服务 - **具体服务**: - 文件云存储 - 图片云计算 - **...

    The Evolution of Massive-Scale Data Processing

    在这种背景下,谷歌提出了MapReduce这一概念,并在2004年发表了《MapReduce: Simplified Data Processing on Large Clusters》论文,为大规模数据处理提供了新的思路和技术支持。 **动机与挑战:** - **数据处理...

    智慧教室系统建设方案.docx

    - **政策支持**:根据《国家中长期教育改革和发展规划纲要(2010—2020年)》,明确提出要大力推进教育信息化建设,利用信息技术提高教育质量和教学效果,实现教育资源的优化配置。 #### 二、设计原则 - **智能化...

    中国移动设计院全IP交流之核心网部分

    - **IP软交换取代传统交换机**:大规模部署IP软交换技术,实现传统电路域语音业务的IP化承载,标志着从TDM(时分复用)向IP技术的重大转变。 - **PS分组域宽带智能融合**:PS(分组交换)网络向更宽带、更智能、更...

    金蝶ERP软件和用友ERP软件的比较

    用友ERP软件2010年的营业收入为29.79亿元人民币,净利润为3.01亿元人民币,而金蝶ERP软件2010年的营业收入为14.37亿元人民币,净利润为2.7亿元人民币。从公司的战略部署和扩张速度上看,用友ERP软件的扩张速度和规模...

    一种基于数据湖的大数据处理机制研究.pdf

    在2010年,数据湖的概念由James Dixon首次在其博客帖子中提出。数据湖的出现,是为了更有效地存储处理数据,并最大化激发数据的创新潜力。数据湖支持原始数据的存储,而不强制数据在存储前就必须拥有固定的格式或...

Global site tag (gtag.js) - Google Analytics