- 浏览: 115781 次
- 性别:
- 来自: 北京
文章分类
最新评论
实际上,作为一个建立于Bigtable之上的分布式存储系统,Megastore已经被谷歌使用了数年。Google在2008年的SIGMOD大会上就已经开始讨论它了,但相关技术信息直到最近才被公布,在上个月举行的创新数据系统研讨会上(CIDR),Google公开了其Megastore分布式存储技术的白皮书。
论文地址下载:http://www.cidrdb.org/cidr2011/Papers/CIDR11_Paper32.pdf
在该白皮书上,Google对于Megastore的功能描述是——高扩展性并具有高密度交互的可用存储服务,其在Google的基础系统之中,其主要用来解决Appengine的数据存储问题。
Megastore融合NoSQL和SQL
提到Google的Bigtable,必然会提到NoSQL,对于广大的NoSQL研发人员而言,当前最核心问题正纠结于如何将NoSQL与传统的关系型数据库融合,而Megastore就是专门用来解决这一问题的。
Megastore用一种新颖的方式把NoSQL数据存储的可扩展性和传统的关系型数据库融合在一起,并为一致性和高可用性提供了强有力的保证。Google在该论文中指出。目前提供的数据完全按照ACID语义序列进行高密度的排序。
Google重点谈到了现今的Web应用,白皮书中指出,所有的Web应用都面临以下技术瓶颈:可扩展性、快速的争取并发展用户、延迟反应、用户数据(云环境下要保证任何时候都可用)。
“但实际上,这些需求是冲突的”,白皮书指出。“关系数据库提供了一组丰富且方便构建应用程序的功能,但是它们很难扩展到数以亿计的用户。非关系数据库则有高度的可扩展性。例如谷歌的Bigtable,Apache Hadoop的HBase,或者Facebook的cassandra。但其API有限且松散一致性模型不利于开发应用。在远程数据中心之间传送数据,同时保证低延迟是具有挑战性的。要注意保证所复制数据的一致性,尤其是传送过程中的错误。”
关系型数据库在Google没有未来
传统的关系数据库管理系统已经被Google所否定,比如MySQL。在该文件中指出,“昂贵的商业数据库系统,如Oracle数据库,会大幅加大用户在云中大幅部署的总成本”。
Megastore的设计原理在于,能够在广域网中同步复制文件写操作、可接受的延时、支持跨数据中心的故障迁移。在两个可扩展的非关系数据库的中间地带,比一个传统的关系数据库更为方便。
Google在该论文中还透露,目前Google有100多个生产应用Megastore作为存储服务,而这些应用的可靠度在99.99%到100%之间。根据数据中心的距离和写入数据的大小,应用程序的平均读取延迟在万分之一毫秒之内,平均写入延迟在100至400毫秒之间。
NoSQL专家——ACID令人印象深刻
曾经关注了Megastore多年,并不停更新关于Megastore的技术信息的Amazon的技术大牛——James Hamilton日前在其博客中公开表示,很钦佩该技术,他在博客中写道:“Megastore一贯支持阅读和完整更新ACID语义使人印象深刻,即便不能够更新比’每秒数’限制更多的实体组限制。”
CSDN观察:实际上,Megastore已经是Google过时的存储技术,但聊胜于无,Google选择在此时将此论文公开,对于NoSQL的整体技术进步无疑还是有好处的。
Google目前正在使用的存储系统是Spanner架构,在Google的技术规划中,Spanner能够控制一百万到一千万台服务器,包括10万亿(1013)目录和一千万亿(1018)字节的存储空间。而这所有一切分散在世界各地的数据中心,而Spanner的最强大之处在于能够为50微妙之内的数据传递提供通道——即便这两个数据中心分布于地球的两端。
原文链接:http://www.informationweek.com/news/internet/google/showArticle.jhtml?articleID=229205494&cid=RSSfeed_IWK_All
发表评论
-
开源数据库Sharding技术
2011-03-02 16:14 708内容摘要:Sharding 不是一个某个特定数据库软件附 ... -
Java 开发 2.0: 使用 Hibernate Shards 进行切分
2011-03-02 16:26 637当关系数据库试图在 ... -
可扩展的分布式数据库架构
2011-03-03 14:44 680本文发表在《程序员 ... -
OLTP系统与DSS系统对比
2011-03-03 15:35 645在进行数据库系统的设计时,一个不可忽视的问题是弄清你所 ... -
Oracle高级复制机制
2011-03-10 15:48 658Oracle高级复制即可支 ... -
Oracle高级复制的同步复制的配置步骤说明
2011-03-10 15:50 830以下的文章主要讲述的是Oracle高级复制的同步复制,如 ... -
linux oracle中文乱码问题解决方法
2011-04-11 15:18 756connect system/oracle9i ... -
ubuntu下安装ocfs2
2011-07-12 14:20 968简介 一个集群文件系统能使运行在集群中所有节点并发的通过 ... -
asm下载地址
2011-07-12 16:50 874asm rpm包下载地址http://www.oracle.c ... -
oracle重要初始参数
2011-09-28 17:15 868OPEN_CURSORS session可以打开的游标最大数, ... -
SQLJ是什么?优点?
2011-10-11 09:56 912SQLJ是一种允许把静态的SQL语句以文本形式嵌入Java程序 ... -
共享池的调整与优化(Shared pool Tuning)
2011-10-11 10:53 731共享池(Shared pool)是SGA中最关键的内存片段,共 ... -
使用DBMS_SHARED_POOL包将PL/SQL大对象保存到Shared Pool
2011-10-11 16:32 723当系统在加载PL/SQL大对象时,有可能遭遇由于SharedP ... -
oracle sga相关
2011-10-12 17:08 835oracle主要影响性能的内存: Shared ... -
oracle内存调整相关
2011-10-14 15:52 887db_cache_size与sga_target关系 db_ ... -
oracle索引分类
2011-10-17 13:31 849B-TREE INDEX,B树索引:在创建索引时他是 ... -
修改oracle redo log的大小
2011-10-17 15:53 11001.查看现在的REDO GRO ... -
本地管理表空间
2011-10-18 13:29 758本地管理表空间的好处: 1:快速,并发空间操作 ... -
Oracle表空间命令
2011-10-19 16:55 793创建立表空间 CREATE TABLESPACE ... -
Oracle 索引组织表(IOT)
2011-10-28 09:16 796索引组织表(IOT)有一种类B树的存储组织方法。普通的堆组织表 ...
相关推荐
### SQL与NoSQL的融合:Megastore案例分析 #### 概述 随着互联网服务的飞速发展,传统的存储系统面临着前所未有的挑战。一方面,为了应对海量数据的处理需求,NoSQL(Not Only SQL)数据库因其高扩展性和灵活性而受...
**谷歌Megastore技术报告与揭秘** 谷歌Megastore是谷歌内部开发的一种分布式存储系统,专为云环境设计,提供高可用性和可扩展性。它主要用于支持谷歌的在线服务,如Gmail、Google Docs等,这些服务需要实时的、强...
【谷歌论文集】包含了12篇深度探讨云计算领域的专业论文,这些论文对于理解谷歌在云计算和大数据处理方面的创新和技术有着重要价值。以下是这些论文的主要内容和相关知识点的详细概述: 1. **《The Google File ...
Google Megastore分布式存储技术全揭秘
### Megastore: 提供可扩展、高可用的交互式服务存储系统 ...总之,Megastore是一个高度创新且功能强大的存储系统,它不仅解决了当前大规模交互式在线服务所面临的诸多挑战,还为未来的云服务提供了坚实的基础。
Altera IP MegaStore,Altera内核扩展库,用Quartus II 7.2 版本
"MEGASTORE V1.0 商城门户多品类外贸独立站商城模板" 是一个针对外贸行业的电子商务解决方案,特别设计用于构建独立的在线商店。这个模板基于流行的WordPress平台,为商家提供了一个强大且灵活的工具,以展示和销售...
总结起来,Google的Megastore是一种兼顾可扩展性和一致性的分布式存储解决方案,它通过创新的数据模型、事务处理机制以及JOIN操作的优化,为云存储领域提供了一种强大的解决方案。对于需要高可用性、高读写性能以及...
首先,文章提及了在OceanBase项目启动前,市场上已有的几种方案分析,包括关系型数据库、类Dynamo方案(如Cassandra)、类Bigtable方案(如HBase)、NOSQL与SQL融合方案(如Google Megastore)以及简单的“拿来主义...
Google F1 Tenzing Spanner Megastore MapReduce Fusion Tables Maestro Dremel Bigtable DRAM Errors Distributed Storage Systems
7. Room库:虽然原始描述中没有明确提到,但考虑到现代Android开发的趋势,MegaStore可能使用了Room库,这是Google提供的一个高级SQLite封装库,简化了数据库操作并提供了类型安全的API。 8. Intent和...
2011年,Google的MegaStore引入了SQL支持和ACID(原子性、一致性、隔离性和持久性)特性,2012年的Spanner/F1则成为首个全球分布式数据库,具备强一致性和跨时区同步能力。与此同时,业界出现了各种尝试,如百度的...
它的设计汲取了HBase的精华,同时借鉴了Google MegaStore的架构,后者是Google公司为解决类似问题而开发的一套数据库解决方案,其设计理念和技术应用已经成功支撑起了Gmail、AppEngine、Picasa、Android Market等...
3.6.1 SQL和NoSQL数据库的对比 113 3.6.2 RDS数据库原理 114 3.6.3 RDS的使用 115 3.7 内容推送服务CloudFront 115 3.7.1 内容推送网络CDN 115 3.7.2 云内容推送CloudFront 117 3.8 其他Amazon云计算服务 119 3.8.1 ...
Google内部的MegaStore系统是Bigtable的补充,它在Bigtable的上层支持SQL,事务,索引,跨集群复制,并成为了著名的应用程序存储引擎,例如Gmail,APPEngine和Android Market。 因此,我们决定通过理论模型...
Megastore是谷歌一个内部的存储系统,它的底层数据存储依赖Bigtable,也就是基于NoSql实现的,但是和传统的NoSql不同的是,它实现了类似RDBMS的数据模型(便捷性),同时提供数据的强一致性解决方案(同一个datacenter...
### Google Spanner——全球分布式数据库的关键知识点 #### 一、概览 Google Spanner是一款由谷歌研发的全球分布式数据库系统,旨在提供可扩展性、多版本支持、同步复制能力,并且能够在全球范围内分发数据。它...