`
dcj3sjt126com
  • 浏览: 1877785 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

NewSQL体系比Hadoop更具效率

阅读更多


NewSQL体系比Hadoop更具效率
现今,完全放弃传统关系数据库并忙于使用新兴的NoSQL数据库可能还不是一个合理的选择。相反改进后的SQL(结构化查询语言)系统可能会对一些技术细节进行调整。在8月23日加利福尼亚圣何塞市举行的NoSQL 2011大会上分布式数据库公司VoltDB的首席技术官Michael Stonebraker表达了上述的观点。7 C3 h8 D% b, e2 A: o! D
Stonebraker所在公司本身提供的是基于NewSQL的数据库软件。他所倡导的新体系架构比传统供应商提供的数据库软件可承受更大的负载。Stonebraker是Ingres和Postgres数据库的总设计师。他还是Vertica(面向列数据库公司)的共同创始人,惠普已在2月份对Vertica进行了收购。( v F- b) P5 J0 a: ?% _- {
相对于NoSQL蓬勃发展的情况基于SQL的关系数据库系统确实显得有些死气沉沉。但这是数据库厂商的错,而不是SQL的错。+ m: w* q" }. k3 {6 g1 x( M
Stonebraker指出,当今大多数商业数据库软件已经在市场上存在30年或更长时间。他们的设计并没有围绕自动化、数据沉重性以及事务性环境。同时在这几十年中不断发展出的新功能并没有想象中的那么好。/ a' Q5 q0 c3 ]& l
Stonebraker表示数据库系统的滞后通常可归结于多项因素。诸如以恢复日志为目的的数据库系统维持的缓冲区池,以及管理锁定和锁定的数据字段。在VoltDB的测试中发现以上这些行为消耗系统96%的资源。


 


许多新兴的NoSQL数据库的普及,例如MongnDB和Cassandra。这很好的弥补了传统数据库系统的局限性。顾问Dan McCreary表示关系数据库的缺点刺激了开发人员创建出NoSQL数据库。关系数据库不是很灵活,其基本架构设计还是穿孔卡片时代,这反映了严格的数据建模方式。如果一个组织需要添加另一列的数据,他们必须改变架构,这可能相当棘手。建模过程中创建的关系表(实体模型)也并不总是能够准确的反应数据在现实世界中是如何存在的。
McCreary同时指出SQL数据库的另一个问题是其不具备很好的伸缩性。当数据增长超过一台服务器所能承受的极限时,就必须分享或分割数据到多台服务器上,跨越多台服务器是一个复杂的过程。此外如外部链接带来的问题。例如多个表中数据的融合,跨越服务器执行一些操作可能会产生一些问题。! o$ T9 @3 K3 d6 m
Stonebraker认为NoSQL数据库可提供良好的扩展性和灵活性,但他们也有自己的不足。由于不使用SQL,NoSQL数据库系统不具备高度结构 化查询等特性。NoSQL其他的问题还包括不能提供ACID(原子性、一致性、隔离性和耐久性)的操作。另外不同的NoSQL数据库都有自己的查询语言, 这使得很难规范应用程序接口。



 

Stonebraker表示NewSQL可提供SQL独有的一些特性,同时还具备NoSQL的扩展性。NewSQL具备一个新的架构设计,他释放了主内存 运行的数据库中消耗系统资源的缓冲池。VoltDB系统使用了NewSQL创新的体系架构,在执行交易时可比传统关系数据库快45倍。VoltDB可扩展 服务器数量为39个,并可以每秒处理160万个交易(300个CPU核心)。而具备同样处理能力的Hadoop则需要更多的服务器。例如做相同的任 务,VoltDB需要20个节点的任务,Hadoop执行起来则需要1000个节点。/ i3 G4 J+ s6 [' u6 J' S6 q6 |
DoubleClick创始人和MongoDB创始人之一Dwight Merriman与Stonebraker一致认为SQL本身并不是导致可扩展性和低性能的根源。但Dwight Merriman同时表示在未来的岁月里,可能不是所有人都愿意使用SQL分析和查询他们的数据。因为对于程序员来说,基于SQL的存储过程是特别困难的工作。
最后McCreary也同意Stonebraker的看法,NoSQL没有一个统一的查询语言,这将拖慢NoSQL的发展。但他建议在新的数据库系统统一查询工具使用一个SQL以外的语言。如XQuery,一个XML文档查询语言。

  • 大小: 74.6 KB
  • 大小: 116.6 KB
  • 大小: 86.1 KB
分享到:
评论

相关推荐

    大数据技术分享 NewSQL数据库技术与应用 共55页.pdf

    - **与分布式计算框架集成**:如与Hadoop等框架深度集成,提高数据分析效率。 #### 五、新型分布式数据库体系结构 - **Share Nothing架构**:每个节点独立处理数据和计算任务,减少网络交互,提高效率。 - **Share...

    论文研究-数据库体系结构的变迁 .pdf

    同时,新型数据库体系结构也更注重能效比,力求在满足性能需求的同时,降低资源消耗和运维成本。 在数据库的发展历程中,新的数据模型和数据库架构不断被提出,例如NoSQL数据库(Not Only SQL)和NewSQL数据库。...

    微博舆情的Hadoop存储和管理平台设计与实现

    4. NewSQL转换层:为了提高数据查询的效率,专门设计了这一层,它将传统的关系数据库管理和非关系型数据库的优势相结合,从而优化查询性能,实现数据的快速检索和访问。 5. 数据应用层:这一层直接面向用户提供服务...

    DB总结

    3. **Hadoop生态体系**: Hadoop是Apache基金会的一个开源项目,提供了一个分布式文件系统(HDFS)和一个计算框架(MapReduce)。Hadoop生态系统还包括许多其他组件,如YARN用于资源管理,HBase是NoSQL数据库,提供...

    大数据与绿色数据中心.pptx

    PUE是数据中心总能耗与IT设备能耗之比,更低的PUE意味着更高的能源效率。 6. **大数据对技术创新的影响**:大数据不仅改变了数据处理方式,也推动了NewSQL和NoSQL数据库的发展,促进了硬件平台(如X86服务器)和...

    大数据存储技术研究.docx

    例如,OLTP内存数据库用于高并发和短事务处理,但更引人注目的是针对大规模数据分析的创新,如NoSQL数据库(在Hadoop环境下运行)和NewSQL数据库。NewSQL数据库,如Greenplum、Vertica、Asterdata以及GBase 8a MPP ...

    大数据时代的大机遇.pptx

    不同的技术工具如IBM Streams、Apache Storm、SAP HANA、Hadoop发行版、NewSQL等,都在各自的领域中发挥着重要作用,推动分析从结构化数据扩展到非结构化数据,并向实时和智能化发展。 目前,许多运营商已开始部署...

    淘宝数据库架构演进历程.pdf

    5. 数据仓库和大数据处理:随着业务的复杂性和数据分析需求的增加,淘宝建立了数据仓库体系,包括离线处理(如Hadoop、Hive)和实时处理(如Spark、Flink)两部分。离线处理用于日志分析、报表生成,实时处理则用于...

    分布式存储技术在大数据时代中的应用 (2).pdf

    其中,极限数据分布式存储技术是针对数据处理量大、操作复杂的场景而设计的,它以Hadoop、NoSQL以及NewSQL系统为代表。这些系统通常采用横向扩展模式,能够通过增加更多的服务器节点来提高系统性能。 例如,Hadoop...

    大数据分析学习路线.pdf

    - 其知识网格技术优化了高压缩比列式存储,降低了存储成本,提高了查询效率。 3. **数据仓库与数据集市**: - 实时展示统计分析后的数据,帮助企业决策者依据统计结果做出决策。 - HiStore适用于对存储成本敏感...

    中国大数据产业生态分析.pptx

    在架构层面,分布式架构如Hadoop和MapReduce,以及新型数据库体系(NoSQL、NewSQL、MPP混合架构)和Lambda架构为大数据处理提供了高效平台。 硬件层面,传感器技术和RFID等技术用于数据采集,而软件采集则依赖于...

    大数据关键技术 (2).pdf

    总结来看,大数据关键技术是一个综合性强、覆盖面广的技术体系,它不仅仅包含技术本身,还涵盖了数据生命周期的全阶段,从数据的获取、处理,到存储和分析,每一个环节都至关重要。互联网的持续发展给大数据技术带来...

    物联网工程自考12577-智能数据处理复习资料.txt

    - **NewSQL数据库**:NewSQL数据库结合了关系型数据库的优点和NoSQL数据库的可扩展性,能够支持高并发事务处理的同时保持ACID一致性。 #### 数据处理模型 **MapReduce模型**:MapReduce是一种分布式计算模型,用于...

    [详细完整版]大数据概述.ppt

    2. 数据存储和管理:包括分布式文件系统(如Hadoop的HDFS)、数据仓库、关系数据库(如MySQL)、NoSQL数据库(如MongoDB)、云数据库(如Amazon RDS)等,它们支持结构化、半结构化和非结构化数据的存储。...

    大数据关键技术解析.pdf

    新型数据库技术,如NewSQL,试图结合传统关系型数据库的ACID特性与NoSQL数据库的高性能特点,为大规模事务处理提供了新的解决方案。它们特别适合处理需要强一致性和高性能的场景。 大数据时代,数据安全和隐私保护...

    分布式架构基础讲义

    NoSQL数据库(如MongoDB、Cassandra)和NewSQL数据库(如Google Spanner)为分布式架构提供了新的解决方案,它们通常牺牲部分ACID属性以换取更高的扩展性。 5. **分布式计算**:分布式计算允许将大型计算任务分解为...

    2013-2016数据库系统工程师考试真题

    7. 最新考试大纲解析:2017年的考试大纲可能会包含新的技术趋势和标准,例如NoSQL数据库、NewSQL、数据挖掘、机器学习等新兴领域。考生需关注这些变化,以适应不断发展的技术环境。 备考数据库系统工程师的考生应...

    大数据在金融科技中的挖掘与应用.pptx

    - **特征体系构建**:利用大数据挖掘技术从多种数据源(如历史交易记录、社交媒体数据、行为信息等)中提取、清洗和预处理数据,构建多维度的信用特征体系。 - **特征工程**:通过特征选择和特征构建等手段,挖掘...

Global site tag (gtag.js) - Google Analytics