`
iihero
  • 浏览: 258115 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

成就企业驾驭大数据浪潮 :Sybase数据分析与管理技术之四大法宝

 
阅读更多
  IDC预计,到2020年,全球以电子形式存储的数据量将达到35ZB,是2009年全球存储量的40倍。另据IDC预测,2012年可能会是充满由大数据引发的合并及收购活动的一年。大数据浪潮正以一种迅猛的速度席卷全球,令企业和机构倍感压力。当企业的数据量不断膨胀,当非结构化数据越来越多,当瞬息万变的市场信息每一秒钟都可能发生变化,你是否已经准备好,应对这汹涌而来的大数据浪潮?
  大数据的挑战
  大数据的挑战首先体现在数据量上。在2010年底,根据IDC的统计,全球数据量已经达到了1.2ZB,但与之前分析的2020年全球电子形式存储的35ZB数据量相比,仍然少之又少。如果将这些数据都刻录在DVD上,那么光把这些DVD盘片堆叠起来就可以从地球垒到月球一个来回(单程约24万英里)。
  事实上,对于任何企业来说,数据都是其商业皇冠上最为耀眼夺目的那颗宝石。伴随着传统的商业智能系统向纵深应用的拓展,商业决策已经越来越依赖于数据。然而,传统的商业智能系统中用以分析的数据,大都是企业自身信息系统中产生的运营数据,这些数据大都是标准化、结构化的。事实上,这些数据只占到了企业所能获取的数据中很小的一部分——不到15%,而85%的数据属于广泛存在于社交网络、物联网、电子商务等之中的非结构化数据。企业用以分析的数据越全面,分析的结果就越接近于真实。大数据分析意味着企业能够从这些新的数据中获取新的洞察力,并将其与已知业务的各个细节相融合。此外,急剧变化的市场信息也让企业不得不通过使用某些应用进行数据的实时分析,以便实现高效决策。
  对于企业的CIO来说,他们同样面临如下挑战:如何实现高效、智能的大数据存储与管理?如何对海量增长的非结构化数据进行有效的管理和应用?如何在复杂的数据环境下实现高效的数据分析?如何在瞬息万变的市场环境下进行实时分析与决策?
  以上挑战也正在成为大数据应用的关键。着眼于大数据的价值与挑战,SAP旗下的Sybase凭借创新的列式数据库、对大数据的智能分析、高效管理以及实时分析等四大法宝,为全球用户提供创新的产品与应用,帮助企业与机构驾驭大数据的信息浪潮。
  法宝一:创新性的列式数据库Sybase IQ
  列式数据库是指数据以列相关存储架构进行存储的数据库,主要适合于大批量数据处理和即时查询。与此相对应,行式数据库是指数据以行相关存储架构进行空间分配的数据库,主要适合于小批量的数据处理,且常用于OLTP数据的处理。行式数据库通常重复进行行数据处理,而列式数据库的主要功能是进行数据查询。
  相比于传统的“行式存储”的关系型数据库,Sybase IQ使用了独特的列式存储方式,在进行分析查询时,传统的关系型数据库需要缓慢的读取整个表的每一行,这种读取方式通常会阻塞I/O通道、内存和磁盘,而Sybase IQ仅需读取查询所需的列,其垂直分区策略不仅能够支持大量的用户、大规模数据,还可以提交对商业信息的高速访问,其速度可达到传统的关系型数据库的百倍甚至千倍。“随着Sybase IQ不断地在分析应用POC测试中拔得头筹,有时甚至超过其他对手100倍之多”,Gartner 评价道,“Sybase IQ逐渐成为从数据集市到企业数据仓库架构最令人渴望的DBMS(数据库管理系统)。”
  Sybase IQ 15提升了核心的引擎基础架构能力,包括数据加载和查询性能、改进的安全架构、强大的集群管理和因数据分区而增强的管理等等。自2009年推出以来,Sybase陆续发布了Sybase IQ 15.1、15.2、15.3以至最新的Sybase IQ 15.4版本,每个版本都着力于增加新的核心能力以促进更深入的高级分析。目前,最新版本的Sybase IQ 15.4已将Sybase IQ 的性能、分析、灵活性提升到了更高的级别,进一步推动了其在商业智能方面业已非常强势的增长。
  长期以来,Sybase IQ这些技术革新使得Sybase IQ一直以来位于列式分析服务器市场的领导者地位。目前,全球已有2,000多名用户采用了Sybase IQ创新的列式处理方法,为其关键的分析和报表系统提供支持。在过去三年,每年都有大约200个新客户加入Sybase IQ用户阵营。
  法宝二:对大数据的智能分析
  业内认为,大数据的特点主要集中在三点:多样性(variety)、海量(volume)和速度(velocity)。最新版本的Sybase IQ 能够支持大数据对海量数据、非结构化数据的要求,并有效提高分析性能,帮助企业及时、有效地捕捉商业契机。
  为了更大限度地提升分析性能和可扩展性,在15.3版本上,Sybase IQ就采用PlexQ技术的实现全共享MPP架构,扩展后可支持实时访问数千个用户、多个混合工作负载和大规模数据集,将性能、分析、灵活性提高前所未有的高度,从而重新定义企业级业务分析。它同时继续加大对高级分析开发、建模和执行的支持,而且提供了更加强健的数据管理和灵活性。
  在处理非结构化数据方面,Sybase IQ 15.3加入了对非结构化数据的搜索功能。举例来说,保险公司对诈欺事件进行分析时,最基本的交易数据是结构化的,而为了更清楚地了解诈欺嫌疑人的信息,还要根据一些关键字进行匹配搜索,包括电子邮件信息、汇款信息等,然后再把所有结构化和非结构化的数据放在一起进行分析。此外,为了满足法规遵从的需要,用户也必须在一个完整的数据库中同时处理结构化和非结构化的数据。
  在其最新的15.4版本上,Sybase IQ更是扩大了对数据库内分析功能的支持,包括MapReduce API、预测模型标记语言(PMML)支持、与Hadoop的集成以及基于Sybase IQ PlexQ大规模并行处理(MPP)技术的统计和数据挖掘算法的扩展库。新的API帮助开发人员快速、安全地实施数据库内算法,实现优于现有方法10倍以上的性能加速。
  此外,Sybase IQ还具有深度分析功能,可以按照各种变化的条件快速找到用户所需的结果,帮助企业在大数据浪潮中迅速进行智能分析。
  法宝三:对大数据的高效管理
  面对大数据,除了硬件存储设备的更新,更重要的一点是如何对大数据进行高效管理。在Sybase全新版本的数据库Sybase ASE 15.7中,已经将大数据管理特别是大对象管理,提到了一个非常重要的位置。
  一直以来,Sybase ASE以其可靠、卓越的性能和低总拥有成本赢得全球三万多名客户的信赖,支撑了全球90%以上的顶级银行和证券公司数据管理业务。2011年9月,全新版本的企业数据管理解决方案Sybase ASE 15.7正式上市,作为SAP Business Suite商务套件的最佳平台,ASE 15.7不仅为SAP客户提供了一个强大的数据库平台,也可以让现有的Sybase ASE客户方便地采用最新功能和优化特性,而不需要升级数据库。更为重要的是,具有全新先进压缩功能的ASE 15.7还可以节省磁盘空间、提高并行硬件的性能和可扩展性,有效管理非结构化数据。强大的功能足以应对大数据时代对数据处理性能、类型、安全等方面的挑战。
  在Sybase ASE 15.7当中,新增的一个重要特性就是对大对象(LOB)的管理增强,包括LOB压缩、行内LOB、复制机制以及LOB的读取与运算方面都进行了特别的改进。LOB中包含了非结构化数据,因此Sybase ASE 15.7新增的这些功能都使得企业和机构在应对大数据时更加轻松。
  “关系型数据库管理系统产品是不断变化的”,IDC报告显示,“因此Sybase及其他竞争对手面临着需要不断提高自身技术的挑战,以求能高效、占用最低成本和灵活的数据库作为支持,成功的解决客户的需求”。
  据统计,目前使用Sybase ASE 五年以上的企业,每TB硬件的成本由原来的$21,178降到了$20,250,Sybase ASE在大数据管理方面平均能为够每家公司节约大概$139,000的成本。随着Sybase 不断创新产品与技术,其对大数据的管理性能将进一步提升,并继续为企业提供低本高效的服务。
  法宝四:对大数据的实时分析
  在大数据浪潮下,新的信息源源不断地从不同的源——内部系统、合作伙伴、客户、市场等方向涌来。信息的涌现使得越来越多的企业正在期望从当前正在发生什么中寻求价值。
  Sybase在业界率先开创用于构建和管理信息系统的复杂事件处理( CEP ),通过分析不断出现的实时事件流,Sybase复杂事件处理技术可以判断什么是有意义的事件并做出适当的响应;Sybase复杂事件处理技术还能对实时事件获得即时洞察;对市场、事务、客户以及运营的实时数据持续进行分析;对出现的风险或机会做出更迅速的响应以及基于当前环境而不是昨天的信息做出决策。
  基于大数据时代企业的实时决策需求,Sybase事件流处理器Sybase ESP 将商业事件流传化为可据行动的信息,通过舍弃那些不相关的信息,联合不同源的信息,在其他事件情境中检查事件以判断什么是重要的信息。由于Sybase ESP 是基于大量的数据、以实时的方式高速进行的,它使得企业对不断变化的环境做出更迅速的响应,捕捉随时出现的风险或机会,通过更完整和及时的信息做出更好的决策。
  Sybase 的实时智能解决方案,不仅可以给企业带来更快速、更及时的响应时间,还能帮助企业做出最恰当的、经济有效的、有竞争力的、高附加值的决策。凭借在实时分析领域的创新与成就,Sybase被Waters评为“2011年度最佳复杂事件处理方案供应商”,进一步巩固其在大数据分析领域的领导者地位。
  结语
  大数据浪潮已经席卷全球,并呈现出独到的商业价值。据预计,未来大数据的产业规模将会至少以万亿美元来进行衡量,大数据将有可能给IT行业开拓一个新的黄金时代。
  面对这种趋势,很多企业开始重新审视数据战略。对SAP旗下的Sybase来说,大数据更像是一次厚积薄发的机遇。凭借多年来在数据管理与商务智能领域卓越的成就和市场地位,凭借上述四大法宝和众多领先的解决方案,Sybase技术有效地管理海量增长的非结构化数据、实现复杂数据环境下高效的数据分析,帮助企业在大数据时代瞬息万变的市场环境下,实现对数据进行实时分析与决策,成就企业驾驭大数据浪潮。
分享到:
评论

相关推荐

    驾驭:大数据

    驾驭:大数据

    驾驭大数据.pdf

    标题《驾驭大数据.pdf》暗示了电子书的内容着重于如何管理和利用大数据,这其中包括了数据的收集、存储、分析和应用等方面的知识。从描述中可以了解到,这本书为个人学习使用而收集,强调了不可用于商业用途,同时...

    驾驭大数据洪流:Hadoop集群日志的高效管理和分析

    - **可扩展性**:可以处理PB级别的数据。 - **可靠性**:通过数据复制(默认为3份)来保证数据的持久性和容错性。 - **成本效益**:可以在商用硬件上运行,降低成本。 - **支持多种数据源**:可以处理结构化、半结构...

    驾驭大数据

    《驾驭大数据》这本书深入浅出地探讨了大数据这一现代信息技术领域的关键主题。大数据不仅是一个技术概念,更是企业和组织在信息时代提升竞争力的核心驱动力。它涉及数据的收集、存储、处理、分析和可视化等多个环节...

    [精品]驾驭大数据.epub

    本书重点介绍了如何驾驭大数据浪潮,并详细地介绍了什么是大数据,大数据为什么重要,以及如何应用大数据。本书还从具体实用的角度,介绍了用于分析和操作大数据的工具、技术和方法;以及从人才和企业文化的角度,...

    大数据时代:大数据的应用.txt

    对于企业而言,大数据有时候像是一个侦探家,能够拨开重重迷雾,找到问题的本质以及解决方案,而关键在于,你是否真的懂得如何去驾驭它,让它为你服务。 大数据应用的关键,也是其必要条件,就在于"IT"与"经营"的...

    驾驭大数据:Linux中Spark环境配置与管理全攻略

    Linux内核是操作系统的核心部分,负责管理系统资源、调度进程、处理硬件设备请求等。Linux内核以其稳定性、安全性、灵活性和高性能而闻名。 Linux操作系统的特点包括: 1. **开源**:Linux的源代码对所有人开放,...

    驾驭大数据浪潮电信业方案手册

    基于大数据的综合分析将成为成为运营商发掘商业智能价值、提升效率与收益的重要手段之一。数据显示,2011年,2010年,2009年移动电话和固话新增用户数有所减缓;电信用户增长进入饱和阶段。用户价值挖掘将成为运营商...

    驾驭大数据:Linux中Hadoop平台的配置与管理全指南

    Linux内核是操作系统的核心部分,负责管理系统资源、调度进程、处理硬件设备请求等。Linux内核以其稳定性、安全性、灵活性和高性能而闻名。 Linux操作系统的特点包括: 1. **开源**:Linux的源代码对所有人开放,...

    决战大数据:驾驭未来商业的利器.pdf

    此外,书中还强调了大数据与人工智能的结合,如机器学习、深度学习等技术,它们在预测分析、自然语言处理、图像识别等方面的应用,为企业带来了更强大的智能能力。同时,大数据伦理和隐私保护也是不容忽视的话题,...

    创新与变革:大数据背景下企业财务管理的创新建设.zip

    在大数据时代,企业财务管理正面临着前所未有的变革与挑战。...通过阅读“创新与变革:大数据背景下企业财务管理的创新建设.pdf”,读者将深入了解如何在大数据时代中驾驭财务管理的变革,推动企业的持续发展。

    大数据时代下数据分析理念.docx

    【大数据时代下数据分析理念】 大数据时代,随着信息技术的飞速发展,数据的生产和...在这个过程中,统计学、数据整合与分析能力的提升,以及对数据分析的持续优化,都是确保我们在大数据时代中成功驾驭数据的关键。

    大数据:互联网大规模数据挖掘与分布式处理.simple

    总之,大数据:互联网大规模数据挖掘与分布式处理这个主题涵盖了从数据获取、存储、处理到分析的全过程,涉及的技术丰富多样,对于理解如何在互联网环境下有效利用大数据具有深远意义。通过深入学习和掌握这些知识,...

    《决战大数据:驾驭未来商业的利器》1

    《决战大数据:驾驭未来商业的利器》一书探讨了大数据在商业领域的应用和价值,以及如何从数据化运营转向运营数据。作者强调了大数据并非仅仅是谈论的热点,而是需要实际行动和创新管理的领域。大数据的核心在于通过...

    大数据业务--数据仓库与数据挖掘.pdf

    BI系统可以采用多种技术,如主数据管理(MDM)、在线分析处理(OLAP)和数据挖掘等,根据不同的业务需求构建数据集市(Data Mart)或采用Hadoop等大数据处理框架。 全面的数据整合是BI系统高效运行的关键。Trinity...

    大数据时代下通信技术与数据分析理念的辨析.pdf

    总的来说,大数据时代下通信技术与数据分析理念的结合,正在重构我们的信息社会,推动经济社会的智能化转型。企业和个人都需要不断提升对大数据的理解和应用能力,以应对这个新时代带来的挑战和机遇。通过不断的技术...

Global site tag (gtag.js) - Google Analytics