IT架构实现云化已经是企业IT战略的大势所趋。无论是采用私有云技术还是公有云技术,都要求软件具备云环境的适应能力。作为企业最重要的数据资产,依赖于底层的数据管理软件进行有效的管理。为实现从海量数据中得到实用的知识和信息,如何高效组织数据的存储和查找的技术一直在演进。从早期的层次型数据库到关系型数据库,从SQL数据库到NoSQL数据库再到处理非结构化数据的Hadoop、图数据库等平台,一直在发展变化,现在可以说是百花齐放,百家争鸣。
云技术的兴起,连数据存储的位置也有了更多的选择,数据可能存储在用户的数据中心,也有可能存储在某公有云供应商平台中。所以对于用户而言,如何在不同的基础架构、不同的数据库存储平台中、云下云上都保持体验的一致性,应用访问、开发、迁移的平滑性以及数据安全性,保护IT技能的投资,变得异常重要。IBM的下一代数据分析平台,为实现以下的蓝图而重新进行设计和研发。
对于用户而言,信息可视化工具可能使用流行的例如Cognos或Tableau等产品,数据挖掘可能使用SPSS或R等工具,开发语言可能使用的是Python或Scala等流行语言。数据的存储可能在传统的DB2、Oracle或PDA等关系型数据库中,也有可能在新型的Hbase、Hive或NoSQL数据库中。新兴的互联网客户数据可能天然就存储在云数据库中等等。我们是否可以设计一个通用的引擎,它既可以提供一个统一的接口,屏蔽下面的数据存储异构性,又可能使用一个统一的基于SQL的语言来进行应用的访问和开发呢?答案是肯定的!IBM基于开源的Spark技术开发了下一代的通用数据库引擎Common SQL Analytics Engine和查询访问引擎Fluid Query Engine。
作为早期的DB2关系型数据库,为了灵活支持zOS,Unix/Risc架构或WinTel架构,同时为满足客户弹性扩展和支持不同的工作负载,从7版本开始就提出的Universal Database的概念,即一个统一的数据库SQL引擎,就可以支撑不同的体系架构。8、9、10版本后,这个体系架构得到了极大的扩展,通过HADR、DPF、PureScale、BLU、GDPC等功能模块的扩展,在统一的SQL引擎之下,就完美的支撑了用户的不同的工作负载。
但IT架构在不断地进化,云环境还发展出虚拟化技术、容器技术等为支撑海量访问、多租户访问和快速部署扩展的架构。移动互联网的发展又极大的推动了与用户互动而产生大量的非结构化社交媒体、语音、图像、视频或传感器的数据,因此数据形式有了更多样化的存在。为解决以上的挑战,IBM也通过技术创新或收购等方式,提供了基于开源技术研发的Hadoop产品BigInsights、NoSQL数据库或一体机数据仓库PDA等方案。但是随着客户云化的步伐加快,以上的各种方案之间的架构差别,逐渐成为用户的技术瓶颈。各个方案数据管理的实现不同,导致DBA管理运维、应用开发的难度不断加大。基于移动互联网等云化应用的需求,需要更灵活的体系架构以支撑海量访问、突发用户增长、7*24不间断访问、敏捷开发等的挑战。为此目的,IBM在下一代分析引擎设计中,采用了通用分析引擎的策略,即统一分析引擎,以支撑用户在不同的环境中部署数据应用,不论其将部署在原有数据中心的架构中,亦或私有云甚至是公有云的环境。这种机构将提供给用户极大的灵活性,代码编写一次,可以运行在任何环境中,同时保证DBA的运维体验一致!
首先目标是统一IBM自己的数据存储库代码。新发布的云上关系型数据库引擎dashDB、经典的DB2 11版本、适合私有云部署的dashDB on Local、IBM Hadoop BigInsights和未来即将发布的新一代数据仓库一体机设备PDA,都将构建在统一的分析引擎代码上,用户将可以实现代码仅写一次,随处部署运行。对于DBA而言,不论在哪种库进行操作,操作处理模式统一。对于已经部署在某个平台上的用户而言,未来不论是迁移到云上或构建自身的私有云环境,数据以及应用都将平滑迁移。对于工具的开发商而言,仅认证一个平台,就可以平滑支持其它所有的平台。
因此,不论用户目前还在使用传统的Power架构,采用DB2支撑其核心交易体统,它可以逐步升级到DB2 11版本,享受到未来过渡到云的通用分析引擎能力。若用户即将部署私有云环境,可以采用dashDB on Local的方案,它基于容器进行部署,可以支撑PB级数据的海量扩展,同时具备通用SQL数据库引擎能力,运维体验、开发接口与其使用核心交易DB2保持一致。或直接采用PDA的方案,它一体化软、硬件实现方式,可以更简化运维管理,但管理体验、开发方式也和核心系统的数据库保持一致。用户若直接基于公有云的服务,开发各种应用,其上的dashDB云数据服务,和云下的数据库管理、开发体验也是保持一致。最后即使用户选择使用Hadoop来存储其非结构化数据,内置的BigSQL引擎,其运维管理、开发接口也和其在使用的核心交易数据库保持一致的体验!看到现在,你是否觉得很Cool!不论是交易负载亦或分析负载,不论是云下使用还是云上开发运维,所有的技能、软件资产都得到了保护,你的云化大计有了充分的保障!
对于数据已经存放到了不同的数据库中,制定数据统一存放的策略并不现实。因此数据离散化存放,多库存储将是最可能的现实。对用户而言,如何进行统一访问接口,透明访问所有的数据源,或在不同数据源中迁移数据,将成为一个关键的挑战。IBM提供数据访问的通用引擎Fluid Query Engine,它充分考虑客户的数据虚拟化的现实,统一接口,解决客户难题。
由此,通过Common Analytics Engine以及Fluid Query Engine,统一基础架构的实现代码,简化应用访问不同数据的接口,从而实现用户的云下云上数据访问体验一致,保护已有开发IT资产,助力用户早日实现云化大计!
快来体验吧,下载试用IBM Analytics Platform产品!
慧都控件网年终促销第一波已开启,全场6折起,豪礼抢不停>>>
截止时间:2016年10月30日
更多大数据与分析相关行业资讯、解决方案、案例、教程等请点击查看>>>
详情请咨询在线客服!
客服热线:023-66090381
相关推荐
3. **IBM数据分析产品**: - **IBM BigInsights**:基于Hadoop的平台,用于大规模数据存储和分析,支持结构化和非结构化数据。 - **IBM Streams**:实时流计算平台,能够快速处理和分析大量流式数据,如传感器数据...
- IBM的认知解决方案与SAP HANA的结合,强化了基于云的解决方案和企业预置型解决方案的智能功能,增强了数据分析能力。 4. **云基础架构**: - SAP HANA在IBM Power系统的支持下,提供了强大的云基础设施,实现了...
IBM数据生成器是一款由IBM公司开发的专业工具,主要用于在数据挖掘和分析过程中生成模拟数据。这个工具的强大之处在于它能够帮助用户快速创建大规模、复杂的数据集,这些数据集可以模仿真实世界的业务场景,从而在...
智慧社区健康大数据分析是当前信息技术发展的一个重要方向,它结合了大数据分析技术、云计算和物联网技术,以提高社区居民的生活质量和健康水平为目标。这个领域的研究和应用旨在通过收集、整合和解析海量的健康数据...
IBM的大数据分析解决方案,结合了PowerLinux的高性能计算能力与Watson的智能化分析技术,为企业提供了前所未有的数据分析能力和决策支持,助力企业在数据爆炸的时代中抓住机遇,实现业务的持续增长和创新。...
IBM的解决方案中提到了大数据分析的新型架构,它由多个数据区域组成,包括:Landing, Exploration and Archive数据区用于数据接收、探索和归档;EDW(Enterprise Data Warehouse)和数据集市区用于报告和分析;...
智慧解决方案实例合集:数据治理解决方案(96份)包含如下文档: DAMA_DMBOK_数据管理知识体系3.0 DAMA数据管理知识体系指南-全 ...★★★大数据分析平台总体架构方案 ★★★大数据平台数据治理与建设方案 等等
未来,上海联通数据中心计划构建唯一、集中、开放的大数据平台,以服务下沉和客户感知为宗旨,助力企业数据分析系统的全面云化转型。 总体而言,该文档不仅提供了上海联通在大数据环境下系统升级转型的具体案例分析...
【IBM 鹰眼 (Eagle Eye)大数据平台】是一个专为解决企业市场拓展、业务发展及风险管理而设计的大数据分析解决方案。它利用社交媒体分析来提供增值数据服务,帮助企业更好地理解和应对消费者行为的变化。 1. 社交...
- **奥斯卡情感测量工具**: 这个由洛杉矶时报、IBM和南加州大学共同开发的工具,展示了如何利用大数据分析来捕捉公众情绪和趋势,尤其是在社交媒体上的讨论。 #### 五、大数据的特点与来源 - **大数据的特征**: ...
IBM不仅提供了强大的Hadoop平台,还开发了一套完整的移动和静止大数据分析平台。该平台具备以下特点: - **实时分析能力**:能够在数据产生的瞬间对其进行处理和分析,满足实时决策的需求。 - **跨平台兼容性**:...
总之,IBM eServer i870在天津家世界连锁超市的信息化建设中起到了基石的作用,它为企业提供了强大计算能力、快速的数据处理速度以及安全保障,助力企业在激烈的市场竞争中稳步前行。这样的成功案例对于其他寻求信息...
【IBM数据仓库架构之二】深入解析 IBM的电信数据仓库(TDW)是一个专门针对电信行业的数据存储和分析解决方案,旨在帮助企业应对不断变化的行业趋势和商业需求。本架构着重于提供客户情报、业务驱动因素,以及如何...
大数据分析一体机是一种整合了硬件和软件的集成系统,旨在高效地处理、传输和存储海量数据,以满足现代企业对数据分析的需求。这种一体机的设计理念是应对大数据的四大特征,即“4V”:Volume(体积,数据量大)、...
IBM临床与科研信息整合平台(CHAS)通过其独特的标准化信息模型、强大的技术框架和丰富的功能,极大地促进了医院内部以及跨机构之间的信息共享与交流。该平台不仅有助于提高医疗服务的质量和效率,还为医学研究提供...
3. **IBM Cloud Object Storage**:这是一个弹性、高可用的云存储服务,适合大规模数据存储和备份,支持大数据分析和AI应用。 4. **IBM Bluemix**(现更名为IBM Cloud Foundry):作为PaaS平台,Bluemix提供了丰富...
2. **医疗健康行业解决方案**:IBM Watson Health是IBM在医疗领域的旗舰产品,通过大数据分析和AI技术,支持疾病诊断、个性化治疗和医疗管理。例如,IBM Watson Oncology协助医生制定癌症治疗方案,提供基于最新研究...
大数据智能分析解决方案是 IBM 提出的一个解决方案,旨在帮助企业解决大数据分析问题。该解决方案基于 IBM 的大数据平台,提供了一个集成的解决方案,包括数据采集、数据存储、数据处理和数据分析等方面。 大数据...
4. **数据与分析**:IBM Watson是其人工智能平台,可以处理大量结构化和非结构化数据,提供智能分析和预测,助力企业做出数据驱动的决策。 5. **安全性**:IBM云解决方案重视安全性,提供多层次的安全防护,包括...