阅读更多


工业和信息化部电子工业标准化研究院网站4月6日发布消息称,中国首项大数据领域国际标准提案新近通过专家论证,并认为这代表着中国大数据领域国际标准化工作取得重大突破,提升了中国在数据库语言领域的标准话语权。

由该院联合北京柏睿数据科技有限公司提出的《SQL对MapReduce及与之相关的流数据处理的支持》国际标准提案,也被认为是由中国独立提出的首项针对SQL标准的国际标准提案,目的在于扩展数据库语言SQL标准,使其支持流数据处理及大数据应用。据悉该提案2015年10月在日本东京召开的ISO/IEC JTC 1/ SC 32/WG 3 数据库语言工作组会议上提出时,得到WG 3召集人和参会专家的高度肯定。WG 3鼓励中国代表继续开展关于SQL标准为支持流数据而进行扩展的需求和相关技术的研究,进一步完善提案,争取早日在ISO/IEC JTC 1/ SC 32立项开展标准研制工作。下一步,中国工业和信息化部电子工业标准化研究院将尽快完成该提案的国内审批流程,并于2016年6月SC32全会上正式向秘书处提交该提案。

业内人士表示,随着大数据时代的到来,MapReduce作为主流的数据处理方式已被广泛采用,但其编程过程繁琐且对流数据的处理缺少规范化的操作。同时由于现行的ISO/IEC 9075数据库语言SQL标准不支持对流数据的支持,一些大数据解决方案公司为了使用SQL标准处理流数据开发了多种解决方案,使得SQL程序员需要理解各种方案及相关用法,增加了大数据系统的开发难度,降低了大数据系统的开发效率。该提案通过将MapReduce方法合并到SQL标准中,使SQL程序员可方便地通过标准的SQL语言使用MapRedece。符合该标准的大数据平台将极大降低大数据系统的开发难度,并显著提高大数据系统的开发效率。

接受《华夏时报》专访的业内著名专家、北京柏睿数据科技有限公司董事长刘睿民认为,划时代的RapidsDB,这是中国本土企业在该领域零的突破。

以RapidsDB的独特优势为基础,中国由此在数据库语言领域国际标准制定上,正在从参与者变成协调者和主导者。——这是一次具有历史意义的技术跃进。

技术标准是大数据安全保障

《华夏时报》:你怎么看大数据相关领域技术标准的国内国际现况?

刘睿民:目前国际上有4大标准化组织针对大数据进行专门研究。

ISO/IEC JTC1 SC32于2012年成立了下一代分析技术与大数据研究组,2014年6月启动了4项为大数据提供标准化支持的新工作项目。该组织重点研究对象包括元数据、大数据存储和检索、大数据所支持的复杂数据类型等。ISO/IEC JTC1 SC2正在进行大数据标准研究调研,其于2013年11月成立了大数据标准化研究组,2014年将提交大数据相关技术与标准调研报告以及JTC1在大数据标准研发中的需求。

ITU-T则重点研究基于大数据的云计算相关技术,ITU于2013年11月发布了《大数据今天巨大,明天平常》的技术观察报告,分析了大数据面临的挑战和ITU-T开展的标准化工作,目前该组织已启动“基于大数据的云计算需求和能力”新工作项目。

NIST 于2013年建立了大数据公共工作组(NBD-PWG),其重点研究对象包括术语和定义、用例和需求、安全和隐私、参考体系结构和技术路线等,目前已有这些方面的草案。

关于大数据标准研制在中国的发展情况,中国电子技术标准化研究院(以下简称电标院)发布的《大数据标准化白皮书》(以下简称白皮书)指出,全国信息技术标准化技术委员会(TC28)持续开展数据标准化工作,在元数据、数据库、数据建模、数据交换与管理等领域推动相关标准的研制与应用,为提升跨行业领域数据管理能力提供标准化支持。具体而言,全国信标委于2012年成立了非结构化数据管理标准工作组,对口ISO/IEC JTC1 SC32 WG4。全国信标委云计算标准工作组目前正在开展大数据存储和分析应用的研究工作,旨在研究大数据存储和分析技术的应用分析、技术框架和标准研究等。全国信标委SOA分技术委员会负责面向服务的体系结构(SOA)、Web服务和中间件的专业标准化的技术归口工作,并协助全国信息技术标准化技术委员会承担国际标准化组织相应分技术委员会的国内归口工作。

另外,全国信息安全标准化委员会(TC260)是在信息安全技术专业领域内,从事信息安全标准化工作的技术工作组织。委员会负责组织开展国内信息安全有关的标准化技术工作,技术委员会主要工作范围包括:安全技术、安全机制、安全服务、安全管理、安全评估等领域的标准化技术工作。全国信安标委目前正开展大数据安全技术、产业和标准研究,为大数据的安全保障提供支撑。

数据仓库标准是行业标杆

《华夏时报》:工信部电标院为何选择与你与柏睿公司合作?

刘睿民:我归国前在硅谷Tandem公司师从图灵奖大神级得主Jim Gray,共同参与过Tandem NonStop SQL/MP的内核编写。Tandem公司的MPP分布式数据库迄今为止依然在欧美的高端市场傲视群雄。此外,我还曾在惠普实验室从事过海量并行内存数据库开发,担任过惠普大中华区数据挖掘总监、SUN/ORACLE大中华区服务总裁。但我感到,尽管凭个人能力可以做出优质产品,却难以带动产业上下游的配合与发展,任何产业级的影响力都离不开长期的深厚积累。

在数据库领域摸爬滚打20年,我深入了解到这一波大数据革命的颠覆性。传统的关系型数据库,无力承载海量数据的处理和分析。随着新一轮窗口期开启,数据库领域进入战国时代,各类列式架构、内存架构、NoSQL、NewSQL等新型数据库层出不穷。柏睿数据在国内首创的MPP内存数据仓库被认为是中国数据仓库领域的“诺曼底反攻”,并且最近完成接近千万美元级融资。柏睿数据前不久还获得“2015年度中国软件和信息服务大数据领域最佳产品奖”。

柏睿数据推出的Rapids Hadoop,Rapids DB,Rapids MGrid,Rapids Manager等产品,为客户提供了从大数据存储到分析挖掘的完整解决方案,其技术研发实力在国内名列前茅。

柏睿数据将在国家级的标准方面做更多的工作。数据仓库的标准是整个行业的标杆,只有设立正确的标杆才能更好的促进国产数据库的健康发展,企业级产品性能及服务才是根本。

《华夏时报》:怎么看柏睿公司提出的相关领域数据库国际标准提案的技术与市场的意义?

刘睿民:以RapidsDB内存数据库为例,它是一款分布式、纯内存化的大数据处理平台,基于大规模并行处理(MPP)运算架构,面向联机分析业务的内存数据库,通过组合具有高性能、低成本的标准服务器资源组成线性扩展的运算集群,高效处理各种由标准SQL语句组成的复杂查询分析请求,实时分析包括结构化、半结构化和非结构化的数据,为企业提供快捷的业务决策支持。它的出现突破了传统基于磁盘的数据仓库技术,解决了传统数据仓库难以分析结构化以外数据的难题,并通过高性能,线性扩展及整合方案为企业带来显著效益。它能够帮助用户进行超高速的数据查询、分析及处理,在金融、电信、电力、游戏、广告、交通等领域有着广泛的应用前景。历史上,MPP内存数据仓库市场一直被少数海外企业所垄断,RapidsDB的诞生,标志着“中国智造”又一次打破了技术壁垒,在世界大数据存储与实时分析领域发出了自己的声音。

技术现在成了硬门槛

《华夏时报》:你对技术与市场发展趋向有何判断和预测

刘睿民:首先,数据库领域正在窗口期,不少新机会正在涌现。IBM和HP守着自己的小机不放,但用户已经不要小机了,而且巨头们也解决不了大数据的问题。结构化数据原来占了99%,而现在却只占1%,从趋势上看,巨头擅长的地盘一下子变成了一个小市场。柏睿的产品不仅能处理非结构化和半结构化的数据,而且在结构化数据这块,还能替代巨头。

其次,产业发展自有其周期,数据库领域的老大Oracle已经走到头了。Oracle的核心技术诞生于30年前,但到现在,Oracle并没有修改过核心架构,只做了些外围修缮,这种单节点共享内存架构,无法支撑大数据时代快速扩展的需求。

第三,国内的企业级市场,现在光拼关系也不行了,数据量突然提升了1000倍,过去的IT架构,已无力支撑这种大容量的数据处理,所以技术成了硬门槛。这一波基于云和大数据的革命,会形成一个完全不同于以往的,非常开放的生态。

第四,云服务普及后,技术可以在云上部署。从市场角度来看,由于长尾效应,原来买不起这些服务的中型客户,可以按时、按需付费。这些中型企业也希望把原来行业的老大替代掉,所以他们有极大的意愿,去购买互联网上的服务。

具历史意义的技术跃进

《华夏时报》:对国内存进大数据领域相关技术发展政策你有何建言?

刘睿民:国内在数据库研发领域理论研究和人才培养上要加强积累。而不能做了十几年都没掌握产业链上最核心技术,也没研究所或机构在这个领域持续追踪,那样就只能谈一些类似Hadoop怎么用,基于实践和操作层面的东西。

反观国外各类的数据库架构设计,从上世纪70年代就已经开始积累。加州理工、加州大学圣巴巴拉分校、威斯康辛大学等高校,有专门的科系研究数据库,在知识上有传承。即使有这些积累,全球数据库领域核心人才,在美国也不超过200人。对核心人才的定义,得是做过SQL解析器、执行器、优化器,以及文件系统这几块最有技术含量的东西。即使在Oracle、SAP、Sybase这样的公司里,真正接触到数据库核心引擎设计的,也最多就是十来个人,更多人是围绕核心去写一些周边的功能。

数据库核心人才的培养需要过程。要从上层工具开发渐往底层深入,先做解析器,再做执行器,最后做优化器,循序渐进。表和表之间的JOIN,应该走什么样的执行计划,这中间的解析路径、优化路径如何设计,低下文件系统的读和写应该怎样配合,需要10年,甚至20年的工程积累。缺少了这些积累,也就只能做一些数据处理工作,底层开发根本轮不到你。

大数据时代的国家竞争发展优势,就是对海量数据进行分析,让数据变成对社会有价值的产品。目前中国虽初步具有这种能力,但空间还很巨大,因此,政府决策部门应尽快设立首席数据官的职位,这将有助于国家宏观战略决策中,各种数据不协调造成的应用管理中诸多问题获得解决。

大数据应用如果形成生态系统,在数据库和数据处理方面,包括中间件方面,可能会有基础软件升级的问题要解决,这可能会导致中国出现一些大的基础软件公司,并与甲骨文公司、SAP公司等国际巨头竞争。从应用软件方面看,中国可能会出现一些突出的应用,在虚拟现实和自动驾驶领域,中国也许同样会出现一些大公司。但这同样需要很多积累。

《华夏时报》:RapidsDB内存数据库的独创性对于中国所处大数据变革时代究竟意义有多大?

刘睿民:2013年我们的团队就开始进入许多人认为“高不可攀”的大数据MPP内存数据仓库引擎研究,并最终孕育出划时代的RapidsDB,这是中国本土企业在该领域零的突破。

RapidsDB不仅全面改善了大数据服务现状,也给亟待实施战略转型的用户们创造了升级契机,同时也促进了中国大数据服务产业的成熟。在“中国制造”向“中国智造”全面涅槃的过程中,RapidsDB可以帮助更多企业体验全新的大数据服务,迎接“互联网+”时代的到来。

为大数据系统的开发降低难度,提高效率,——以RapidsDB的独特优势为基础,中国由此在数据库语言领域国际标准制定上,正在从参与者变成协调者和主导者。——这应是一次具有历史意义的技术跃进。
  • 大小: 15.5 KB
来自: 华夏时报
1
4
评论 共 4 条 请登录后发表评论
4 楼 小雕炖蘑菇 2016-04-18 10:09
工作取得重大突破,提升了中国在...领域的标准话语权,得到...参会专家的高度肯定。文案水平可见一斑
3 楼 ronnin 2016-04-18 09:44
iteye 收钱的广告文而已
2 楼 Tyrion 2016-04-17 11:32
意思是现在吹牛不上税了?
1 楼 allenny 2016-04-17 01:03
"北京柏睿数据科技有限公司",这绝对不是吹牛b软文

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • java源码包---java 源码 大量 实例

     Java绘制图片火焰效果,源代码相关注释:前景和背景Image对象、Applet和绘制火焰的效果的Image对象、Applet和绘制火焰的效果的Graphics对象、火焰效果的线程、Applet的高度,图片到图片装载器、绘制火焰效果的X坐标...

  • c和java通讯_javascript 与applet的通讯 和java与c(dll文件)通讯,最终在b/s架构下实现与硬件(读卡器)通讯...

    javascript 与applet的通讯 和java与c(dll文件)通讯,最终在b/s架构下实现与硬件(读卡器)通讯在b/s架构下怎样实现客户端的硬件(读卡器)设备通讯,得到硬件(读卡器)的数据。在此与硬件设备通讯的C或其它的通讯设备...

  • javascript 与applet的通讯 和java与c(dll文件)通讯,最终在b/s架构下实现与硬件(读卡器)通讯...

    javascript 与applet的通讯 和java与c(dll文件)通讯,最终在b/s架构下实现与硬件(读卡器)通讯  在b/s架构下怎样实现客户端的硬件(读卡器)设备通讯,得到硬件(读卡器)的数据。在此与硬件设备通讯的C或其它的...

  • B/S架构下applet,JNI实现对客户端硬件的读取

    <br />前言<br />项目要求连接读卡器读写IC卡。由于项目是用PHP开发,所以刚开始设计的是用PHP连接读卡器(几个人还都没察觉有什么问题,汗)。<br />顺便说一下PHP如何读取硬件.<br />第一种:开发PHP标准的...

  • js java jni_使用JNI技术实现JAVA程序调用dll

    JAVA的跨平台的特性深受java程序员们的喜爱,但正是由于它为了实现跨平台的目的,使得它和本地机器的各种内部联系变得很少,大大约束了它的功能,比如与一些硬件设备通信,往往要花费很大的精力去设计流程编写代码去管理...

  • AppEmit是应用程序(尤其是浏览器)与本地程序间互相通信的易扩展的轻量级中间件

    AppEmit是应用程序(尤其是浏览器)与本地程序间互相通信的易扩展的轻量级中间件。 AppEmit is an extensible lightweight middleware for communication between applications (especially browsers) and local ...

  • java源码包2

     Java绘制图片火焰效果,源代码相关注释:前景和背景Image对象、Applet和绘制火焰的效果的Image对象、Applet和绘制火焰的效果的Graphics对象、火焰效果的线程、Applet的高度,图片到图片装载器、绘制火焰效果的X坐标...

  • java源码包3

     Java绘制图片火焰效果,源代码相关注释:前景和背景Image对象、Applet和绘制火焰的效果的Image对象、Applet和绘制火焰的效果的Graphics对象、火焰效果的线程、Applet的高度,图片到图片装载器、绘制火焰效果的X坐标...

  • java源码包4

     Java绘制图片火焰效果,源代码相关注释:前景和背景Image对象、Applet和绘制火焰的效果的Image对象、Applet和绘制火焰的效果的Graphics对象、火焰效果的线程、Applet的高度,图片到图片装载器、绘制火焰效果的X坐标...

  • 成百上千个Java 源码DEMO 4(1-4是独立压缩包)

    21个目标文件 摘要:JAVA源码,媒体网络,山寨QQ,Java聊天程序 Java编写的山寨QQ,多人聊天+用户在线,程序分服务端和客户端,典型C/S结构, 当用户发送第一次请求的时候,验证用户登录,创建一个该qq号和服务器端保持...

  • 成百上千个Java 源码DEMO 3(1-4是独立压缩包)

    21个目标文件 摘要:JAVA源码,媒体网络,山寨QQ,Java聊天程序 Java编写的山寨QQ,多人聊天+用户在线,程序分服务端和客户端,典型C/S结构, 当用户发送第一次请求的时候,验证用户登录,创建一个该qq号和服务器端保持...

  • OFDM、OOK、PPM、QAM 的误码率模拟【绘制不同调制方案的误码率曲线】附Matlab代码.rar

    1.版本:matlab2014/2019a/2024a 2.附赠案例数据可直接运行matlab程序。 3.代码特点:参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象:计算机,电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。

  • 8c71b76fb2ec10cf50fc6b0308d3dcfc_9545878e2b97a84b2e089ece58da9e82.png

    8c71b76fb2ec10cf50fc6b0308d3dcfc_9545878e2b97a84b2e089ece58da9e82

  • Android SO逆向-对象的拷贝构造函数.pdf

    Android逆向过程学习

  • 基于S7-200 PLC的糖果包装控制系统设计与实现

    内容概要:本文详细介绍了基于西门子S7-200 PLC的糖果包装控制系统的设计与实现。首先阐述了PLC在工业自动化领域的优势及其在糖果包装生产线中的重要性。接着深入探讨了系统的硬件连接方式,包括传感器、执行机构与PLC的具体接口配置。随后展示了关键的编程实现部分,如糖果计数、包装执行、送膜控制、称重判断以及热封温度控制等具体梯形图代码片段。此外,还分享了一些实用的经验技巧,如防止信号抖动、PID参数优化、故障诊断方法等。最后总结了该系统的优势,强调其对提高生产效率和产品质量的重要作用。 适合人群:从事工业自动化控制、PLC编程的技术人员,尤其是对小型PLC系统感兴趣的工程师。 使用场景及目标:适用于糖果制造企业,旨在提升包装生产线的自动化程度,确保高效稳定的生产过程,同时降低维护成本并提高产品一致性。 其他说明:文中不仅提供了详细的理论讲解和技术指导,还结合实际案例进行了经验分享,有助于读者更好地理解和掌握相关知识。

  • PLC与WinCC实现三部十层电梯协同控制及优化技巧

    内容概要:本文详细介绍了参与西门子杯比赛中关于三部十层电梯系统的博图V15.1程序设计及其WinCC画面展示的内容。文中不仅展示了电梯系统的基本架构,如抢单逻辑、方向决策、状态机管理等核心算法(采用SCL语言编写),还分享了许多实际调试过程中遇到的问题及解决方案,例如未初始化变量导致的异常行为、状态机遗漏空闲状态、WinCC画面动态显示的挑战以及通信配置中的ASCII码解析错误等问题。此外,作者还特别提到一些创意性的设计,如电梯同时到达同一层时楼层显示器变为闪烁爱心的效果,以及节能模式下电梯自动停靠中间楼层的功能。 适合人群:对PLC编程、工业自动化控制、电梯调度算法感兴趣的工程技术人员,尤其是准备参加类似竞赛的学生和技术爱好者。 使用场景及目标:适用于希望深入了解PLC编程实践、掌握电梯群控系统的设计思路和技术要点的人士。通过学习本文可以更好地理解如何利用PLC进行复杂的机电一体化项目的开发,提高解决实际问题的能力。 其他说明:文章风格幽默诙谐,将严肃的技术话题融入轻松的生活化比喻之中,使得原本枯燥的专业知识变得生动有趣。同时,文中提供的经验教训对于从事相关领域的工作者来说非常宝贵,能够帮助他们少走弯路并激发更多创新思维。

  • 慧荣量产工具合集.zip

    慧荣量产工具合集.zip

  • 永磁同步电机FOC控制与SVPWM算法仿真模型解析

    内容概要:本文详细介绍了永磁同步电机(PMSM)的FOC(磁场定向控制)和SVPWM(空间矢量脉宽调制)算法的仿真模型。首先解释了FOC的基本原理及其核心的坐标变换(Clark变换和Park变换),并给出了相应的Python代码实现。接下来探讨了SVPWM算法的工作机制,包括扇区判断和占空比计算的方法。此外,文章还讨论了电机的PI双闭环控制结构,即速度环和电流环的设计与实现。文中不仅提供了详细的理论背景,还分享了一些实用的编程技巧和注意事项,帮助读者更好地理解和应用这些算法。 适合人群:电气工程专业学生、从事电机控制系统开发的技术人员以及对永磁同步电机控制感兴趣的科研人员。 使用场景及目标:① 学习和掌握永磁同步电机的FOC控制和SVPWM算法的具体实现;② 提供丰富的代码示例和实践经验,便于快速搭建和调试仿真模型;③ 探讨不同参数设置对电机性能的影响,提高系统的稳定性和效率。 其他说明:文章强调了在实际应用中需要注意的一些细节问题,如坐标变换中的系数选择、SVPWM算法中的扇区判断优化以及PI控制器的参数调整等。同时,鼓励读者通过动手实验来加深对各个模块的理解。

Global site tag (gtag.js) - Google Analytics