华盛顿大学奥林商学院做过一个调查,10年内,世界五百强企业榜单中,40%将会消失。
以前的企业讲究聚沙成塔——
埋头苦干、一砖一瓦,从崭露头角到行业先锋,终换得大厦平地起。
现在聪明的筑塔人都转去逐浪。踩在互联网这一浪上,看着下一浪的浮现,他们在等新IT(Intelligence Technology)底层技术成熟。
作为机敏的鲨鱼,leader们左右嗅嗅,会闻到海水中的血腥味儿。随着他们弄懂如何改造效率低下的公司,从而更好、更快、更廉价地为消费者提供一切的时候,旧的系统、故步自封的垄断者将会崩溃。
熟悉科技前沿领域的业内人士有一个共识,目前,如果把AI、机器人管家、脑机接口、智能穿戴等领域视为一个个天资聪颖、潜能无限的婴儿,那哺育他们的“奶粉”必须是高质量、且经过处理的数据——尤其是实时数据。
由实时数据处理引发的应用,往往会颠覆绝大多数人对效率的认知。比如,物联网IoT领域中,实时的设备数据分析可以在1秒内检测出系统故障,同时做出维护性的预测;在金融领域,交易系统的数据不止需要实时呈现给客户,更重要的是以最快速度,递交自动交易系统进行处理;IT领域,软件系统的日志收集和处理对服务异常报警和故障的检测至关重要;而在交通领域,实时的交通数据经由处理,已经用来做交通指挥的优化。
最具有代表性的是电商,那些因新零售拔地而起的平台,握有海量用户交易数据和后台商品更新数据,此类数据对实时性的要求极高:交易处理,后台呈现,支付后的快速响应,以及出现纠纷时的解决……都仰仗着服务器支撑。特别是现在打折,促销,秒杀,砍价等营销模式层出不穷,如果系统出现问题,那么电商平台失去的流量与承受的损失将十分巨大。因此接入信息,监管商品交易数据并且做到实时处理,这对于此类企业来说尤为重要。
此外,大数据时代,企业销售端的进军方向会逐步靠拢到智能推荐系统。传统的推荐系统采用定期对数据进行分析的做法来更新模型。因其定期更新的特性,推荐模型无法保持实时,对用户当前的行为推荐结果不够精准。在此类场景中,实时数据分析便等同于一眼看透消费者的导购。
新IT浪潮中,实时的数据收集与基于数据的分析处理已经是大势所趋。但在数据种类越来越多,产生速度越来越快,数据量越来越大的当下,许多企业正面临技术与设备的限制,实时数据处理的技术壁垒已浮出水面。总结来说,主要的困难在于:
1、数据量非常大;系统要求非常高,处理数据时,容不得丝毫故障甚至宕机,实时处理的系统要求也远远高于离线系统。
2、实时处理系统规模跟不上业务增长的需求;很多实时数据(比如金融的K线分析)需要专门的时序数据库技术,而这些技术并不普及。
3、自行搭建开源组件,比如Kafka, Storm和Hbase,不是一件容易的事情,Hadoop开源组件的部署和运维都需要耗费大量的金钱和人力。
究其根本,实时数据处理的三个最根本的需求是:数据的接入,数据的实时分析处理,和数据的存储。针对日益增长的,在云上对数据进行实时处理的需求,华为云EI服务产品部开发了实时数据处理“三剑客”:
数据接入服务(DIS),实时流计算服务(Cloud Stream Service,简称CS)和表格存储服务(CloudTable)。
• 数据接入服务(DIS)是华为云提供的完全托管的实时数据接入服务。DIS提供了灵活数据采集、高效数据传输、实时数据分发能力,让使用者轻松构建基于实时数据的分析和应用。
• 实时流计算服务(CS)是实时流式大数据分析服务,完全托管计算资源和Serverless体验,即时执行作业,提供低延时高吞吐的智能流计算平台。
• 表格存储服务(CloudTable)是基于Apache
HBase提供的分布式、可伸缩、全托管的NoSQL数据存储服务,提供了毫秒级的随机读写能力,适用于海量结构化数据、半结构化数据存储和查询应用。同时基于OpenTSDB和GeoMesa提供时序数据库能力和时空大数据查询、分析能力。
何达炳曾在微博上回应过Anil
Menon:“谁来判断华为创新能力?应该是市场和客户。”目前华为云上已有诸多标杆客户使用“三剑客”服务对实时数据进行处理。某燃气集团,通过使用DIS,
CS和CloudTable构建了新的覆盖全国的巡线系统,将巡线实时监控系统端到端查询性能从十几秒降低到秒级以内。某金融初创企业,实时交易行情系统充分利用CloudTable内置的OpenTSDB能力,实时快速刷新15种时间窗的K线行情。某网络零售实时舆情系统,使用DIS接入数据的性价比远远超越线下自建系统,使用CS进行SQL编程轻松完成数据清洗。
互联网从蛮荒生长到深耕细作不过几年,伴随着市场的成熟,如何提供更好的服务、更快的数据决策,成为竞争的关键点。实时数据处理作为其中的一项关键技术,自然在业界中广泛流行。“借技术起势能”,最大限度地挖掘“热数据”的价值,成为各大企业的共识。
我们生活在一个不断瓦解的时代,不过这是一件好事。
行业会被颠覆,大公司会垮掉。
多少企业、投资人和创业者,未意识到新IT时代的到来,只顾在互联网+O2O的960万平方公里的大床上HIGH得如痴如醉时,千帆已过。
抓住实时数据处理这一浪。