别再嘴炮概念了！大数据是硬汉之战，你的肌肉呢？

华盛顿大学奥林商学院做过一个调查，10年内，世界五百强企业榜单中，40%将会消失。

以前的企业讲究聚沙成塔——

埋头苦干、一砖一瓦，从崭露头角到行业先锋，终换得大厦平地起。

现在聪明的筑塔人都转去逐浪。踩在互联网这一浪上，看着下一浪的浮现，他们在等新IT（Intelligence Technology）底层技术成熟。

作为机敏的鲨鱼，leader们左右嗅嗅，会闻到海水中的血腥味儿。随着他们弄懂如何改造效率低下的公司，从而更好、更快、更廉价地为消费者提供一切的时候，旧的系统、故步自封的垄断者将会崩溃。

熟悉科技前沿领域的业内人士有一个共识，目前，如果把AI、机器人管家、脑机接口、智能穿戴等领域视为一个个天资聪颖、潜能无限的婴儿，那哺育他们的“奶粉”必须是高质量、且经过处理的数据——尤其是实时数据。

由实时数据处理引发的应用，往往会颠覆绝大多数人对效率的认知。比如，物联网IoT领域中，实时的设备数据分析可以在1秒内检测出系统故障，同时做出维护性的预测；在金融领域，交易系统的数据不止需要实时呈现给客户，更重要的是以最快速度，递交自动交易系统进行处理；IT领域，软件系统的日志收集和处理对服务异常报警和故障的检测至关重要；而在交通领域，实时的交通数据经由处理，已经用来做交通指挥的优化。

最具有代表性的是电商，那些因新零售拔地而起的平台，握有海量用户交易数据和后台商品更新数据，此类数据对实时性的要求极高：交易处理，后台呈现，支付后的快速响应，以及出现纠纷时的解决……都仰仗着服务器支撑。特别是现在打折，促销，秒杀，砍价等营销模式层出不穷，如果系统出现问题，那么电商平台失去的流量与承受的损失将十分巨大。因此接入信息，监管商品交易数据并且做到实时处理，这对于此类企业来说尤为重要。

此外，大数据时代，企业销售端的进军方向会逐步靠拢到智能推荐系统。传统的推荐系统采用定期对数据进行分析的做法来更新模型。因其定期更新的特性，推荐模型无法保持实时，对用户当前的行为推荐结果不够精准。在此类场景中，实时数据分析便等同于一眼看透消费者的导购。

新IT浪潮中，实时的数据收集与基于数据的分析处理已经是大势所趋。但在数据种类越来越多，产生速度越来越快，数据量越来越大的当下，许多企业正面临技术与设备的限制，实时数据处理的技术壁垒已浮出水面。总结来说，主要的困难在于：

1、数据量非常大；系统要求非常高，处理数据时，容不得丝毫故障甚至宕机，实时处理的系统要求也远远高于离线系统。

2、实时处理系统规模跟不上业务增长的需求；很多实时数据(比如金融的K线分析)需要专门的时序数据库技术，而这些技术并不普及。

3、自行搭建开源组件，比如Kafka, Storm和Hbase，不是一件容易的事情，Hadoop开源组件的部署和运维都需要耗费大量的金钱和人力。

究其根本，实时数据处理的三个最根本的需求是：数据的接入，数据的实时分析处理，和数据的存储。针对日益增长的，在云上对数据进行实时处理的需求，华为云EI服务产品部开发了实时数据处理“三剑客”：

数据接入服务(DIS)，实时流计算服务（Cloud Stream Service，简称CS）和表格存储服务（CloudTable）。

• 数据接入服务（DIS）是华为云提供的完全托管的实时数据接入服务。DIS提供了灵活数据采集、高效数据传输、实时数据分发能力，让使用者轻松构建基于实时数据的分析和应用。

• 实时流计算服务（CS）是实时流式大数据分析服务，完全托管计算资源和Serverless体验，即时执行作业，提供低延时高吞吐的智能流计算平台。

• 表格存储服务（CloudTable）是基于Apache

HBase提供的分布式、可伸缩、全托管的NoSQL数据存储服务，提供了毫秒级的随机读写能力，适用于海量结构化数据、半结构化数据存储和查询应用。同时基于OpenTSDB和GeoMesa提供时序数据库能力和时空大数据查询、分析能力。

何达炳曾在微博上回应过Anil

Menon：“谁来判断华为创新能力?应该是市场和客户。”目前华为云上已有诸多标杆客户使用“三剑客”服务对实时数据进行处理。某燃气集团，通过使用DIS,

CS和CloudTable构建了新的覆盖全国的巡线系统，将巡线实时监控系统端到端查询性能从十几秒降低到秒级以内。某金融初创企业，实时交易行情系统充分利用CloudTable内置的OpenTSDB能力，实时快速刷新15种时间窗的K线行情。某网络零售实时舆情系统，使用DIS接入数据的性价比远远超越线下自建系统，使用CS进行SQL编程轻松完成数据清洗。

互联网从蛮荒生长到深耕细作不过几年，伴随着市场的成熟，如何提供更好的服务、更快的数据决策，成为竞争的关键点。实时数据处理作为其中的一项关键技术，自然在业界中广泛流行。“借技术起势能”，最大限度地挖掘“热数据”的价值，成为各大企业的共识。

我们生活在一个不断瓦解的时代，不过这是一件好事。

行业会被颠覆，大公司会垮掉。

多少企业、投资人和创业者，未意识到新IT时代的到来，只顾在互联网+O2O的960万平方公里的大床上HIGH得如痴如醉时，千帆已过。

抓住实时数据处理这一浪。