大数据的机遇与挑战

    2012年将是“大数据”持续升温的一年，“大数据”将带来很多变化，也会带来挑战。

    通过智能手机、视频、社交网络、微博等媒介源源不断地产生了海量的非结构性数据，也即是大数据，为了解客户喜好和预测市场发展提供了大好机会，因为 拥有正确的信息就意味着拥有竞争优势，大数据处理产生的价值已深入影响到企业的运营与维护中，由此也带动了大数据产业链飞速发展。2011年称得上是“大 数据之年”，众多分析家认为，2012年仍将是大数据持续升温的一年。

    大数据服务市场崛起 分析只是数据工作的一部分，只有把一种数据与其他相关数据结合在一起进行深度挖掘，才更有价值。例如，将天气状况的数据加入到客户数据中，并进一步分析发 现在客户的采购模式中是否存在与天气相关的因素等，就比单独分析客户数据有用得多。但如何分析这些数据集可能让企业非常头疼，因为千万亿次级别 (Petascale)的大数据分析对于大多数企业来说并不是可以自备的功能，企业一般只需要获得可视化的最终结果，他们需要相应的帮助来研究这些分析结 果，而第三方提供商（通过产品或者服务）将很快应需而生满足这个市场。

    实时化分析处理需求加剧 有些批量数据的处理不需要精确到分钟，但像移动和Web客户端这样的在线服务，或者如财务和广告这样的数据分析则需要实时处理需求。在接下来的几年中，人 们将会看到用来处理“流”或接近实时的分析与处理的可扩展框架与平台。而且网络不可能存在足够大的空间来存储由企业的事务产生的每一条数据，某种程度上， 需要将一些没有价值的数据进行忽略。拥有流计算能力则可以无需通过map/reduce的存储-计算循环来对数据进行分析或忽略某些数据。

    开源走向大众 越来越多的供应商——比如甲骨文和天睿资讯等，正在把他们的技术提供给大公司，但是只有懂得如何使用那种昂贵软件的专家才会使用那样的工具，而能够真正促 进大数据快速发展的，则是利用开源平台把技术带给大众，开源平台将使得相对缺乏装备的公司也可以使用这些工具。相关技术人才紧缺 大数据浪潮所催生的新技术增加了相关人才的需求，懂得使用相应工具分析大数据、作出合理决策的管理和分析人才将成为香饽饽。EMC最近的一项调查结果显 示，83%的调查对象认为大数据浪潮所催生的新技术增加了数据科学家的需求，64%的调查对象认为将出现技术人员供不应求的局面。现今管理传统结构化数据 的专业人才，在应对大数据世界中海量非结构化数据时则显得有些无从应对，人才配备和培训问题将是企业充分利用大数据所带来机遇的同时要面对的一大挑战。

 

 

转载于:https://my.oschina.net/u/1160813/blog/312794