数据、技术与思维世界里的变革与洞察

很荣幸参加了51CTO举办的大数据全球技术峰会，两天热烈的会议中，也从专家和众多讲师的分享中收获良多。 
 

   由于工作的原因，大数据这个新兴概念开始频繁步入我的视野。这次正好又参加了51CTO大数据峰会，正可谓恰逢其时。

  说到大数据，百度百科中是这样定义的：大数据(big data)，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。　

  结合两天的大会，谈一下自己的三个感悟。　

  （—）思维决定了数据的价值。诚然，大数据的前提是海量的数据，只有拥有巨量的数据资源，方能从中查找出数据的关联性，才可以通过专业化的处理，让其为企业产生价值。针对通信运营商、电子商务、互联网应用这样拥有海量用户数据的大企业大公司，在应用大数据的道路上拥有得天独厚的条件，可以选择目前市面上各种比较流行和热门的新技术来构建自己的大数据应用平台，进行数据的分析处理以产生商用价值。但是针对中小企业呢？传统行业呢？若非百年老店，估计数据也是少得可怜，能用的可能只有消费者数据了吧。这样你反而感觉大数据是大公司大企业的专利，而在大多数中小型企业应用大数据，似乎有点大题小作。

 

       我们可以再深入一点思考，数据量的大小其实并不能真正代表数据的价值。拥有海量数据的大公司、大企业与拥有有限数据的中心公司，其实在大数据时代都是在同一起跑线的。本质上说，大数据本身没有太多价值，芜杂海量的信息只会让企业淹没在信息的海洋中，而基于大数据的处理并进而分析出有效有用的信息，才能为企业带来巨大的增值价值。

      

    针对运维来说，当IT设备出现异常时，IT运维人员从监控系统受到报警短信时，只需要将报警的特征码输入自动化分析运维平台，系统便会自动列出包含“Error”和”warning"的机器运行日志，并以非常好的图形化方式展现出来并在旁边附出相应的案例和以往的解决方案。IT运维人员可以据此判断快速定位故障原因并参考解决方案快速处理问题。

 

 　　显然，与以往凭借经验进行故障判断相比，数据分析则提供了更为精准的信息，而这便是大数据的魅力所在。　　 

 

　　（二）.大数据带来的变革思考

　　 当当网的傅强，通过“电子商务中大数据的典型应用”的分享，很清晰的展示了一个观点，大数据具有很好的预测性。他描述了一个应用场景，比如通过简单的订单数据，可以分析到达同类地点的人群消费行为和购买特征以及投放新产品时预计的购买力，结合同类地点的订单还可以进行批量投递进而减少单笔投递的成本。这些实实在在的大数据应用和分析，告诉我们大数据带来的变革正在逐步深入。正应了一句话，技术改变世界，技术成就梦想。 

　　大数据所带来的商机，同时会衍生出一系列与大数据相关的商业机遇与商业模式，数据的潜在价值会源源不断地发挥作用， 可以容易想到的是未来会有专门的数据收集，数据分析，数据生成和再利用的一条完整数据产业链的诞生。影响最大的，当然是IT企业。在大数据时代，IT企业更需要转变思维，培养三种能力。第一，整合企业所有相关数据的能力; 第二，探索数据背后的价值和制定精确行动纲领的能力;第三，进行精确快速实时行动的能力。　 

 

　　另外还有北理工的张华平教授，从对新浪微博的数据分析娓娓道来自己对大数据的理解，从数据“见微”而“知著”、“晓意”三个层面分析了数据的挖掘和应用，精彩阐述了文本挖掘，微博的个性行为与建模 ，微博个性分析的交叉原理，微博博主的个性化分析，以及他对自己的微博个性化分析，通过各种各样的具体数据分析案例，点透了大数据时代的点点滴滴，引起了与会者的强烈共鸣，也带给大家很多的思考。

 

  （三）大数据的洞察与未来

    4月27日下午的圆桌讨论中，几位专家侃侃而谈大数据的未来，给我留下了深刻的印象。身在互联网的IT人士，真的应该感谢这个日新月异的时代，感恩这个日新月异的行业。每月，每周，甚至每天，互联网行业都有新的事物产生，新的技术应用，新的竞争格局，新的颠覆性新闻。虽然这些新的东西看似疯狂和无内涵，但是这个时代更具包容性，更在乎新事物新技术的商业价值，比如现在的微博和微信。不管你是喜欢还是不喜欢，它们正悄然改变你我的生活，改变你我的交流方式。

 

      
 大数据的特点不仅在于数据很“大”，而更在于数据是“多元”的，从商业应用的角度来看，“多元的数据”不仅包括客户的个人元信息，如性别，年龄，办公地址或家庭住址，消费能力水平，消费偏好等，甚至还包括客户的多元消费需求和行为特点等详细的信息，通过对这些信息进行分析从而洞察客户的需求和意向，使企业在开展新业务和开发新产品上受益良多。而另外一个问题在于，上述提到的某些信息对客户来说可能是属于个人隐私，客户并不愿意这些信息被企业过度“关注”和“利用”，客户更愿意接受的是这些信息只存在于本次交易过程中，而不是“被存储”“被分析”“被营销”，而在目前国内不是很规范的商业行为和竞争中，作为普通客户的我们，并不能有效控制企业对个人信息的分析和利用，也不会知道自己在社交网站中的信息会被“别有用心”的企业加以利用， 而目前企业在取得、存储及分析利用客户信息数据时并未征得客户的授权和充分尊重客户个人的隐私权，这种状况正是大家所担心的。如此持续下去必然会造成一种可能的忧虑，从而使客户减少提供个人相关信息，或者直接提供虚假信息等，这样就会造成大数据中冗余数据过多、有效信息减少的情况，阻碍了大数据的健康发展。

 

大数据的发展，呼唤理性和诚信，而这就必须充分结合政府，企业和行业组织的力量，从规范制定到规范贯彻实行，从宣传层面到从技术层面共同努力，这不仅是关系到大数据的发展，更是关系到整个社会的信息安全。

 

“大数据”是不断前进和发展的，也许我们今天所面临的问题，只是因为我们还缺乏更为成熟和快速的数据处理和分析技术，当更新的技术和建构分析模式出现，今天的问题可能就不再是一个问题。五年后或十年后，我们再看今天所说的大数据，它只是我们向更高山峰攀登而必经的一段路，而未来也有比今天的大数据更大的数据。