云时代企业如何掘金大数据【转】

转载地址:

http://www.yongtree.net/post/184f95_6f2abf

 

 

在信息领域当今时代什么最火？那莫过于云计算和大数据了。这两个流行的趋势看似离我们老百姓太远，但是它们却实实在在的改变着我们的生活，让我们的生活发生着量到质的变化。云计算让我们使用计算资源的成本在一步步的降低，我们也实现了在办公室点击一个复制，回家点一下粘贴就实现了文件拷贝的曾经的畅想，U盘已经不是我们必需品了。大数据下的推荐引擎，缩短了我们消费信息的路径，减少了我们查找的时间，我们在大数据时代能够快速的阅读最新的新闻，学习对我们最有用的知识，甚至一个推荐我们就找到想购买的商品。云计算和大数据的应用，提高了我们生活的效率，同样在企业里，如果很好的利用云计算和大数据，我们的企业的办公效率也会进一步提高，我们的业务也会从量变走向一个质变的过程。

 

为什么企业要重视并利用云计算和大数据呢？它们会给我们企业带来哪些价值呢？

数据广泛存在于企业的IT系统中，是企业发展的核心，一切的IT系统发展都有赖于数据，并服务于面向企业业务的数据管理需求。随着IT行业的发展以及企业对数据管理要求的不断进步，数据管理的“智能”趋势已经锐不可当，智能的数据管理正在成为所有企业所追求的共同发展目标。

在大数据时代，我们的数据中心面临着巨大的挑战，海量存储，高可靠性的网络和计算能力，一次次的让我们绷起了神经，我们不得不面对硬件的升级，基础设施的高效利用，运维成本的降低，而云计算技术的成熟应用，为我们信息快速的发展铺平的道路。

如果说大数据是高速跑车，那么云计算就是高速公路。有人说云计算和大数据是双胞胎，两个是不同的个体，互相依赖又相辅相成。首先在概念上两者有所不同，云计算改变了IT，而大数据则改变了业务。然而大数据必须有云作为基础架构，才能得以顺畅运营。没有云计算这样的高速公路，大数据这样的超级跑车就跑不起来。

《纽约时报》称，“大数据”时代已经降临，在商业、经济及其他领域中，决策将日益基于数据和分析，而非基于经验和直觉。很多学者和企业家也似乎达成共识：未来，数据将会像土地、石油和资本一样，成为经济运行中的根本性资源。既然大数据下蕴含着无限的金矿，我们该如何把它们挖掘出来，真正成为企业快速成长的生产力呢？

一个好的企业应该未雨绸缪，从现在开始就应该着手准备，为企业的后期的数据收集和分析做好准备，企业可以从下面三个方面着手，这样当面临铺天盖地的大数据的时候，以确保企业能够快速发展。

1、利用公有云，建立私有云

公有云是指为外部客户提供服务的云，它所有的服务是供别人使用，而不是自己用。目前，典型的公有云有微软的Windows Azure Platform、亚马逊的AWS，以及国内的阿里巴巴、用友伟库等。对于使用者而言，公有云的最大优点是，其所应用的程序、服务及相关数据都存放在公有云的提供者处，自己无需做相应的投资和建设。目前最大的问题是，由于数据不存储在自己的数据中心，其安全性存在一定风险。同时，公有云的可用性不受使用者控制，这方面也存在一定的不确定性。

私有云，是指企业自己使用的云，它所有的服务不是供别人使用，而是供自己内部人员或分支机构使用。私有云的部署比较适合于有众多分支机构的大型企业或政府部门。随着这些大型企业数据中心的集中化，私有云将会成为他们部署IT系统的主流模式。相对于公有云，私有云部署在企业自身内部，因此其数据安全性、系统可用性都可由自己控制。但其缺点是投资较大，尤其是一次性的建设投资较大。

在公有云还是私有云的选择上，集团要对自身的业务进行分析，对于内部的核心业务，对数据安全性高的应用系统，最好运行在企业内部的私有云平台上，为集团和各级分公司办事处统一提供IT运行环境，减少甚至避免各分支机构在IT基础设施上的投入，通过可计量的服务来核算成本，从而降低集团整体的IT投入成本。对于比如集团企业邮箱、办公系统等非核心业务的内部系统和像医师在线为医生提供的各种外部的互联网服务可以有选择性的采用公有云平台，从而降低IT的运维成本，提高系统的可用性。

2、大数据要从小数据开始

多大的数据才算是大数据？业界给的标准是高于1PB的数据才称为大数据。1PB是什么概念呢？我们集团从创立开始到现在，ERP系统产生的数据一共才50GB左右，如果算上其他系统的数据，假设认为是100GB，那么按照（1PB=1024TB=1048576GB）换算公式应该是现有数据的一万倍。所以一个企业真正要在业务数据上迈进大数据的行列，按照传统的发展进程，是需要一个非常漫长的过程。既然我们达不到大数据，我们去搞大数据有什么意义呢？我认为大数据之大，不在于容量之大，而在于胸怀之大。

首先，我们要认可数据的价值。只有认可了数据的价值，我们才能珍惜数据，把它积累起来；只有认可了数据的价值，我们才重视数据，从而将数据背后隐含的金子给挖掘出来；只有认可了数据的价值，我们才能像保护我们资产一样，将数据保护起来。

其次，我们要更加重视小数据。大数据都是由小数据不断组合而成的，就像我们集团名称的由来：“纳百川聚之，成汪洋大海”，发现小数据的“美”，才能挖掘大数据的“真”。在小数据方面，我们要着重构建基础的、标准的数据体系，比如集团的主数据，客户数据，甚至还有元数据（描述数据的数据）。只有建立起数据的标准体系，各种各样的大数据才能进行有效的关联，才能通过背后千丝万缕的关系觅得不被人常见的价值，否则数据就是一个个的鸡肋，食之无味弃之可惜。

最后，要创建多种数据源。对企业来说，单一的数据来源和数据格式，很难构建大数据，只有积极的开拓企业之外的数据源，将非结构化的数据类型（比如视频、图片等）纳入进来，才能构建大数据的环境。比如我们在医师和医用领域都有所涉及，而这部分的数据可以有效的补充企业自身数据的匮乏。将各种数据源的数据进行加工、关联，看似毫无相关的数据之间，即使存在微量的关系，也能发现其巨大的价值。

3、建立专业的数据团队

大多数企业最缺乏的是人才，而当大数据到临的时候，企业将会缺少这方面的采集分析技术方面的人才，没有专业的人才，我们及时面对海量的数据，我们也将束手无策。如果我们在大数据面前成竹在胸，我们需要一个专业化的数据团队，我们需要创建发现多个数据源来收集数据，我们需要熟悉业务的人员来处理数据，我们需要建立各种分析模型，创建多种算法来分析数据，我们还需要扎实的技术人员搭建并维护我们的数据平台，只有拥有这样一个功能强大的数据团队，我们才具备将数据转化成价值的执行力。

 

作为信息战线的技术人员，我们也经常畅想，我们能为集团在大数据和云计算方面能做点什么呢？

1、首先建立起企业级大数据的架构

大数据，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。既然传统的技术架构无法胜任，我们要实施一种真正适合大数据的软件架构，而这个架构的核心就是在企业的私有云平台上搭建起Hadoop的数据集群，所有数据源将数据发布到该集群上，以支持数据的分析提取。下图为整体架构图：

 

 

 

2、构建企业知识库

我们企业拥有自己独特的骆驼文化，这种文化的传承与传播都需要花费很大的经历，随着公司的壮大，可能会伴随着一些新入职员工对公司企业文化的不理解、对公司的发展历程、创业的艰辛缺少共同的认知，如何才能使我们的同事们更快的、更准确的理解公司的文化，领会公司的发展战略与方向，同时，也能让高层到底层员工的信息和知识的传播更加扁平化，构建我们自己的企业知识库是一个不错的思路和办法。

利用搜索技术，整合集团的内部信息知识，包括业务系统信息、以及企业文化类型的信息（公司的规章制度、企业刊物、以及短信及推荐书籍等等），实现企业信息的一站式搜索。

 

 

 

3、做医生喜欢的新闻

掌上医讯—做医生关注的新闻，上线几个月的时间，装机量已经逼近了一万，并且在持续的增长，但是目前所有医生看到的新闻都是一样的，都是由我们的编辑推荐给医生的。但是一千个人眼中一千个哈姆雷特，每个人所关注的主题、领域都不是一样，如何把医生关注的新闻变成医生喜欢的新闻，需要实施大数据技术进行个性化推荐。