大数据应用模式及安全风险分析

　　当前各个领域数据生成速度逐渐加快，需要处理的数据量急剧膨胀。这些巨大的数据资源蕴藏着潜在的价值，需要对其进行有效的分析和利用。当前数据的特点除了数量庞大之外，数据类型也变得多样化，其中包括了结构化数据、半结构化数据以及非结构化数据。这些数量庞大、种类繁多的海量数据，给传统分析工具带来了巨大的挑战。当前对数据的分析不再是简单的生成统计报表，而是利用复杂的分析模型进行深人的分析，传统分析技术例如关系数据库技术已经不能满足其要求。在扩展性上，通过增加或更换内存、CPU、硬盘等设备原件以打一展单个节点的能力的纵向打一展(scale up)系统遇到了瓶颈;只有通过增加计算节点，连接成大规模集群，进行分布式并行计算和管理的横向打一展(scale out )系统才能满足大数据的分析需求[u。因此传统工具在扩展性上遇到了障碍，必须寻求可靠的数据存储和分析技术来分析和利用这些庞大的资源。利用云计算平台搭建Hadoop计算框架成为当前处理大数据的主要手段。然而由于云计算和Hadoop应用的特点和自身安全机制薄弱，不可避免地带来了安全风险。




　　1、大数据应用模式




　　云计算(Cloud Computing)是一种基于Internet的计算，是以并行计算(Parallel Computing )、分布式计算(Distributed Computing)和网格计算(Grid Compu-tin助为基础，融合了网络存储、虚拟化、负载均衡等技术的新兴产物。它将原本需要由个人计算机和私有数据中心执行的任务转移给具备专业存储和计算技术的大型计算中心来完成，实现了计算机软件、硬件等计算资源的充分共享[z}。企业或个人不再需要花费大量的费用在基础设施的购买上，更不需要花费精力对软硬件进行安装、配置和维护，这些都将由云计算服务商CSP( Cloud Service Provider)提供相应的服务。企业或个人只需按照计时或计量的方式支付租赁的计算资源。云计算服务商拥有大数据存储能力和计算资源，被视为外包信息服务的最佳选择[31因此大数据的应用往往与云计算相结合。




　　Hadoop是当前最广为人知的大数据技术实施方案，它是Google云计算中的Map/Reduce}4}和GFS( Google File System)的开源实现。Hadoop提供了一种计算框架，其最为核心的技术是HDFS ( HadoopDistributed File System)以及MapReduee } HDFS提供了高吞吐量的分布式文件系统，而MapReduee是大型数据的分布式处理模型。Hadoop为大数据提供了一个可靠的共享存储和分析系统[5-6 }v




　　尽管有一些组织自建集群来运行Hadoop，但是仍有许多组织选择在租赁硬件所搭建的云端运行Hadoop或提供Hadoop服务。例如提供在公有或私有云端运行Hadoop的Cloudera，还有由Amazon提供的称为Elastic MapReduee的云服务等f}l。因此将云计算与Hadoop结合处理大数据已成为一种趋势。




　　2、大数据安全风险分析




　　随着大数据应用范围越来越广，对数据安全的需求也越来越迫切。




　　由于云计算的特点是将数据外包给云服务商提供服务，这种服务模式将数据的所有权转移给了CSP，用户失去了对物理资源的直接控制[A1。而云中存储的大数据通常是以明文的方式存在的，CSP对数据具有底层控制权，恶意的CSP有可能在用户不知情的情况下窃取用户数据，而云计算平台亦可能受到攻击致使安全机制失效或被非法控制从而导致非授权人读取数据，给大数据安全带来了威胁。




　　Hadoop在设计之初并未考虑过安全问题，在Ha-doop 1. 0. 0和Cloudera CDH3版本之后，Hadoop加人了Kerberos的身份认证机制和基于ACL的访问控制机制[91。即使在安全方面增加了身份认证和访问控制策略，Hadoop的安全机制仍然非常薄弱，因为Ker-beros的认证机制只应用于客户机(Clients )、密钥分发中心(I}ey Distribution Center, I}DC )、服务器(Serv-er)之间，只是针对机器级别的安全认证，并未对Ha-doop应用平台本身进行认证[}o}。而基于ACL的访问控制策略需要通过在启用ACL之后，对hadoop-policy. xml中的属性进行配置，其中包括9条属性，它们限制了用户与组成员对Hadoop中资源的访问以及Datanode和Namenode或Jobtracke:和Tasktrackers等节点间的通信，但该机制依赖于管理员对其的配置[川，这种基于传统的访问控制列表容易在服务器端被篡改而不易察觉。而且基于ACL的访问控制策略粒度过粗，不能在MapReduce过程中以细粒度的方式保护用户隐私字段。况且针对不同的用户和不同应用，访问控制列表需要经常作对应的更改，这样的操作过于繁琐且不易维护。因此Hadoop自身的安全机制是不完善的。




　　2.1 不同应用模式下CSP及Uers带来的安全风险




　　云计算中Hadoop有多种应用模式。在私有云中搭建Hadoop，即企业自己应用Hadoop，使用该平台的是企业内部各个部门的员工，外部人员无法访问和使用这些资源。这时的CSP指的是Hadoop的创建和管理者，IaaS级和PaaS级CSP为相同的实体;在公有云平台应用Hadoop , C SP有2级，IaaS级CSP，提供基础设施aaS级C SP，负责Hadoop的搭建和管理。这时两级CSP往往是不同的实体。




　　由于存储在Hadoop上的数据是明文的，所以Hadoop中的安全隐患是多方面的，笔者关注的是CSP和用户之间的安全问题，因此威胁对象分别是CSP和User，如图1所示。




　　C SP对用户数据的威胁指的是:CSP权限过大可在用户不知情的情况下获取用户数据。用户对CSP构成的威胁指的是:Faked用户获取合法用户数据或者恶意用户对CSP发起不合法请求，获取隐私数据。本文对位于Hadoop中不同状态的数据可能受到的威胁点用三角表示，如图2所示。其中1 ,5位置均指的是HDFS中，所以受到的威胁是相同的。




　　Malice IaaS级CSP可以通过物理磁盘在位置1,3 ,4 ,5对数据进行获取。Hadoop中主要的文件结构有如下几种:SequenceFile , RC File , Avro、文本格式、外部格式。其中有些文件格式是二进制形式的，但像文本格式和外部格式并不都是二进制格式，因此是可读的。由于是明文存储，CSP便可以通过读取数据块内容提取有价值的部分进行分析。IaaS级CSP对数据具有绝对的控制权，如果从物理磁盘窃取文件或数据块，便获得了其中的内容。可以通过建立第三方审计系统来保障其安全，这部分不在本文的讨论范围内。




　　Malice PaaS级CSP可以在用户不知情的情况下通过超级用户身份即特权管理员身份对文件权限进行更改，以合法身份对数据进行读取和分析。因此可以在位置1 ,2,5进行数据窃取。不过在1 ,5的位置获取数据是通过向Namenode请求数据块，从Datan-ode获取数据。




　　Fucked Use:假冒合法用户身份对数据进行读取，一旦获取了合法用户身份，便与合法用户拥有相同的权限，可以在1 ,5的位置通过向Namenode请求数据块，从Datanode获取数据，也可以在2的位置输出需要的数据进行分析。




　　Malice Use:在利用数据拥有者提供的数据进行分析时，窃取部分敏感字段进行分析和输出。可以在2中提取数据，在计算完后通过5获取分析结果。

 

 

转载于:https://my.oschina.net/u/1160813/blog/310062