大数据解决方案

建设背景

当前，全球大数据产业正值活跃发展期，技术演进和应用创新并行加速推进，非关系型数据库、分布式并行计算以及机器学习、深度挖掘等新型数据存储、计算和分析关键技术应运而生并快速演进，大数据挖掘分析在电信、互联网、金融、交通、医疗等行业创造商业价值和应用价值的同时，开始向传统第一、第二产业传导渗透，大数据逐步成为国家基础战略资源和社会基础生产要素。

与此同时，大数据安全问题逐渐暴露。大数据因其蕴藏的巨大价值和集中化的存储管理模式成为网络攻击的重点目标，针对大数据的勒索攻击和数据泄露问题日趋严重，全球大数据安全事件呈频发态势。相应的，大数据安全需求已经催生相关安全技术、解决方案及产品的研发和生产，但与产业发展相比，存在滞后现象。

**在**政治局就实施国家大数据战略第二次集体学习时指出，要构建以数据为关键要素的数字经济，推动实体经济和数字经济整合发展，推动互联网、大数据、人工智能同实体经济深度整合。同时，要切实保障国家数据安全。这要求我们必须坚持国家总体安全观，树立正确的网络安全观，坚持“以安全保发展，以发展促安全”，充分发挥大数据在推动产业转型升级、提升国家治理现代化水平等方面重要作用的同时，深刻认识大数据安全的重要性和紧迫性，认清大数据安全挑战，积极应对复杂严峻的安全风险，坚持安全与发展并重，加速构建大数据安全保障体系，保障国家大数据发展战略顺利实施。

基于当下的大数据安全形势和环境，我司致力于打造出一套能够满足目前大数据安全需求的产品。加强大数据在安全方面的保障，降低大数据受到的安全威胁。解决用户在复杂、多样的大数据环境中，日趋严重的安全担忧。

 

需求分析

 

一、政策法规要求

依据国家及行业政策的要求，数据安全平台建设要保证数据的完整性、保密性和可用性。《国家网络安全法》、《网络安全等级保护基本要求》对数据安全建设要求如下：

 

1.网络安全法

1）采取监测、记录网络运行状态、网络安全事件的技术措施，并按照规定留存相关的网络日志不少于六个月;

2）保障网络免受干扰、破坏或者未经授权的访问，防止网络数据泄露或者被窃取、篡改；

3）采取数据分类、重要数据备份和加密等措施；

4）网络运营者不得泄露、篡改、毁损其收集的个人信息;未经被收集者同意，不得向他人提供个人信息。但是，经过处理无法识别特定个人且不能复原的除外。

 

2.网络安全等级保护基本要求

1）应提供覆盖到每个用户的安全审计功能，对应用系统重要安全事件进行审计，应提供对审计记录数据进行统计、查询、分析及生成审计报表的功能。

2）应提供访问控制功能，依据安全策略控制用户对文件、数据库表等客体的访问， 应依据安全策略严格控制用户对有敏感标记重要信息资源的操作。

3）要求三级以上系统应采用加密或其他有效措施；实现系统管理数据、鉴别信息和重要业务数据存储保密性。

 

 

3.网络安全等级保护大数据附录

1）大数据平台应对数据采集终端、数据导入服务组件、数据导出终端、数据导出服务组件的使用实施身份鉴别；

2）大数据平台应能对不同客户的大数据应用实施标识和鉴别；

3）大数据平台应为大数据应用提供集中管控其计算和存储资源使用状况的能力；

4）大数据平台应屏蔽计算、内存、存储资源故障，保障业务正常运行；

5）大数据平台应提供静态脱敏和去标识化的工具或服务组件技术；

6）对外提供服务的大数据平台，平台或第三方只有在大数据应用授权下才可以对大数据应用的数据资源进行访问、使用和管理；

7）大数据平台应提供数据分类分级安全管理功能，供大数据应用针对不同类别级别的数据采取不同的安全保护措施；

8）大数据平台应提供设置数据安全标记功能，基于安全标记的授权和访问控制措施，满足细粒度授权访问控制管理能力要求；

9）大数据平台应在数据采集、存储、处理、分析等各个环节，支持对数据进行分类分级处置，并保证安全保护策略保持一致；

10）涉及重要数据接口、重要服务接口的调用，应实施访问控制，包括但不限于数据处理、使用、分析、导出、共享、交换等相关操作；

11）应跟踪和记录数据采集、处理、分析和挖掘等过程，保证溯源数据能重现相应过程，溯源数据满足合规审计要求；

12）大数据平台应保证不同客户大数据应用的审计数据隔离存放，并提供不同客户审计数据收集汇总和集中分析的能力。

 

4.信息安全技术 大数据服务安全能力要求

数据服务是针对数量巨大、种类多样、流动速度快、特征多变等特性的数据集，通过底层可伸缩的大数据平台和上层多种大数据应用，提供覆盖数据生命周期相关数据活动的一种网络信息服务。大数据服务提供者要确保大数据平台与应用安全可靠地运行，满足保密性、完整性、可用性等大数据服务安全目标。该标准规定了大数据服务提供者应具有的组织相关的基础安全要求和数据生命周期相关的数据服务安全要求。

该标准将大数据服务安全能力分为一般要求和增强要求两个级别。一般要求是大数据服务提供者在开展大数据服务时应具备的安全能力，能够抵御或应对常见的威胁，能将大数据服务受到破坏后的损失控制在有限的范围和程度内，具备基本的事件追溯能力。增强要求是在大数据服务涉及国家安全，或对经济发展和社会公共利益有较大影响时，大数据服务提供者应具备的安全能力，即具备一定的主动识别并防范潜在攻击的能力，能高效应对安全事件并将其损失控制在较小范围内，能保证安全事件追溯的有效性、大数据服务的可靠性、可扩展性和可伸缩性。根据所承载数据的重要性和大数据服务不能正常提供服务或遭受到破坏时可能造成的影响范围和严重程度，大数据服务提供者应具备的安全能力也各不相同。

该标准规定了大数据服务提供者应具有的组织相关基础安全能力和数据生命周期相关的数据服务安全能力。可为政府部门、企事业单位等组织机构的大数据服务安全能力建设提供参考，也适用于第三方机构对大数据服务提供者的大数据服务安全能力进行审查和评估。

 

二、大数据平台的风险分析

 

图 1 大数据平台风险分析图

 

大数据平台由多个开源、半开源组件构成，开源组件多数在数据访问、权限划分等方面控制力度薄弱，各组件之间通过接口进行数据交换过程中，缺乏对数据必要的访问控制措施。同时，HBASE、HIVE、HDFS等组件中的数据多以明文形式存储。这些因素导致了大数据平台自身的数据安全防护能力不足。同时在大数据平台中，数据在用户访问、数据共享、以及运维、开发、测试等各种场景下的流转过程中，也存在着各种数据泄露的风险，具体分析如下：

 

1.用户访问

 

在用户访问数据时，可能存在SQL注入等攻击、数据未做适当脱敏处理、数据沉淀、未通过安全接口访问数据、数据明文存储、缺乏详细审计等风险。

 

1）SQL注入等攻击

外部用户利用黑客技术对大数据平台执行SQL注入、缓冲区溢出等黑客攻击。

 

2）数据未做适当脱敏处理

数据在提供给用户时，要根据用户的访问权限，将数据有区分的进行提供。如果敏感数据未做适当脱敏处理，会导致敏感信息泄露。

 

3） 数据沉淀慢攻击

业务人员拥有获取敏感数据的权限，日积月累下，所获得的敏感数据积少成多，聚沙成塔，这会成为数据泄露风险点。

 

4）未通过安全接口访问数据

用户在访问数据时未通过安全接口进行访问，这可能会造成数据泄露。

 

5） 数据明文存储

敏感数据以明文存储，对数据库进行撞库、拖库等攻击，一旦突破防护，HBASE、HIVE、HDFS等组件中的数据将会全部暴露。

 

6）缺乏详细审计

用户进行数据访问时，缺乏对数据访问行为的详细审计，一旦发生数据泄露事件，无法及时溯源追踪。

 

2.接口数据共享

 

各个组件在通过接口数据共享过程中，可能存在缺乏对数据的访问控制以及详细审计等风险。

 

1）缺乏访问控制

各个组件在通过接口进行数据共享时，缺乏对数据的访问控制，无法阻断非法访问；

 

2）缺乏详细审计

缺乏对数据在共享过程中的详细审计，一旦发生数据泄露事件，无法及时溯源追踪。

 

3.运维、开发、测试

 

在运维过程中，可能存在运维人员误操作或恶意操作行为、数据未做适当脱敏处理、缺乏详细审计等风险。

 

1）运维人员误操作或恶意操作行为

运维人员在进行数据维护时，难免会发生误操作或者恶意操作等行为。这类行为会为数据库带来极大的风险。

 

2）数据未做适当脱敏处理

运维人员、开发测试人员在工作时，有接触到真实数据的权限。未避免他们接触到敏感数据，需要对数据做适当脱敏。

 

3）缺乏详细审计

缺乏对数据在数据运维过程中的详细审计，一旦发生数据泄露事件，无法及时溯源追踪。

 

建设目标原则

一、建设目标

 

基于当前大数据安全形势和环境，保护数据安全成为总体安全建设规划的核心理念。从数据的生成、使用、传输、交互、存储、销毁等方面进行安全技术设计与规划，通过建设“大数据安全平台”，实现数据全生命周期的安全总体目标。通过对数据访问控制、数据加密、数据脱敏、数据安全审计以及数据态势分析，结合国内外领先技术对数据进行多维度安全防护，加强大数据安全防护的技术保障，降低来自多维度的安全威胁，解决用户在复杂、多样的大数据环境中，日趋严重的安全担忧。

 

二、建设原则

 

1、规范设计、统一标准

大数据安全态势管控平台建设是一项系统项目，涉及到网络、主机、用户、数据、应用、环境等各个方面，因此在系统设计和建设时严格遵循国家相关政策规定要求，并在数据安全领域具有一定的技术前瞻性，系统建设采用统一的技术标准，充分利用现有的设备和资源，严格落实各项技术指标，系统建成后，各数据节点及数据本身能够实现大幅度减小泄密隐患的目标。

 

2、部署快捷、使用方便

部署方便快捷，使用简单方便。平台部署时依托现有网络环境进行建设，不改变单位原有网络架构，系统具备便捷的管理能力，实现网络化管理维护、统一审计，建立高效统一、快速反应的数据安全防护体系。同时，前端业务用户在无感的状态下使用所需的业务系统和底层数。

 

3、确保安全、稳定运行

整个平台能稳定、正常、连续地运行，是支撑业务系统、前端用户在数据层面安全的关键保证。系统充分考虑实际工作需求，使其在不影响原有办公效率和业务系统使用效率前提下，满足信息系统稳定可靠的要求。

 

4、设计灵活、支持扩展

整个平台配置方案不仅能提高当前的运算能力和整体效率，还考虑到将来根据业务需求和技术发展特点方便的扩展存储和应用服务支持。平台的设计充分考虑试点现有环境现状，能够基于大数据云环境进行部署，也可通过采用高拓展性硬件设备进行部署。对于应用服务的支持，平台可提供软件兼容接口，使整个平台充分满足后期的拓展要求。

 

5、经济实用、高性价比

一方面平台建设符合相关要求，紧跟信息化安全发展的未来趋势，另一方面，在符合要求的前提下，应尽量降低系统造价，充分利用原有网络环境、设备和资源，本着实用、够用、适度超前的原则进行系统建设，避免重复建设和资金浪费。

 

6、加强管理、突出实效

平台为严防敏感数据泄密、有效维护各业务及数据节点的安全利益提供了技术支撑，利用平台，可以形成防、控、管为一体的数据安全防护体系，提升单位对数据全面掌控的能力，提高对泄密风险的感知能力，可通过专业化维护保障系统运行、制度化管理提升系统运行质量。

 

安全防护方案

一、大数据平台数据安全防护方案

对于大数据平台的数据安全防护，可以通过建设大数据安全平台，统一实现数据管理组件安全和数据流动监控，来保证对大数据平台安全应用。对大数据平台的各个数据存储和管理组件进行权限控制、数据脱敏、数据加密以及数据审计等防护，来保护其中存储及应用的数据内容；通过监控数据在系统中的流动情况，实现数据安全态势感知、数据泄露检测、数据行为审计和溯源追踪等多种安全目标。

 

图 2 大数据平台数据安全防护示意图

 

 

1.用户访问

数据安全防护措施如下：大数据安全平台能够通过对数据的访问控制、数据脱敏、数据加密、数据审计及数据态势感知来进行保护。

 

1）访问控制

对来自数据中心外部用户的SQL注入等黑客攻击行为有效阻断。

 

2）数据脱敏

通过数据脱敏，将敏感信息模糊化，保证数据的安全使用。

 

3）数据态势感知

通过对数据安全态势感知，分析判断出数据中心的敏感信息是否被某一具体用户多次连续访问，及时告警，防止数据沉淀。同时态势感知系统能够在数据发生泄露后进行溯源追踪。

 

4）数据审计

数据审计能审计到用户的数据访问接口，对于非安全接口的数据访问进行告警。同时能够记录数据访问行为。

 

5）加密保护

通过密码计算服务，加密数据库中的敏感数据。

 

2.接口数据共享

数据安全防护措施如下：大数据安全平台能够通过对数据访问控制、数据审计及态势感知来进行保护。

 

1）访问控制

实时对各个组件间的数据共享行为进行访问控制，对于非法的数据交换行为进行阻断。

 

2） 数据审计及态势感知

大数据安全平台能够通过对数据审计以及数据态势感知，记录数据访问行为，感知数据安全整体态势、将风险点可视化、对风险量化，从而形成数据安全的全局视野。态势感知系统同时还可实现数据溯源追踪。

 

3.运维、开发、测试

数据安全防护措施如下：通过大数据安全平台能够通过对数据的访问控制、数据脱敏和数据审计及态势感知来进行保护。

 

1）访问控制

对于删库、删表等高危操作行为，能够及时阻断。

 

2）数据脱敏

通过数据脱敏，将敏感信息模糊化，保证数据的安全使用。

 

3）数据审计及态势感知

大数据安全平台能够通过对数据审计以及数据态势感知，记录数据访问行为，感知数据安全整体态势、将风险点可视化、对风险量化，从而形成数据安全的全局视野。态势感知系统同时还可实现数据溯源追踪。

 

方案优势及价值

方案优势

基于多模态数据的关联分析：基于时空多个维度建立复杂的模型体系，贯穿用户、业务、数据多层关系，并使模型适用于业务场景的决策分析；面向超大规模数据加密的密文索引、模糊索引的检索方式；提供基于ES存储日志的技术，实现大数据级别的存储以及高效的检索和统计分析，图形化的展示风险和敏感数据流动状态。

基于智能分析的精准推算：基于人工智能分析技术，对各类告警数据进行智能分析，内置自动学习规则，精准匹配用户行为轨迹白名单，根据用户访问模型，生成数据访问基线，深度挖掘结构化数据内容的本质意义，实现对告警数据的精准识别，降低告警数据的误报率，提高业务处置人员的工作效率。

面向业务需求的自定义模型设计：面向业务的需求提供了安全策略仓库，提供创建、修改、复制、删除、结果展示及检索的全程可视化交互式操作窗口，实现全网集中安全管控。通过面向业务的可视化的自定义模型，有效提升人工分析效率和扩大数据安全管控范围。

面向数据全生命周期的安全防护：基于完全自主开发技术体系，利用透明加解密、数据脱敏、数据访问控制结合多线程、多缓存技术，在数据接入、数据使用、数据传输、数据存储、数据销毁等各个环节进行安全防护，实现对数据高效、稳定、灵活的全生命周期安全防护。

 

方案价值

本方案主要为数据全生命周期安全防护提供一套整体的安全解决方案。

简化业务治理，提高数据安全管理能力，帮助客户消减数据泄密风险。

帮助安全管理员打开数据库系统的“黑盒子”，结合系统内置安全策略模型和行为自学习基线，全面的发现数据库在使用中的各种行为、系统配置风险，并给出合理化的修改建议。数据安全平台通过多种手段全面监控数据的访问情况，并提供丰富的统计报表，以图形化的方式将数据的访问情况和风险情况进行展现，同时提供访问控制能力，极大的简化了业务治理，提高了数据安全管理能力。

完善纵深防御体系，提升整体安全防护能力。

建立纵深的防御体系已是数据安全建设的共识，从应用系统到数据库，是数据安全最后一道防线，涉及最直接的敏感数据安全管理。数据安全平台解决方案紧紧围绕核心数据，提供完整的防护手段，有利于数据平台完善纵深防御体系，修复漏洞，降低数据库系统被攻击的风险，提升整体安全防护能力。

减少核心数据资产被侵犯，保障业务连续性。

数据是最有价值的资产，也是攻击者会偷窥、篡改、甚至删除的终极目标。核心数据如被侵犯，轻则导致业务中断，重则导致信息泄密和篡改，严重威胁信息安全。数据安全平台解决方案能够实现数据安全的可视性和可控性，最终减少核心数据资产被侵犯的可能性，保障正常的业务连续性。

提升大数据Hadoop平台的安全级别

基于现有大数据平台自身的安全防护措施，结合大数据安全平台技术，从数据的底层到应用层实现全生命周期的安全防护，客户拥有对数据的所有权和控制权，没有客户授权或正式授权的用户，碰不到数据，查看不到审计日志及内容，做到权限增强级的细粒度控制、增强级安全审计和态势预警分析，实现事前预警、事中监控、事后溯源。