当前各个领域数据生成速度逐渐加快,需要处理的数据量急剧膨胀。这些巨大的数据资源蕴藏着潜在的价值,需要对其进行有效的分析和利用。当前数据的特点除了数量庞大之外,数据类型也变得多样化,其中包括了结构化数据、半结构化数据以及非结构化数据。这些数量庞大、种类繁多的海量数据,给传统分析工具带来了巨大的挑战。当前对数据的分析不再是简单的生成统计报表,而是利用复杂的分析模型进行深人的分析,传统分析技术例如关系数据库技术已经不能满足其要求。在扩展性上,通过增加或更换内存、CPU、硬盘等设备原件以打一展单个节点的能力的纵向打一展(scale up)系统遇到了瓶颈;只有通过增加计算节点,连接成大规模集群,进行分布式并行计算和管理的横向打一展(scale out )系统才能满足大数据的分析需求[u。因此传统工具在扩展性上遇到了障碍,必须寻求可靠的数据存储和分析技术来分析和利用这些庞大的资源。利用云计算平台搭建Hadoop计算框架成为当前处理大数据的主要手段。然而由于云计算和Hadoop应用的特点和自身安全机制薄弱,不可避免地带来了安全风险。
1、大数据应用模式
云计算(Cloud Computing)是一种基于Internet的计算,是以并行计算(Parallel Computing )、分布式计算(Distributed Computing)和网格计算(Grid Compu-tin助为基础,融合了网络存储、虚拟化、负载均衡等技术的新兴产物。它将原本需要由个人计算机和私有数据中心执行的任务转移给具备专业存储和计算技术的大型计算中心来完成,实现了计算机软件、硬件等计算资源的充分共享[z}。企业或个人不再需要花费大量的费用在基础设施的购买上,更不需要花费精力对软硬件进行安装、配置和维护,这些都将由云计算服务商CSP( Cloud Service Provider)提供相应的服务。企业或个人只需按照计时或计量的方式支付租赁的计算资源。云计算服务商拥有大数据存储能力和计算资源,被视为外包信息服务的最佳选择[31因此大数据的应用往往与云计算相结合。
Hadoop是当前最广为人知的大数据技术实施方案,它是Google云计算中的Map/Reduce}4}和GFS( Google File System)的开源实现。Hadoop提供了一种计算框架,其最为核心的技术是HDFS ( HadoopDistributed File System)以及MapReduee } HDFS提供了高吞吐量的分布式文件系统,而MapReduee是大型数据的分布式处理模型。Hadoop为大数据提供了一个可靠的共享存储和分析系统[5-6 }v
尽管有一些组织自建集群来运行Hadoop,但是仍有许多组织选择在租赁硬件所搭建的云端运行Hadoop或提供Hadoop服务。例如提供在公有或私有云端运行Hadoop的Cloudera,还有由Amazon提供的称为Elastic MapReduee的云服务等f}l。因此将云计算与Hadoop结合处理大数据已成为一种趋势。
2、大数据安全风险分析
随着大数据应用范围越来越广,对数据安全的需求也越来越迫切。
由于云计算的特点是将数据外包给云服务商提供服务,这种服务模式将数据的所有权转移给了CSP,用户失去了对物理资源的直接控制[A1。而云中存储的大数据通常是以明文的方式存在的,CSP对数据具有底层控制权,恶意的CSP有可能在用户不知情的情况下窃取用户数据,而云计算平台亦可能受到攻击致使安全机制失效或被非法控制从而导致非授权人读取数据,给大数据安全带来了威胁。
Hadoop在设计之初并未考虑过安全问题,在Ha-doop 1. 0. 0和Cloudera CDH3版本之后,Hadoop加人了Kerberos的身份认证机制和基于ACL的访问控制机制[91。即使在安全方面增加了身份认证和访问控制策略,Hadoop的安全机制仍然非常薄弱,因为Ker-beros的认证机制只应用于客户机(Clients )、密钥分发中心(I}ey Distribution Center, I}DC )、服务器(Serv-er)之间,只是针对机器级别的安全认证,并未对Ha-doop应用平台本身进行认证[}o}。而基于ACL的访问控制策略需要通过在启用ACL之后,对hadoop-policy. xml中的属性进行配置,其中包括9条属性,它们限制了用户与组成员对Hadoop中资源的访问以及Datanode和Namenode或Jobtracke:和Tasktrackers等节点间的通信,但该机制依赖于管理员对其的配置[川,这种基于传统的访问控制列表容易在服务器端被篡改而不易察觉。而且基于ACL的访问控制策略粒度过粗,不能在MapReduce过程中以细粒度的方式保护用户隐私字段。况且针对不同的用户和不同应用,访问控制列表需要经常作对应的更改,这样的操作过于繁琐且不易维护。因此Hadoop自身的安全机制是不完善的。
2.1 不同应用模式下CSP及Uers带来的安全风险
云计算中Hadoop有多种应用模式。在私有云中搭建Hadoop,即企业自己应用Hadoop,使用该平台的是企业内部各个部门的员工,外部人员无法访问和使用这些资源。这时的CSP指的是Hadoop的创建和管理者,IaaS级和PaaS级CSP为相同的实体;在公有云平台应用Hadoop , C SP有2级,IaaS级CSP,提供基础设施
aaS级C SP,负责Hadoop的搭建和管理。这时两级CSP往往是不同的实体。
由于存储在Hadoop上的数据是明文的,所以Hadoop中的安全隐患是多方面的,笔者关注的是CSP和用户之间的安全问题,因此威胁对象分别是CSP和User,如图1所示。
C SP对用户数据的威胁指的是:CSP权限过大可在用户不知情的情况下获取用户数据。用户对CSP构成的威胁指的是:Faked用户获取合法用户数据或者恶意用户对CSP发起不合法请求,获取隐私数据。本文对位于Hadoop中不同状态的数据可能受到的威胁点用三角表示,如图2所示。其中1 ,5位置均指的是HDFS中,所以受到的威胁是相同的。
Malice IaaS级CSP可以通过物理磁盘在位置1,3 ,4 ,5对数据进行获取。Hadoop中主要的文件结构有如下几种:SequenceFile , RC File , Avro、文本格式、外部格式。其中有些文件格式是二进制形式的,但像文本格式和外部格式并不都是二进制格式,因此是可读的。由于是明文存储,CSP便可以通过读取数据块内容提取有价值的部分进行分析。IaaS级CSP对数据具有绝对的控制权,如果从物理磁盘窃取文件或数据块,便获得了其中的内容。可以通过建立第三方审计系统来保障其安全,这部分不在本文的讨论范围内。
Malice PaaS级CSP可以在用户不知情的情况下通过超级用户身份即特权管理员身份对文件权限进行更改,以合法身份对数据进行读取和分析。因此可以在位置1 ,2,5进行数据窃取。不过在1 ,5的位置获取数据是通过向Namenode请求数据块,从Datan-ode获取数据。
Fucked Use:假冒合法用户身份对数据进行读取,一旦获取了合法用户身份,便与合法用户拥有相同的权限,可以在1 ,5的位置通过向Namenode请求数据块,从Datanode获取数据,也可以在2的位置输出需要的数据进行分析。
Malice Use:在利用数据拥有者提供的数据进行分析时,窃取部分敏感字段进行分析和输出。可以在2中提取数据,在计算完后通过5获取分析结果。

转载于:https://my.oschina.net/u/1160813/blog/310062
分享到:
相关推荐
在日常的开发和使用中,我们经常需要借助各种小工具来提高工作效率,例如快速启动常用的应用程序、管理文件等。一个简单但功能强大的集成工具箱可以帮助用户快速访问、启动并管理程序。今天,我们将以Python为基础,结合Tkinter和Win32API,开发一个类似Windows快捷方式的工具箱应用,能够让你轻松集成各种常用程序并一键启动
django自建博客app
《基于YOLOv8的智慧校园实验室高压灭菌锅安全联锁系统》(包含源码、可视化界面、完整数据集、部署教程)简单部署即可运行。功能完善、操作简单,适合毕设或课程设计
用于hifi测序数据的基因组组装程序
Microsoft Access 2010 数据库引擎可再发行程序包AccessDatabaseEngine-X64解压后的文件AceRedist
从大模型、智能体到复杂AI应用系统的构建——以产业大脑为例
自然语言处理之TF-IDF算法与TextRank算法的缠绵_textrank,tf-idf和两者的组合-CSDN博客.html
内容概要:2023版《科学智能 (AI4S)全球发展观察与展望》阐述了AI for Science(AI4S)在全球范围内的最新进展及其对科学和工业的深远影响。文章首先回顾了AI4S在过去一年中的快速发展,特别是在药物研发、材料科学、地质学、污染治理等多个领域的应用实例。AI4S通过结合深度学习、机器学习和其他AI技术,加速了从基础研究到实际应用的转化过程。例如,在药物研发中,AI4S帮助科学家克服了“反摩尔定律”的挑战,提高了新药研发的成功率;在材料科学中,AI4S实现了复杂材料的高效模拟,如人造钻石、石墨烯、碳纳米管等;在地质学中,AI4S通过模拟地球内部结构和物理过程,为地震学研究提供了新视角。此外,文章还探讨了大语言模型(LLMs)与科学方法的结合,指出LLMs不仅能辅助科学研究,还能生成新的科学假设并进行逻辑推理。 适合人群:具备一定科研背景或对AI技术感兴趣的科研人员、工程师、政策制定者及高校师生。
这个数据集包含了日常步数统计、睡眠时长、活跃分钟数以及消耗的卡路里,是个人健康与健身追踪的一部分。 该数据集非常适合用于以下实践: 数据清洗:现实世界中的数据往往包含缺失值、异常值或不一致之处。例如,某些天的步数可能缺失,或者存在不切实际的数值(如10,000小时的睡眠或负数的卡路里消耗)。通过处理这些问题,可以学习如何清理和准备数据进行分析。 探索性分析(发现日常习惯中的模式):可以通过分析找出日常生活中的模式和趋势,比如一周中哪一天人们通常走得最多,或是睡眠时间与活跃程度之间的关系等。 构建可视化图表(步数趋势、睡眠与活动对比图):将数据转换成易于理解的图形形式,有助于更直观地看出数据的趋势和关联。例如,绘制步数随时间变化的趋势图,或是比较睡眠时间和活动量之间的关系图。 数据叙事(将个人风格的追踪转化为可操作的见解):通过讲述故事的方式,把从数据中得到的洞察变成具体的行动建议。例如,根据某人特定时间段内的活动水平和睡眠质量,提供改善健康状况的具体建议。
框架结构天城商业办公楼5200平米(建筑图 结构图 计算书 开题报告 任务书 文献翻.zip
柴油机连杆加工工艺及夹具设计.zip
读书网首页的HTML信息
文字渐变颜色代码生成器:让文字绽放多彩魅力,演示:在信息交流日益丰富的今天,个性化的文字展示成为吸引目光的关键。这款文字渐变颜色代码生成器,便是为满足这一需求而生的绿色软件,无需安装,便捷实用。 它的操作极为简便。用户只需在软件界面中输入想要转换的文字内容,接着从丰富的色彩选项里挑选心仪的起始颜色与结束颜色,随后轻轻按下 “转换按钮”,神奇的事情就此发生 —— 适用于论坛、网页、QQ 空间等多种平台,以及自定义格式的渐变颜色代码便会即刻生成。不仅如此,生成的代码还能自动复制到剪切板,极大地节省了用户手动复制的时间。当你在论坛回帖、更新网页内容或是装扮 QQ 空间时,只需轻松粘贴代码,原本单调的文字瞬间就能拥有绚丽的渐变色彩,瞬间脱颖而出,为你的表达增添独特魅力,让文字不再平凡,轻松成为视觉焦点。 一款可以轻松把一段文字生成渐变颜色代码的绿色软件,当你在软件中输入完要转换的文字后,只需要挑选自己喜欢的起始颜色、结束颜色后,按一下―转换按钮即可生成相应的论坛/网页/QQ空间以及自定义格式代码,并且代码可以自动复制到剪切板中,回帖时直接粘贴代码即可不错得文字代码生成器,让你得文字更加漂亮.
1.【锂电池剩余寿命预测】Transformer锂电池剩余寿命预测(Matlab完整源码和数据) 2.数据集:NASA数据集,已经处理好,B0005电池训练、B0006测试; 3.环境准备:Matlab2023b,可读性强; 4.模型描述:Transformer在各种各样的问题上表现非常出色,现在被广泛使用。 5.领域描述:近年来,随着锂离子电池的能量密度、功率密度逐渐提升,其安全性能与剩余使用寿命预测变得愈发重要。本代码实现了Transformer在该领域的应用。 6.作者介绍:机器学习之心,博客专家认证,机器学习领域创作者,2023博客之星TOP50,主做机器学习和深度学习时序、回归、分类、聚类和降维等程序设计和案例分析,文章底部有博主联系方式。从事Matlab、Python算法仿真工作8年,更多仿真源码、数据集定制私信。
资源内项目源码是来自个人的毕业设计,代码都测试ok,包含源码、数据集、可视化页面和部署说明,可产生核心指标曲线图、混淆矩阵、F1分数曲线、精确率-召回率曲线、验证集预测结果、标签分布图。都是运行成功后才上传资源,毕设答辩评审绝对信服的保底85分以上,放心下载使用,拿来就能用。包含源码、数据集、可视化页面和部署说明一站式服务,拿来就能用的绝对好资源!!! 项目备注 1、该资源内项目代码都经过测试运行成功,功能ok的情况下才上传的,请放心下载使用! 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习,也适合小白学习进阶,当然也可作为毕设项目、课程设计、大作业、项目初期立项演示等。 3、如果基础还行,也可在此代码基础上进行修改,以实现其他功能,也可用于毕设、课设、作业等。 下载后请首先打开README.txt文件,仅供学习参考, 切勿用于商业用途。
资源内项目源码是来自个人的毕业设计,代码都测试ok,包含源码、数据集、可视化页面和部署说明,可产生核心指标曲线图、混淆矩阵、F1分数曲线、精确率-召回率曲线、验证集预测结果、标签分布图。都是运行成功后才上传资源,毕设答辩评审绝对信服的保底85分以上,放心下载使用,拿来就能用。包含源码、数据集、可视化页面和部署说明一站式服务,拿来就能用的绝对好资源!!! 项目备注 1、该资源内项目代码都经过测试运行成功,功能ok的情况下才上传的,请放心下载使用! 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习,也适合小白学习进阶,当然也可作为毕设项目、课程设计、大作业、项目初期立项演示等。 3、如果基础还行,也可在此代码基础上进行修改,以实现其他功能,也可用于毕设、课设、作业等。 下载后请首先打开README.txt文件,仅供学习参考, 切勿用于商业用途。
Android项目原生java语言课程设计,包含LW+ppt
配套文章:https://blog.csdn.net/gust2013/article/details/146909670?spm=1001.2014.3001.5502
《基于YOLOv8的智慧社区儿童游乐设施安全监测系统》(包含源码、可视化界面、完整数据集、部署教程)简单部署即可运行。功能完善、操作简单,适合毕设或课程设计