块是存储的基础架构,对块的管理是简单的。从全球第一个磁盘存储技术50 年前诞生到现在,块的技术没有发生太大变化。磁盘工业生产遍及全球。最近几年,存储行业兴起存储虚拟化和数据整合的新概念,在这些概念和方案中,数据还是以块的形式通过网络进行读写操作。
块形式的存储在满足数据可扩展性和数据安全性的增长方面,日益显现出其局限性和不足。国际上主要有两类网络化存储架构,它们是通过命令集来区分的。第一类
是SAN(Storage Area Network)结构,它采用SCSI 块I/O 的命令集,通过在磁盘或FC(Fiber
Channel)级的数据访问提供高性能的随机I/O 和数据吞吐率,它具有高带宽、低延迟的优势,在高性能计算中占有一席之地,但是由于SAN
系统的价格较高,且可扩展性较差,已不能满足成千上万个CPU 规模的系统。第二类是NAS(Network Attached
Storage)结构,它采用NFS 或CIFS 命令集访问数据,以文件为传输协议,通过TCP/IP
实现网络化存储,可扩展性好、价格便宜、用户易管理,如目前在集群计算中应用较多的NFS 文件系统,但由于NAS
的协议开销高、带宽低、延迟大,不利于在高性能集群中应用。
针对Linux
集群对存储系统高性能和数据共享的需求,国际上已开始研究全新的存储架构和新型文件系统,希望能有效结合SAN 和NAS
系统的优点,支持直接访问磁盘以提高性能,通过共享的文件和元数据以简化管理,目前对象存储系统已成为Linux
集群系统高性能存储系统的研究热点,如Panasas公司的Object Base Storage Cluster System系统和Cluster
File
Systems 公司的Lustre 等。
基于对象的存储
在2004 年,
ANSI 推出了基于对象的存储设备(OSD)的1.0 版本规范。它定义了基于对象的存储设备的通讯协议。OSD 规范描述了一个SCSI
命令集合,由他提供一个高水平的OSD接口。这个接口允许客户端, 比如文件系统和数据库存放和索引数据SNIA’S 技术工作组当前正在开发OSD
规范的2.0 版本,这个版本年内完成。一个OSD
设备存放对象,他控制着从对象到物理介质的映射图。设备同时也跟踪作为属性的元数据,例如建立时间标记,从而允许在客户端非常容易地共享数据。可以
说,OSD 最大的卖点在于它结合了SAN 的可扩展性和NAS 的数据共享。早期的NAS
架构的扩展性能并不好,因为所有的元数据的处理都集中在NAS 服务器上。在有限的NAS 头下扩张更多的存储受到限制,而且这个时候,NAS
上的元数据处理变成了瓶颈。如果想扩展,就需要增加更多的NAS 服务器,但是此时的管理成为头疼的事情,因为数据是分散的,
这就是我们常说到的“NAS 孤岛”
OSD的能力在于它将客户端和OSD设备直接联系起来,并不需要中间环节管理元数据。Panasas
公司同时提供面向对象的存储和并行文件系统。Panasas 公司的DirectFLOW
的设计,客户端从带外管理的控制刀片得到目标的分布和安全属性。所有的数据流都直接从OSD存储刀片到客户端。尽管商用的OSD产品还只是凤毛麟角,但是
OSD技术还是在日新月异。西捷和IBM已经展示了OSDc 产品。HP已经和开放源代码厂家Lustre 文件系统合作, 使用OSD作为他的
StorageWork 可扩展文件系统的重要部分。
对于对象存储来讲,不光是解决了数据存储的问题,同时它还解决了数据安全性的问题。存储通常已经依赖于客户端和私有网络的认证来保护系统的安全性,不管在
文件服务器内用的是FC SAN 或SCSI
阵列。对象存储体系结构在每一个级别上都提供了安全性:存储系统对存储设备的认证;存储系统对计算节点的认证;存储系统对计算节点命令的认证;所有命令都
经CRC 的完整性检查;数据和命令经由IP
的私有性。这样的安全水平能给用户以信心,他们可以用更经济高效,可管理并容易访问的网络,如以太网,作为存储的传输工具,同时还提高了整个存储体系的安
全性。
“对象存储设备并不适合所有的用户。”
高性能计算领域
对象存储体系结构提供了一个带有NAS
系统的传统的文件共享和管理特征的单系统映象(single-system-image)文件系统,并改进了SAN
的资源整合和可扩展的性能。这种性能,可扩展性,可管理性以及安全性的结合,只能通过在存储体系结构上的重大革命才能被完成。第一个支持对象体系结构的产
品现在已经问世,它就是Panasas ActiveScale StorageCluser
(存储集群)。此产品已经被部署在国家实验室,地震资料处理机构,以及生物技术组织,它们都在用Linux
集群去解决关键的科学问题,这些问题在过去是用巨型超级计算机也不能解决的。它们都期盼能解决需要高性能,可扩展的共享存储才能解决的新问题,这种存储在
Panasas 的存储体系之前,在市场上是没有的。Panasas
存储集群及基于对象的存储、体系结构已经展示了,它们能迎接由Beowolf/Linux 集群计算体系结构提出的挑战,在那里,传统的基于SAN
和DAS 的产品都会败下阵来。Panasas 在美国能源部(U.S.Department ofEnergy:DOE)、Lawrence
Livermore 国家实验室,Los Alamos 国家实验室,Sandia 国家实验室,Pacific Northwest
国家实验室的高性能计算系统中已得到了初步的应用。在全球范围内,对象存储集群系统的性能在企业级HPC 集群的关键应用中得以淋漓体现和发挥。OSD
将来会从HPC 存储过渡成主流的企业级存储吗?老蒋拭目以待。试想,当年SUN
公司的NFS 不就是从最早的技术环境走到主流商业应用的最前线的吗?
对象存储成为主流
无论OSD 是从HPC 走到企业级应用中,或是通过其他方式,均面临需要被企业级的用户所接受这样的事实。从传统的存储变成OSD 存储,需要在多个层面上作改变,这包括,存储设备,存储网络,文件系统和数据库。
OSD 面临着巨大的机遇。如Garth Gibson
博士所讲,大规模并行数据存储的问题通过数据对象,和属性可以得到解决。在这个时候,对象存储的特性才得以发挥。而这些都是基于块的存储所不能解决的。对
象存储可以以这种方式使用而与应用无关。应用系统可以和以前使用文件导向的系统一样使用,所有的工作通过文件系统实现对文件的存取。这个时候,应用直接存
储数据对象而
不是向文件系统写数据。对象存储自诞生的那一天起已经表现出其巨大的活力,它可以提供数据安全,容易的数据共享,强大的可扩展功能,
完全具备走向企业级数据中心的能力。我们很高兴地看到,对象存储的国际标准已经制定,很多全球一线的存储厂商和服务器厂家均加入到此阵营中。各个厂家的对
象存储产品已经或即将面世。但是,同时我们也看到,对象存储全面取代传统的块存
储还需时日。
分享到:
相关推荐
在深入探讨Amazon S3的特性之前,让我们先理解什么是对象存储。对象存储是一种分布式存储系统,其中数据以对象的形式存储,每个对象都包含数据本身、元数据和一个全局唯一的标识符。这种设计使得对象存储非常适合于...
此外,本文档还提供了对象存储OSS的目录,包括法律声明、通用约定、什么是对象存储OSS、产品架构、技术特性、使用指南、注意事项等详细信息。 阿里云专有云企业版对象存储OSS技术白皮书 - 20180831.pdf是阿里云提供...
### 对象存储Hitachi Content Platform (HCP)基本概念 #### 一、对象存储基本概念 **对象(Object):** - 对象是指保存在对象存储系统中的文件,包括但不限于文本、图片、视频等。 - 每个对象都有一个唯一的URL...
### 分布式对象存储面临的挑战 随着大数据时代的到来,数据量呈爆炸性增长,而分布式对象存储因其良好的扩展性和灵活性成为解决大规模数据存储问题的重要手段之一。然而,在实际应用过程中,分布式对象存储面临着一...
【块存储】、【文件存储】和【对象存储】是三种不同的存储模型,它们各自有特定的应用场景和优势。在理解这些存储类型的本质区别之前,我们需要先了解它们的基本概念。 **1. 块存储** 块存储是底层的存储方式,以...
其中,块存储、文件存储和对象存储是云存储中的三种主要技术类型,它们各自有着不同的本质特征和应用场合,本文将围绕这三个概念,详细阐述它们之间的差异以及如何根据不同的数据处理需求选择合适的存储解决方案。...
Ceph 对象存储底层对象分布揭秘 Ceph 对象存储是公有云中常见的非结构化数据存储解决方案,常被作为网站、移动应用、图片、视频数据的主要存储方式,也是 CDN 回源及云上数据备份的不二选择。对象存储采用无层次...
### 对象存储架构及其测试挑战 #### 一、对象存储的重要性 随着数字世界的发展,数据量呈现出爆炸性增长的趋势。例如,在2011年,谷歌每天处理的数据量达到了24PB,Facebook每天分享的内容数量达到了40亿条,全球...
"阿里云专有云Enterprise版对象存储OSS V3.1.0 产品简介" 阿里云专有云Enterprise版对象存储OSS V3.1.0 产品简介...1 什么是对象存储OSS..........................................................................,
详细介绍了块存储、文件存储和对象存储的区别,有助于了解不同的存储方式之间的差异
什么是对象存储?对象存储(Cloud Object Storage,COS)是由腾讯云推出的无目录层次结构、无数据格式限制,可容纳海量数据且支持HTTP/HTTPS协议访问的分布式存储服务,用户可通过网络随时存储和查看数据。COS使所有...
腾讯云分布式对象存储架构设计与实践 本文档总体概括了腾讯云分布式对象存储的架构设计与实践。以下是从标题、描述、标签和部分内容中提炼出的知识点: 一、市场背景与产品背景 * 如何为企业客户提供存储海量全球...
分布式对象存储是一种大规模、高可用、可扩展的数据存储系统,主要设计用于存储和检索大量非结构化数据,如图片、视频、文档等。在互联网时代,这种技术是支撑云服务和大数据应用的基础。《分布式对象存储——原理 ...
ppt资源,描述存储行业当前现状,块存储、文件存储、对象存储相关知识、以及分布式概念。
Apsara Clouder云计算技能认证:云存储:对象存储管理与安全-阿里云Apsara Clouder云计算技能认证:云存储:对象存储管理与安全考试认证课程思维导图。
【TCE对象存储CSP运维手册】主要涵盖了腾讯云对象存储CSP的详细介绍,包括产品特性、应用场景、部署架构及功能模块。以下是手册中的关键知识点: 1. **CSP产品概述**: - CSP(Cloud Storage on Private)是腾讯云...