`

关于高性能计算机存储系统方案

阅读更多


我们通常使用的计算机为普通的pc机,这种计算机连成的存储网络大多数都是比较低端的,而对于于一些高性能计算机存储网络可以说是很具有很高的技术性。普通的计算机是FC网络和千兆以太网络为基础,服务器节点分为计算节点和IO节点两种类型,其中计算节点专门负责数据处理和分析,IO节点负责传输数据。计算节点通过IO节点对核心存储设备进行读写操作。以下是它的大致结构图:

采用这种结构主要是基于成本控制方面的考虑。如果系统采用FC-SAN存储网络架构,那么每一台计算节点上就必须安装1块或2HBA卡。大量HBA卡需要的建设成本就会非常高。与大量HBA卡相对应的,网络层需要增加大量的价格昂贵的光纤通道交换机。高性能计算系统的节点越多,建设成本就越高。

将计算节点和IO节点分开可以大大降低建设成本,但随之也会带来几个问题,

1、多台计算节点需要通过IO节点才可能访问到存储设备中的数据,数据读写的效率与IO节点的运行状相关,因此IO节点不可必免地会成为计算节点的性能瓶颈。

2IO节点通过以太网络与计算节点连接,提供数据传输服务。由于以太网络的数据传输效率相对较低,单台IO节点根本无法同时为所有的计算节点提供数据传输服务,因此大型的高性能计算系统一般都会有几台甚至几十台IO节点。具有大量的IO节点的高性能计算系统,其成本仍然会很高。

3、每一个IO节点都需要安装集群软件和负载均衡软件,以防止计算节点的数据传输压力集中到一个IO节点上。而高性能计算系统中所采用的集群软件和负载均衡软件一般都也非常贵,且不能保证多个IO节点上的压力完全相同,往往会出现个别IO节点压力过载时,大多数IO节点仍然欠载。过载节点的出现会大大降低整个系统中的工作效率。

UIT解决方案

为了解普通计算机网络结构中存在的问题,UIT建议高性能计算系统的存储网络采用IP-SAN架构,解决方案如下图所示:

系统采用纯千兆以及网架构,核心存储设备采用高性能 的ISCSI设备,计算节点和ISCS存储设备之间通过千兆以太网交换机连接。

核心存储采用1台或多台高性能ISCSI存储设备UIT BS3000,其独有的存储虚拟化管理功能,可自动实现多个端口之间、多个BS3000设备之间的负载均衡。增加BS3000的数量不仅可以大幅度增加容量,还可以大幅度增加存储的性能,从而提高整个存储系统的可用带宽和IOPS

方案优势:

1、节省了普通存储系统必须的光纤交换机和FC-HBA卡,因而可大幅度地降低系统的建设成本。

2、在存储共享管理软件的管理下,核心存储设备的容量可同时共享给所有的计算节点,任何一个计算节点都可以通过以太网络直接对核心存储设备进行读写访问,从而真正地发挥出存储设备和节点的性能,提高系统的工作效率。

3、系统中任何一个节点既是IO节点,又是计算节点,节省了普通存储系统所必需的大量只能用于数据传输的IO节点,节省下来的费用可用来购买更多的计算节点或更大的存储容量。

4、少了IO节点,网络中也就不会出现性能和带宽瓶颈。

5、不再需要价格昂贵的集群和负载均衡软件,消除了因集群软件和负载均衡软件带来的性能降低,在节省成本的同时,还可以进行提高网络系统的性能。

分享到:
评论

相关推荐

    BGP高性能并行存储系统技术方案.docx

    高性能计算机集群存储系统的需求和特点: 1. **高吞吐量**:高性能计算应用通常需要处理大量数据,因此存储系统需具备高速数据传输能力。 2. **低延迟**:为了确保计算效率,存储系统的访问延迟必须尽可能低。 3. *...

    BGP高性能并行存储系统建设方案.docx

    1.2 高性能计算机集群存储系统的需求和特点 高性能计算环境对存储系统有特殊要求,包括: - 并行访问能力:支持多节点同时读写,提高整体计算效率。 - 高带宽:提供足够的数据传输速度,满足大数据量的快速存取。 - ...

    项目名称高性能计算机服务器系统和存储系统.docx

    【高性能计算机服务器系统和存储系统】是信息技术领域中的关键组成部分,尤其在科研、数据分析、云计算等领域发挥着至关重要的作用。本项目涉及的招标文件详细规定了相关技术和商务要求,为供应商提供了一份清晰的...

    高性能计算机集群平台方案建议书.docx

    高性能计算机集群平台方案建议书旨在为用户提供一套高效、稳定且易于管理的计算资源解决方案,以满足日益增长的高性能计算需求。以下将详细阐述方案中的关键技术和要素。 一、项目技术方案 1. 硬件技术方案 a) ...

    高性能计算及高性能计算机

    高性能计算机销售不仅涉及硬件设备,更重要的是提供定制化的解决方案和服务。与普通服务器相比,高性能计算机的销售更加注重客户需求分析、系统设计、软件集成和后期维护支持。销售过程往往需要与客户进行深入的技术...

    头歌平台 计算机组成原理  存储系统设计.zip

    "头歌平台 计算机组成原理 存储系统设计"的资料可能包含了关于这个主题的详细讲解和实例代码。 存储系统是计算机硬件的重要组成部分,它负责存储程序和数据。存储系统设计的核心目标是平衡性能、容量、成本和可靠性...

    高性能计算机发展趋势

    - **存储技术**:高性能计算机需要能够快速访问大量数据,因此高效的存储解决方案至关重要。 - **可扩展性**:随着计算任务复杂度的增加,系统的可扩展性成为重要的考量因素。 #### 向量机技术 1976年,Cray公司...

    面向高性能计算机的海量数据处理平台实现与评测 (1).pdf

    本文主要讨论了高性能计算机在处理海量数据时所面临的难题及其解决方案,并对实现与评测进行了详细的阐述。 1. 高性能计算机处理海量数据的难点 首先,高性能计算机处理海量数据需要支持MapReduce模型,这是一个在...

    高性能计算知识汇总

    在存储系统方面,高性能计算涉及DAS(直接附加存储)、NAS(网络附加存储)和SAN(存储区域网络)等存储网络形态。DAS直接连接到服务器,适用于简单的系统;NAS通过网络连接,便于共享;而SAN则通过专用高速网络连接...

    Xilinx关于存储系统方向的方案合集

    Xilinx的技术和产品不仅推动了存储系统方案的发展,也为工程师们在设计和实施过程中提供了强大的支持。Xilinx方案的多样性和高性能在存储系统的设计和应用中发挥着重要作用,是推动整个行业发展的关键力量。

    云计算环境下计算机网络安全存储系统设计.pdf

    总结来说,云计算环境下计算机网络安全存储系统的设计是一项复杂的工程,需要综合运用现代网络技术、数据安全技术和云计算技术,以确保数据的存储安全性和系统的高性能。通过对设计架构、存储系统、云计算服务和节点...

    Ceph分布式存储系统性能优化技术研究综述.pdf

    Ceph分布式存储系统是一个统一的分布式存储解决方案,其主要特性在于能够提供块存储、文件系统和对象存储三种接口服务,支持多样的数据访问方式。Ceph的设计哲学与传统分布式存储系统不同,它采用无中心节点的元数据...

    高性能计算系统设计方案.docx

    系统方案设计中,硬件配置如Intel Xeon处理器、Infiniband交换机和高性能硬盘被提及,这些都构成了高性能计算系统的基础架构。 综上所述,高性能计算系统设计方案涉及以下几个关键知识点: 1. **需求分析**:高...

    高性能计算机引发的科研效率“核”聚变

    高性能计算机在科研领域的应用,尤其是南京航空航天大学引入曙光4000L系统,极大地提升了科研效率,实现了“核”聚变般的效能提升。这主要得益于曙光公司的机群架构设计和双核技术的应用。 曙光4000L是一款基于...

    ARM体系中存储系统 ARM体系中存储系统

    ARM体系中的存储系统是计算机硬件架构中的重要组成部分,它负责数据和指令的存储与访问。在ARM处理器的设计中,存储系统扮演着至关重要的角色,因为它直接影响到系统的性能、功耗和成本。以下将详细阐述ARM体系中...

    2022年联想高性能计算行业解决方案.pdf

    如2002年推出的“深腾1800”万亿次集群系统,这是全球首个实际运算速度超过1万亿次的大规模集群,之后的“深腾6800”超级计算机也在效能和应用成果上取得了显著成绩,进入世界TOP500前列,标志着国产高性能计算机的...

    数据中心大规模分布式存储部署方案.pdf

    3. 存储区域网络(SAN):SAN是计算机和存储系统之间提供数据传输的高速网络或子网络,使用光纤通道技术、磁盘阵列等。SAN分为光纤通道SAN(FCSAN)和IP SAN(IPSAN)。FCSAN使用专用光纤交换机,而IPSAN使用三层IP...

    高性能计算系统设计方案.doc

    高性能计算系统的架构经历了多次演变,从早期的向量计算机到多处理器并行向量机、MPP(大规模并行处理机)、SMP(对称多处理器)、DSM(分布式共享存储计算机)、Constellation星群系统,再到目前主流的Cluster集群...

Global site tag (gtag.js) - Google Analytics