`

SMP、NUMA、MPP体系结构介绍 [转]

阅读更多

转载自:http://blog.chinaunix.net/u/24866/showart_2054608.html

 

认识 Numa 架构

    从系统架构来看,目前的商用服务器大体可以分为三类,即对称多处理器结构 (SMP Symmetric Multi-Processor) ,非一致存储访问结构 (NUMA Non-Uniform Memory Access) ,以及海量并行处理结构 (MPP Massive Parallel Processing) 。它们的特征分别描述如下:

    SMP(Symmetric Multi-Processor)

  所谓对称多处理器结构,是指服务器中多个 CPU 对称工作,无主次或从属关系。各 CPU 共享相同的物理内存,每个 CPU 访问内存中的任何地址所需时间是相同的,因此 SMP 也被称为一致存储器访问结构 (UMA Uniform Memory Access) 。对 SMP 服务器进行扩展的方式包括增加内存、使用更快的 CPU 、增加 CPU 、扩充 I/O( 槽口数与总线数 ) 以及添加更多的外部设备 ( 通常是磁盘存储 )

   SMP 服务器的主要特征是共享,系统中所有资源 (CPU 、内存、 I/O ) 都是共享的。也正是由于这种特征,导致了 SMP 服务器的主要问题,那就是它的扩展能力非常有限。对于 SMP 服务器而言,每一个共享的环节都可能造成 SMP 服务器扩展时的瓶颈,而最受限制的则是内存。由于每个 CPU 必须通过相同的内存总线访问相同的内存资源,因此随着 CPU 数量的增加,内存访问冲突将迅速增加,最终会造成 CPU 资源的浪费,使 CPU 性能的有效性大大降低。实验证明, SMP 服务器 CPU 利用率最好的情况是 2 4 CPU

                                                                                

1.SMP 服务器 CPU 利用率状态

NUMA(Non-Uniform Memory Access)

  由于 SMP 在扩展能力上的限制,人们开始探究如何进行有效地扩展从而构建大型系统的技术, NUMA 就是这种努力下的结果之一。利用 NUMA 技术,可以把几十个 CPU( 甚至上百个 CPU) 组合在一个服务器内。其 CPU 模块结构如图 2 所示:  

 

2.NUMA 服务器 CPU 模块结构

NUMA 服务器的基本特征是具有多个 CPU 模块,每个 CPU 模块由多个 CPU( 4 ) 组成,并且具有独立的本地内存、 I/O 槽口等。由于其节点之间可以通过互联模块 ( 如称为 Crossbar Switch) 进行连接和信息交互,因此每个 CPU 可以访问整个系统的内存 ( 这是 NUMA 系统与 MPP 系统的重要差别 ) 。显然,访问本地内存的速度将远远高于访问远地内存 ( 系统内其它节点的内存 ) 的速度,这也是非一致存储访问 NUMA 的由来。由于这个特点,为了更好地发挥系统性能,开发应用程序时需要尽量减少不同 CPU 模块之间的信息交互。

利用 NUMA 技术,可以较好地解决原来 SMP 系统的扩展问题,在一个物理服务器内可以支持上百个 CPU 。比较典型的 NUMA 服务器的例子包括 HP Superdome SUN15K IBMp690 等。

  但 NUMA 技术同样有一定缺陷,由于访问远地内存的延时远远超过本地内存,因此当 CPU 数量增加时,系统性能无法线性增加。如 HP 公司发布 Superdome 服务器时,曾公布了它与 HP 其它 UNIX 服务器的相对性能值,结果发现, 64 CPU Superdome (NUMA 结构 ) 的相对性能值是 20 ,而 8 N4000( 共享的 SMP 结构 ) 的相对性能值是 6.3 。从这个结果可以看到, 8 倍数量的 CPU 换来的只是 3 倍性能的提升。  

 

 

3.MPP 服务器架构图

    MPP(Massive Parallel Processing)

  和 NUMA 不同, MPP 提供了另外一种进行系统扩展的方式,它由多个 SMP 服务器通过一定的节点互联网络进行连接,协同工作,完成相同的任务,从用户的角度来看是一个服务器系统。其基本特征是由多个 SMP 服务器 ( 每个 SMP 服务器称节点 ) 通过节点互联网络连接而成,每个节点只访问自己的本地资源 ( 内存、存储等 ) ,是一种完全无共享 (Share Nothing) 结构,因而扩展能力最好,理论上其扩展无限制,目前的技术可实现 512 个节点互联,数千个 CPU 。目前业界对节点互联网络暂无标准,如 NCR Bynet IBM SPSwitch ,它们都采用了不同的内部实现机制。但节点互联网仅供 MPP 服务器内部使用,对用户而言是透明的。

  在 MPP 系统中,每个 SMP 节点也可以运行自己的操作系统、数据库等。但和 NUMA 不同的是,它不存在异地内存访问的问题。换言之,每个节点内的 CPU 不能访问另一个节点的内存。节点之间的信息交互是通过节点互联网络实现的,这个过程一般称为数据重分配 (Data Redistribution)

  但是 MPP 服务器需要一种复杂的机制来调度和平衡各个节点的负载和并行处理过程。目前一些基于 MPP 技术的服务器往往通过系统级软件 ( 如数据库 ) 来屏蔽这种复杂性。举例来说, NCR Teradata 就是基于 MPP 技术的一个关系数据库软件,基于此数据库来开发应用时,不管后台服务器由多少个节点组成,开发人员所面对的都是同一个数据库系统,而不需要考虑如何调度其中某几个节点的负载。

   NUMA MPP 的区别

  从架构来看, NUMA MPP 具有许多相似之处:它们都由多个节点组成,每个节点都具有自己的 CPU 、内存、 I/O ,节点之间都可以通过节点互联机制进行信息交互。那么它们的区别在哪里?通过分析下面 NUMA MPP 服务器的内部架构和工作原理不难发现其差异所在。

  首先是节点互联机制不同, NUMA 的节点互联机制是在同一个物理服务器内部实现的,当某个 CPU 需要进行远地内存访问时,它必须等待,这也是 NUMA 服务器无法实现 CPU 增加时性能线性扩展的主要原因。而 MPP 的节点互联机制是在不同的 SMP 服务器外部通过 I/O 实现的,每个节点只访问本地内存和存储,节点之间的信息交互与节点本身的处理是并行进行的。因此 MPP 在增加节点时性能基本上可以实现线性扩展。

  其次是内存访问机制不同。在 NUMA 服务器内部,任何一个 CPU 可以访问整个系统的内存,但远地访问的性能远远低于本地内存访问,因此在开发应用程序时应该尽量避免远地内存访问。在 MPP 服务器中,每个节点只访问本地内存,不存在远地内存访问的问题。

  数据仓库的选择

  哪种服务器更加适应数据仓库环境?这需要从数据仓库环境本身的负载特征入手。众所周知,典型的数据仓库环境具有大量复杂的数据处理和综合分析,要求系统具有很高的 I/O 处理能力,并且存储系统需要提供足够的 I/O 带宽与之匹配。而一个典型的 OLTP 系统则以联机事务处理为主,每个交易所涉及的数据不多,要求系统具有很高的事务处理能力,能够在单位时间里处理尽量多的交易。显然这两种应用环境的负载特征完全不同。

  从 NUMA 架构来看,它可以在一个物理服务器内集成许多 CPU ,使系统具有较高的事务处理能力,由于远地内存访问时延远长于本地内存访问,因此需要尽量减少不同 CPU 模块之间的数据交互。显然, NUMA 架构更适用于 OLTP 事务处理环境,当用于数据仓库环境时,由于大量复杂的数据处理必然导致大量的数据交互,将使 CPU 的利用率大大降低。

  相对而言, MPP 服务器架构的并行处理能力更优越,更适合于复杂的数据综合分析与处理环境。当然,它需要借助于支持 MPP 技术的关系数据库系统来屏蔽节点之间负载平衡与调度的复杂性。另外,这种并行处理能力也与节点互联网络有很大的关系。显然,适应于数据仓库环境的 MPP 服务器,其节点互联网络的 I/O 性能应该非常突出,才能充分发挥整个系统的性能。

分享到:
评论

相关推荐

    服务器三大体系SMP、NUMA、MPP介绍.docx

    ### 服务器三大体系SMP、NUMA、MPP详解 #### SMP(Symmetric Multi-Processor 对称多处理器架构) **定义及特点** SMP架构是一种允许多个处理器对等工作的系统设计,其中所有的处理器共享同一套内存和其他资源。在...

    并行体系结构(陈国良版)课后答案

    ### 并行体系结构知识点详解 #### 一、并行计算机概述 - **定义**:并行计算机是指能够同时执行多个任务或指令的计算机系统,它通过多个处理单元的协同工作来加速计算过程。 - **Flynn分类法**: - **SISD ...

    东北大学高性能计算机体系结构名词解释

    高性能计算机体系结构是研究如何将大量处理器有效地组织在一起,以实现快速、可靠地执行计算任务的一门技术。东北大学在此领域的名词解释涵盖了从基本概念到高级技术的多个层面,为我们理解高性能计算机的运行机制和...

    第2讲 并行计算机体系结构(1)1

    并行计算机体系结构是计算机科学中的一个重要领域,它涉及到如何设计和优化系统以同时处理多个计算任务,从而提高性能和效率。本讲主要探讨了并行计算机的基本概念、不同的并行架构以及相关的关键参数。 首先,针对...

    计算机体系结构 张晨曦

    - **多处理器系统**:了解SMP(对称多处理)、MPP(大规模并行处理)和NUMA(非统一内存访问)架构。 - **GPU计算**:图形处理器在科学计算和深度学习中的重要作用。 - **云计算与并行计算框架**:如Hadoop、...

    并行计算体系结构课件

    对称多处理机(SMP)允许多个处理器平等访问共享存储器,形成一种对称的体系结构,适合多线程应用,但受到系统总线带宽限制,处理器数量有限。 大规模并行处理机(MPP)由多个节点组成,每个节点包含微处理器、局部...

    第03讲-2014并行计算机体系结构(2)1

    随着时间的推移,从80年代到21世纪,并行计算机体系结构经历了从MIMD到SMP,再到DSM、MPP和COW的发展,直至现在以Cluster机群、Constellation星群和MPP-专用高性能网络为代表的先进技术。这种发展趋势反映了计算机...

    高级计算机体系结构作业汇总(非标准答案).doc

    数据流,SIMD)SIMD系统中,所有处理器接收到同一指令...以上内容涵盖了高级计算机体系结构中的核心概念,包括系统设计、并行计算、存储架构、指令集和虚拟化技术等多个方面,这些都是理解和设计高性能计算系统的基础。

    基于CC-NUMA的多处理器系统研究.pdf

    CC-NUMA架构是一种广泛应用于多处理器系统的体系结构,其核心特点是兼顾了SMP的内存访问一致性与MPP的可扩展性。SMP模式中,所有处理器共享同一物理内存,虽然结构简单,但容易出现内存访问冲突,导致性能下降。而...

    计算机体系结构-第7章-20201

    【计算机体系结构-第7章-20201】这一章主要探讨的是多处理机和多计算机系统,这是在操作系统管理和高速网络连接下实现任务级和作业级并行处理的技术。多处理机系统(MIMD)由两个或更多处理机组成,包括处理单元(PU...

    计算机体系结构相关知识整理.docx

    ### 计算机体系结构相关知识点整理 #### 一、计算机体系结构常见名词解释及缩写 1. **CMOS (Complementary Metal Oxide Semiconductor)** - **定义**: 补充金属氧化物半导体,是一种制造集成电路的技术,常用于...

    a brief introduction to opennp

    根据内存管理方式的不同,并行机体系结构主要分为共享内存并行机(SMP)和分布式共享内存并行机(DSM)。 SMP(共享内存并行机)由多个处理器通过交叉开关或总线与共享内存互连。在SMP体系结构中,所有的处理器可以...

    云计算-基于FPGA的高性能计算研究.pdf

    2. 专用体系结构:包括传统向量机、SMP(Symmetric Multi-Processor)、MPP(Massively Parallel Processing)和高速互连的异构计算机集群。SMP和MPP通过扩展处理器数量和高速互联提高性能,CC-NUMA结构结合了两者的...

    华南理工大学《高性能计算与云计算》复习资料1

    这些概念和模型展示了计算机体系结构的多样性和适应性,为解决不同计算挑战提供了丰富的选择。理解这些概念有助于更好地设计、优化和使用高性能计算与云计算系统。在实际应用中,根据任务需求和资源限制,选择合适的...

    计算机组成原理试卷

    - 多处理机系统(SMP、MPP、NUMA)的特点 - 并行计算和分布式计算的基本概念 以上是"计算机组成原理试卷"可能涉及的主要知识点,通过深入理解和掌握这些内容,你将能够应对考试中可能出现的各种问题。在复习过程...

    MPICH简易(windows平台)教程

    本文简要介绍了并行计算的基本概念、并行计算机体系结构以及并行编程模型,并重点讲解了如何在Windows平台上安装和使用MPICH环境。希望本文能帮助读者更好地理解并行计算的基本原理,并为实际应用中的并行程序开发...

    可扩展并行计算技术、结构与编程.pdf

    此外,书中还着重分析了并行程序模型如何映射到不同的硬件体系结构上,包括对称多处理机(SMP)、大规模并行处理机(MPP)、分布式共享内存(DSM)系统、集群计算等,并讨论了各自的优缺点和适用场景。 基础选择...

    华工综合的高性能复习题集(考试复习用).doc

    【存储器体系结构】 UMA(Uniform Memory Access)模型,如Sun的UltraSPARC T2系统,保证所有处理器访问内存的延迟一致,简化编程但可能限制扩展性。NUMA(Nonuniform Memory Access)模型,如IBM的Power6,允许...

    透过天河一号看超级计算机技术.pdf

    5. **机群式超级计算机系统**:这种体系结构源于90年代,由低成本的微型计算机或工作站组成,通过高速网络连接,形成强大的并行计算能力。机群式超级计算机系统的出现降低了超级计算机的构建成本,提高了系统的灵活...

Global site tag (gtag.js) - Google Analytics