基本体系结构
---- 1.机群系统一般结构
----机群(cluster)系统是互相连接的多个独立计算机的集合,这些计算机可以是单机或多处理器系统(PC、工作站或SMP),每个结点都有自己的存储器、I/O设备和操作系统。机群对用户和应用来说是一个单一的系统,它可以提供低价高效的高性能环境和快速可靠的服务。
----机群系统包括下列组件:
高性能的计算结点机(PC、工作站或SMP)。
具有较强网络功能的微内核操作系统。
高效的网络/交换机(如千兆位以太网和Myrinet)。
网卡(NICs)。
快速传输协议和服务。
中间件层,其中包括某些支持硬件,如数字存储通道、硬件分布共享存储器及SMP技术;应用,如系统管理工具和电子表格;运行系统,如软件分布共享存储器和并行文件系统;资源管理和调度软件等。
并行程序设计环境与工具,如编译器、语言环境、并行虚拟机(PVM)和消息传递接口(MPI)等。
应用,包括串行和并行应用程序。
---- 2.组建机群系统的需求和功能
----机群组建时应考虑下面的需求和功能:
较高带宽的网络,以支持通信需求;
低延迟的通信机制;
支持高带宽的多点传送通信方式;
自动恢复网络和结点错误的能力;
标准的低级原语,支持通信、同步和时序;
异构的远程过程调用,以隐藏体系结构、协议和系统的不同性;
实时性能监视器;
可靠的批处理工作调度程序;
分布应用程序开发工具;
支持传统的高级语言进行异构计算;
能够开发工作站机群的应用程序;
新的系统管理工具;
发展标准化,以保护软件投资。
---- 3.机群系统与其他系统的比较
----一个典型机群系统和其他类型系统的对比可参看下表。
基本类型
----机群系统可以按照应用或结构进行分类。
----1.按应用目标
----可分为面向科学计算型或面向关键任务应用型:
高性能机群(high performance cluster);
高可用性机群(high availability cluster)。
----2.按组成机群的处理机类型
PC机群;
工作站机群;
SMP(对称多处理器)机群。
----3.按处理机操作系统
Linux机群,如Beowulf;
Solaris机群,如Berkeley NOW;
NT机群,如HPVM;
AIX机群,如IBM SP2;
数字VMS(虚拟存储机)机群;
HP-UX机群;
微软Wolfpack机群。
----4.按处理机的配置
同构型机群:所有结点拥有近似的构造和相同的操作系统;
非同构型机群:所有结点拥有不同的构造和不同的操作系统。
----5.按处理机的位置和数量
组机群,结点数量为2~99,通过SANs(系统级网络),如Myrinet,机群实际上装入一个机箱中或存在一个范围之内;
部门机群,结点数量为几十或几百;
企业机群,结点数量为几百。
----6.按构筑机群的方式
专用机群;
非专用机群。
----极高的性能价格比使专用机群深受欢迎。
专用机群
----专用机群一般由一组同构的处理机组成(有时也有异构情况),通常安装在一个机房内,或者将主板等安装在一个机柜的各机箱中(商业机群常用这种方式),或像图中那样简单地把PC机堆砌在机架上(Piles of PC)。在这种机群中,每个处理机都是专用的、无属主的,由系统管理员统一管理,用户可通过前端机进行访问,用户无需知道机群的详情,就像使用MPP机一样,易于配置和管理,不受外界干扰,通信可靠且延迟小,适合于面向加速比的并行任务和面向吞吐量批处理作业。专用机群具有相对结构和管理简单、易于扩展等特点,用途极广。
----专用机群的互联结构通常有以下两种方式:
----I/O方式 包括普通用LAN、FDDI、ATM等网络连接和共享磁盘连接两种方式。
----共享存储器方式 包括全局共享存储器方式和分布式共享存储器方式。分布式存储器指没有一个集中的存储器,由各处理机内一部分存储器通过软件机制形成。
----1994年夏,美国的研究人员建成了第一个Beowulf机群,它由16个DX4处理机组成。1997年,又推出了16个基于PⅡ的机群,只需花费5万美元却具有每秒10亿次的浮点运算能力,而购买具有相同能力并行机的投资数却是它的10倍。 Berkeley的NOW系统也是较早的工作站机群,由上百个Sun Ultra工作站组成,集成到19 英寸机箱中,可使用Myrinet、ATM和终端集中器等多种互联手段,每个结点自带512K缓存、128M内存及2个2.3G硬盘。
----此外,各大公司推出的商业专用机群还有很多,如DEC 的VMS机群和TruCluster、惠普的Apollo 9000机群、IBM的Sysplex、Sun的Solaris MC 等。
----在国内,曙光公司最新推出了基于NT的天潮系列机群产品,是采用分布式存储的可扩展机群体系。其结点处理器为Intel PⅡ和PⅢ,通过千兆位以太网互联,扩展性好,结点可根据不同的应用,动态地分为多个结点池,如可用两个结点作为服务器、四个结点运行数据库、其他结点用于计算等,结点数量可灵活配置。应用范围包括:
----科学计算 支持PVM和MPI,使用优化的BLAS库;事务处理 在线事务处理(OLTP),如电子商务、证券交易和在线分析处理(OLAP);并行数据库 支持Oracle、DB2等分布式数据库应用;
----网络服务器 运行各种Internet服务。
非专用机群
----非专用机群是由分散互联的处理机或在网上寻找到的
----空闲处理机组成的机群,这些处理机可能分属于不同的个人、组织或单位。据资料统计,一般计算机系统平均使用率仅为30%左右,有的空闲率竟达91%,而许多桌面网络工作站和微机的CPU利用率都小于10%,因此,人们自然想到要利用这些闲散的CPU处理能力,这被称为CPU周期窃取。
----通常,网络上计算单元都是拥有者各自孤立地使用其拥有的计算单元,一般处于下列状态:
处于空闲或等待状态,如夜间;
文档编辑工作,包括收发E-mail、阅读文档和信息等;
开发工作,包括编辑、编程、编译、调试等;
完成某种定时、守候服务和功能;
运行计算型的程序。
----所谓窃取CPU周期就是要窃取上述前四类处理机的CPU 周期给最后一类工作用。显然,被窃取CPU周期的处理机包括空闲的处理机和CPU负载较轻的处理机两类。
----非专用机群地理上分布于不同的所有者,由异构系统组成,大部分通过以太网连接,适用于企业级局域网范围,技术难度要高于专用机群。工作站的主人与需占用工作站资源运行程序的远程用户之间存在着矛盾,前者希望与工作站快速交互,而后者只关心能否利用所有的共享CPU来快速运行程序。机器的所有者必须具有参加机群的动机,这意味着他们相信贡献他们的资源是有意义的。但是,这些所有者不希望在他们工作时或他们的系统过于饱和时,受到其他干扰,一个解决的策略是允许所有者退出机群。目前,国际上正在形成一种计算资源的买卖市场,以刺激资源拥有者加入网上机群。此外,由于当前网络通信速度和质量的瓶颈所限及由通信竞争造成的网络不确定性的存在,对非专用机群技术提出了更高的要求,如对进程迁移、负载平衡等技术的需求。但此类系统最为贴近普通用户,可以充分利用网上无穷无尽的资源,而组建投资几乎可忽略不计。可以预见,随着网络瓶颈问题的缓解,非专用机群必然是极有发展前途的一种计算形式。
----下面介绍一个非专用计算的实例。
----Condor系统 (http://www.cs.wisc.edu/condor/)是一个较典型的非专用系统,由美国Wisconsin大学研制,它最初是建立在Unix系统之上的分布批处理系统。它的核心实现方式为使用位于工作站池中的空闲资源来得到高吞吐量计算。用户可以从工作站池中的任何一台机器提交任务,系统将自动从Condor池中查找最合适的空闲机运行任务,它利用将大型计算任务派至远程空闲机执行的方式,把空闲处理机的CPU资源分配给其他用户,从而实现负载的共享。
----1.Condor系统的特点
----(1) Condor是一个组建非专用机群的软件包,它自动寻找并分配空闲工作站,使用户作业可远程执行,实现任务负载共享机制,提高系统资源利用率,缩短作业响应时间。
----(2) Condor完全在操作系统核外的用户空间实现。使用 Condor时,不需要进行特殊的程序设计。
----(3) 它使用集中式信息收集和任务分配机制,系统监视局域网中工作站的负载情况,将处于空闲状态的机器加入动态资源缓冲区中,需要CPU资源的用户可以申请获得空闲机器。空闲处理机的定位由中央管理机完成。
----(4) Condor通过本身的远程系统调用机制,来确保远程运行机器上的文件系统和其他机器特征与最初提交任务的机器看起来是一致的。
----(5) Condor提供了检查点机制,用于实现进程迁移、负载平衡和容错。
----(6) 当任务被派至远程执行时,此任务使用的是原机器的执行环境,Condor保证这个任务不会使用远程机器文件系统,确保参与处理机的系统安全。
----(7) 工作站的拥有者对自己的工作站拥有绝对控制权,任务执行时实行本地用户主人优先原则,即有本地任务运行时,中止当前的远程执行而执行本地任务。
----2.Condor系统工作原理
----机群中一台处理机被指定为中央管理机,上面运行两个守护进程Negotiator和Collector,它们负责收集各机器负载及任务队列信息,并负责空闲处理机的分配。其他所有机器均运行两个守护进程Schedd和Startd。Schedd负责维护任务队列及更新中央管理机保存的任务队列信息,当本地结点有未完成的任务时,需与中央管理机协商,以获得空闲机资源;Startd负责周期性地检查本地结点负载状态并更新中央管理机的负载信息表,当本地结点被指定为外来任务服务时,Startd还负责启动并管理该任务。另外还有一个Shadow进程运行在源处理机,一个Starter进程运行在远程处理机中,它们负责远程任务的执行。
----用户激活提交程序并提交任务,形成任务描述文件、数据结构等,送调度信息到用户处理机上,Schedd送调度信息到位于中央管理机上的 Negotiator,接收到这个信息或调度周期性时间来到时,Negotiator从机群处理机列表中获得各处理机信息,包括各处理机工作负载和任务队列等。机群列表信息由Collector负责从各处理机的Schedd和Startd中获得并周期性更新。
----获得各处理机信息后,Negotiator首先确定各处理机的优先权,处理机的优先权随等待排队中的任务数增加而增加,随已提交到它的任务数和正运行的任务数(包括本地运行的)增加而减少,Negotiator每次从具有最高优先权的处理机开始查询,如果该处理机有足够的启动Shadow的交换空间,则该处理机把等待任务所需的 OS、结构和任务大小提供给Negotiator。Negotiator选择满足要求的处理机为止,其条件包括CPU和键盘是空闲的、满足任务标识的需求、没有其他Condor分配的任务正在运行等,满足这些条件的处理机为远程服务机。Negotiator重复这个过程,直到为所有的等待任务找到合适的处理机或没有发现合适的处理机,然后,Negotiator送回更新的处理机优先权记录等信息到Collector。
----Condor的任务传输过程和执行过程由中央处理机上 Negotiator、任务源处理机上的Schedd和Shadow、服务处理机上的Startd和Starter进程之间协调完成,Negotiator送一个带有服务处理机名的Permission消息到Schedd,Schedd派生一个Shadow进程和远程服务机上的Startd协调,负责以后的远程执行工作。Startd根据 Shadow的传输要求再评估当前的工作负载和存储空间等运行环境是否发生了变化,如没有变化,则Startd报告给中央管理机,Startd创建两个通信端口并送端口号到原处理机的 Shadow。Startd接到Shadow的确认后派生出Starter进程,它继承了通信端口负责远程任务的执行,然后通知中央管理机上的Collector工作负载的变化,Startd此后继续跟踪Starter 的状态变化、挂起信号、检查点,当有本地任务需求时腾出处理机空间,以保证本地用户的执行。
分享到:
相关推荐
ysoserial是一个用于生成利用不安全的Java对象反序列化的有效负载的概念验证工具。它包含一系列在常见Java库中发现的"gadget chains",可以在特定条件下利用执行不安全的反序列化操作的Java应用程序。ysoserial项目最初在2015年AppSecCali会议上提出,包含针对Apache Commons Collections(3.x和4.x版本)、Spring Beans/Core(4.x版本)和Groovy(2.3.x版本)的利用链
1、嵌入式物联网单片机项目开发例程,简单、方便、好用,节省开发时间。 2、代码使用IAR软件开发,当前在CC2530上运行,如果是其他型号芯片,请自行移植。 3、软件下载时,请注意接上硬件,并确认烧录器连接正常。 4、有偿指导v:wulianjishu666; 5、如果接入其他传感器,请查看账号发布的其他资料。 6、单片机与模块的接线,在代码当中均有定义,请自行对照。 7、若硬件有差异,请根据自身情况调整代码,程序仅供参考学习。 8、代码有注释说明,请耐心阅读。 9、例程具有一定专业性,非专业人士请谨慎操作。
YOLO系列算法目标检测数据集,包含标签,可以直接训练模型和验证测试,数据集已经划分好,包含数据集配置文件data.yaml,适用yolov5,yolov8,yolov9,yolov7,yolov10,yolo11算法; 包含两种标签格:yolo格式(txt文件)和voc格式(xml文件),分别保存在两个文件夹中,文件名末尾是部分类别名称; yolo格式:<class> <x_center> <y_center> <width> <height>, 其中: <class> 是目标的类别索引(从0开始)。 <x_center> 和 <y_center> 是目标框中心点的x和y坐标,这些坐标是相对于图像宽度和高度的比例值,范围在0到1之间。 <width> 和 <height> 是目标框的宽度和高度,也是相对于图像宽度和高度的比例值; 【注】可以下拉页面,在资源详情处查看标签具体内容;
**Oracle 10g DBA学习手册:安装Oracle和构建数据库** **目的:** 本章节旨在指导您完成Oracle数据库软件的安装和数据库的创建。您将通过Oracle Universal Installer (OUI)了解软件安装过程,并学习如何利用Database Configuration Assistant (DBCA)创建附加数据库。 **主题概览:** 1. 利用Oracle Universal Installer (OUI)安装软件 2. 利用Database Configuration Assistant (DBCA)创建数据库 **第2章:Oracle软件的安装与数据库构建** **Oracle Universal Installer (OUI)的运用:** Oracle Universal Installer (OUI)是一个图形用户界面(GUI)工具,它允许您查看、安装和卸载机器上的Oracle软件。通过OUI,您可以轻松地管理Oracle软件的安装和维护。 **安装步骤:** 以下是使用OUI安装Oracle软件并创建数据库的具体步骤:
消防验收过程服务--现场记录表.doc
数据库管理\09-10年第1学期数据库期末考试试卷A(改卷参考).doc。内容来源于网络分享,如有侵权请联系我删除。另外如果没有积分的同学需要下载,请私信我。
YOLO系列算法目标检测数据集,包含标签,可以直接训练模型和验证测试,数据集已经划分好,包含数据集配置文件data.yaml,适用yolov5,yolov8,yolov9,yolov7,yolov10,yolo11算法; 包含两种标签格:yolo格式(txt文件)和voc格式(xml文件),分别保存在两个文件夹中,文件名末尾是部分类别名称; yolo格式:<class> <x_center> <y_center> <width> <height>, 其中: <class> 是目标的类别索引(从0开始)。 <x_center> 和 <y_center> 是目标框中心点的x和y坐标,这些坐标是相对于图像宽度和高度的比例值,范围在0到1之间。 <width> 和 <height> 是目标框的宽度和高度,也是相对于图像宽度和高度的比例值; 【注】可以下拉页面,在资源详情处查看标签具体内容;
职业暴露后的处理流程.docx
Java Web开发短消息系统
项目包含完整前后端源码和数据库文件 环境说明: 开发语言:Java 框架:ssm,mybatis JDK版本:JDK1.8 数据库:mysql 5.7 数据库工具:Navicat11 开发软件:eclipse/idea Maven包:Maven3.3 服务器:tomcat7
这是一款可以配置过滤目录及过滤的文件后缀的工具,并且支持多个项目同时输出导出,并过滤指定不需要导出的目录及文件后缀。 导出后将会保留原有的路径,并在新的文件夹中体现。
Matlab领域上传的视频均有对应的完整代码,皆可运行,亲测可用,适合小白; 1、代码压缩包内容 主函数:main.m; 调用函数:其他m文件;无需运行 运行结果效果图; 2、代码运行版本 Matlab 2019b;若运行有误,根据提示修改;若不会,私信博主; 3、运行操作步骤 步骤一:将所有文件放到Matlab的当前文件夹中; 步骤二:双击打开main.m文件; 步骤三:点击运行,等程序运行完得到结果; 4、仿真咨询 如需其他服务,可私信博主; 4.1 博客或资源的完整代码提供 4.2 期刊或参考文献复现 4.3 Matlab程序定制 4.4 科研合作
YOLO算法-挖掘机与火焰数据集-7735张图像带标签-挖掘机.zip
操作系统实验 Ucore lab5
IMG_5950.jpg
竞选报价评分表.docx
java系统,mysql、springboot等框架
1、嵌入式物联网单片机项目开发例程,简单、方便、好用,节省开发时间。 2、代码使用IAR软件开发,当前在CC2530上运行,如果是其他型号芯片,请自行移植。 3、软件下载时,请注意接上硬件,并确认烧录器连接正常。 4、有偿指导v:wulianjishu666; 5、如果接入其他传感器,请查看账号发布的其他资料。 6、单片机与模块的接线,在代码当中均有定义,请自行对照。 7、若硬件有差异,请根据自身情况调整代码,程序仅供参考学习。 8、代码有注释说明,请耐心阅读。 9、例程具有一定专业性,非专业人士请谨慎操作。
YOLO系列算法目标检测数据集,包含标签,可以直接训练模型和验证测试,数据集已经划分好,包含数据集配置文件data.yaml,适用yolov5,yolov8,yolov9,yolov7,yolov10,yolo11算法; 包含两种标签格:yolo格式(txt文件)和voc格式(xml文件),分别保存在两个文件夹中,文件名末尾是部分类别名称; yolo格式:<class> <x_center> <y_center> <width> <height>, 其中: <class> 是目标的类别索引(从0开始)。 <x_center> 和 <y_center> 是目标框中心点的x和y坐标,这些坐标是相对于图像宽度和高度的比例值,范围在0到1之间。 <width> 和 <height> 是目标框的宽度和高度,也是相对于图像宽度和高度的比例值; 【注】可以下拉页面,在资源详情处查看标签具体内容;
内容概要:本文详细讲解了搜索引擎的基础原理,特别是索引机制、优化 like 前缀模糊查询的方法、建立索引的标准以及针对中文的分词处理。文章进一步深入探讨了Lucene,包括它的使用场景、特性、框架结构、Maven引入方法,尤其是Analyzer及其TokenStream的实现细节,以及自定义Analyzer的具体步骤和示例代码。 适合人群:数据库管理员、后端开发者以及希望深入了解搜索引擎底层实现的技术人员。 使用场景及目标:适用于那些需要优化数据库查询性能、实施或改进搜索引擎技术的场景。主要目标在于提高数据库的访问效率,实现高效的数据检索。 阅读建议:由于文章涉及大量的技术术语和实现细节,建议在阅读过程中对照实际开发项目,结合示例代码进行实践操作,有助于更好地理解和吸收知识点。