英文原文: Paging, Memory and I/O Delays
中文原文: 分页、内存和 I/O 延迟
编者注:这是讨论 AIX 调优的两篇系列文章的第一篇。第一部分讨论分页、内存和 I/O 延迟,第二部分主要关注磁盘 I/O 和网络。
几年前我写了一篇关于 AIX 调优的文章,现在 AIX 7 出现了,所以有必要重新审视需要在 AIX 系统上执行的基本调优措施。已经发布的许多技术级别 (TL) 和一些建议可能会改变。在本文中,我将提供与 AIX 5.3、6.1 和 7 中的可调项相关的 AIX 调优信息。
我主要关注 I/O、内存和网络。在默认情况下,AIX 6 和 7 在内存调优方面做得相当好,只需要做几个小调整。但是,AIX 5.3 在这个方面需要更多调优。图 1 给出不同的可调项及其默认设置。第四栏是对于这三个版本最新的 TL 的这些设置的推荐值。
图 1.不同可调项及其默认设置
请记住一个要点:在安装全新的 AIX 6 或 7 时,会自动地设置新的内存可调项默认值。如果是从 AIX 5.3 迁移系统,那么在 AIX 5.3 中设置的所有可调项会随同迁移。在执行迁移之前,建议记录已经修改的所有可调项(取得 /etc/tunables/nextboot 的拷贝),然后把可调项恢复为默认值。在迁移之后,检查 nextboot 并确保其中没有任何内容。现在,讨论需要为 AIX 6 或 7 修改的可调项。
分页空间
最佳实践建议在不同的不太忙的硬盘驱动器 (hdisk) 上配置多个相同大小的分页空间。所有分页空间应该建立镜像,或者放在 RAID(1 或 5)存储区域网络 (SAN) 上。除非数据库需要,分页空间一般不需要达到内存量的两倍。我曾经在 AIX 上用 250 GB 内存和三个 24 GB 的分页空间运行大型 Oracle 数据库。关键是使用并发 I/O (CIO) 等技术避免分页,提供分页空间是为了以防万一需要分页。
在默认情况下,AIX 在 rootvg 中创建一个分页空间 (hd6),它太小了。如果 rootvg 被镜像,那么这个分页空间也会被镜像。我通常使用几个来自 SAN 的自定义大小的逻辑单元号 (LUN) 添加额外的分页空间。不要在当前 rootvg 分页空间所在的内部磁盘(或 SAN LUN)中添加分页空间。在相同的 hdisk 上配置多个分页空间会降低分页速度。
在构建虚拟 I/O 服务器 (VIOS) 时,会自动地配置两个分页空间,它们都在 hdisk0 上。hd6 是 512 MB,paging00 是 1,024 MB。我总是关闭并删除 paging00,然后把 hd6 增加到 4,096 MB。正如前面提到的,在相同的 hdisk 上配置两个分页空间是不好的做法。
页面偷取方法
在 AIX 5.3 的默认设置中,page_steal_method 设置为 0。这影响最近最少使用守护进程 (least recently used daemon LRUD) 扫描可释放页面的方式。设置 lru_file_repage=0 意味着强烈建议 LRUD 不偷取可执行代码的页面,总是尝试偷取文件系统(持久)页面。偷取持久页面比偷取工作存储页面代价低得多,因为后者会导致换出/换入页面。假设使用 100 GB 内存和五个内存池,内存会划分为五个大约 20 GB 的池,每个 LRUD 处理大约 20 GB(这是非常简化的描述)。根据图 2 中的 numclient 值,可以假设大约 45% 的内存用于文件系统,即大约 45 GB;另外的 55 GB 是工作存储。
图 2.vmstat 输出
如果设置 page_steal_method=0,在寻找空闲页面时 LRUD 不得不扫描它们控制的所有内存页面,尽管很可能只释放持久页面。如果设置 page_steal_method=1,LRUD 会改用基于列表的页面管理方案。这意味着 LRUD 把内存划分为一个持久页面列表和一个工作存储页面列表。当 LRUD 搜索可从文件系统缓存中释放的页面时,它们只搜索持久页面列表。对于图 2 中的示例,这应该会把扫描可释放页面的速度提高一倍多,这会降低开销。在“vmstat -I 2 2”的输出中可以看到扫描速度和空闲率。
内存和 I/O 缓冲区
在探索最佳内存设置时,有几个命令很有用,尤其是 vmstat -v。图 2 显示 vmstat -v 的部分输出。
在内存中有两类页面:持久页面(与文件系统关联)和工作存储或者说动态页面(包含可执行代码及其工作区)。如果偷取持久页面,就不需要换出页 面,除非页面被修改过(在这种情况下,把它写回文件系统)。如果偷取工作存储页面,就必须先把它写到分页数据集,下一次需要它时再从分页数据集读回来;这 是开销很大的操作。
设置 minperm%=3 和 lru_file_repage=0 意味着,强烈建议 LRUD 在文件系统正在使用超过 3% 的内存的情况下总是尝试偷取持久页面。LRUD 在大多数情况下忽略最大设置,除非是要限制文件系统可以使用的内存量。maxperm% 指所有持久页面,包括日志文件系统 (JFS)、网络文件服务器 (NFS)、Veritas File System (VxFS) 和增强型日志文件系统 (JFS2)。maxclient% 是其中的子集,只包括 NFS 和 JFS2 文件系统。maxperm% 是软限制,maxclient% 是硬限制(而且不能超过 maxperm%)。因为新的文件系统通常是 JFS2,应该把最大设置保持在 90%,以免意外限制文件系统使用的内存量。
在 vmstat -v 的输出中,有几个指标有助于判断要调整哪些值。在图 2 中,可以看到 numperm 和 numclient 是相同的,都是 45.1%。这意味着 NFS 和/或 JFS2 文件系统正在使用 45.1% 的内存。如果这是一个数据库系统,我会检查是否正在使用 CIO,因为它可以消除双重页面存储和处理,从而降低内存和 CPU 使用量。
在构建 I/O 请求时,逻辑卷管理程序 (LVM) 请求一个 pbuf,这是固定的内存缓冲区,它保存 LVM 层中的 I/O 请求。然后把 I/O 放到另一个称为 fsbuf 的固定内存缓冲区中。有三种 fsbuf:文件系统 fsbuf(供 JFS 文件系统使用)、客户机 fsbuf(由 NFS 和 VxFS 使用)和外部分页程序 fsbuf(由 JFS2 文件系统使用)。另外,还有 psbuf,它们是对分页空间的 I/O 请求所用的固定内存缓冲区。
在图 2 中,vmstat -v 命令显示的值是自引导以来的平均值。因为服务器可能很长时间不重新引导,所以一定要间隔几小时取两个快照,检查这些值是否有变化。在这里,它们快速增长,需要调优。
I/O 延迟
在 vmstat -v 的输出中,有几个表示存在 I/O 延迟的迹象。I/O 延迟会影响性能和内存。下面介绍识别 I/O 阻塞的原因和解决问题的一些常用方法。
1468217 pending disk I/Os blocked with no pbuf 这一行清楚地说明一个或多个未完成的磁盘 I/O 在试图获得固定内存缓冲区(具体地说是 pbuf)时被阻塞了。这表明在 LVM 层上出现排队。因为 AIX 无法获得缓冲区以存储 I/O 请求的信息,导致请求被延迟。使用下面的 lvmo 命令应该可以解决这个问题。
图 3. lvmo –a 输出
图 3 给出 lvmo -a 命令的输出,它表明 datavg 的 pbuf 不足(查看 pervg_blocked_io_count)。应该只对正在使用的这个卷组纠正此问题,因为这些是固定的内存缓冲区,把它们设置得过大是没有意义的:
lvmo -v datavg -o pv_pbuf_count=2048
|
通常,我会检查当前设置,如果它是 512 或 1024,那么在需要增加时把它提高一倍。
11173706 paging space I/Os blocked with no psbuf 。lvmo 命令还表明 rootvg 中的 pbuf 有问题。看一下 vmstat -v 的输出,会发现有大量分页空间 I/O 请求由于无法获得 psbuf 被阻塞。psbuf 用于在虚拟内存管理程序 (VMM) 层上保存 I/O 请求,缺少 psbuf 会严重影响性能。它也表明正在执行分页,这是问题。最好的解决方法是停止导致分页的东西。另一种方法是增加分页空间。
39943187 file system I/Os blocked with no fsbuf 。在默认情况下,系统只为 JFS 文件系统提供 196 个 fsbuf。在 JFS2 之前,需要大大提高这个限制(常常增加到 2048),从而确保 JFS I/O 请求不会由于缺少 fsbuf 在文件系统层上被阻塞。即使在系统中没有 JFS 的情况下,有时候也会见到阻塞的 I/O 请求达到 2,000 个左右。但是,上面的数字表明在系统中有大量 JFS I/O 被阻塞,在这种情况下我会调整 JFS 并尝试和计划转移到 JFS2;在 JFS2 中,可以对数据库使用 CIO 等技术。在 AIX 6 和 7 中,numfsbufs 现在是 ioo 命令中的受限制参数。
238 client file system I/Os blocked with no fsbuf 。NFS 和 VxFS 都是客户机文件系统,这一行是指在文件系统层上由于缺少客户机 fsbuf 被阻塞的 I/O 数量。要想解决此问题,需要进一步研究,查明这是 VxFS 问题还是 NFS 问题。
1996487 external pager file system I/Os blocked with no fsbuf 。JFS2 是外部分页程序客户机文件系统,这一行是指在文件系统层上由于缺少固定内存 fsbuf 被阻塞的 I/O 数量。在以前,调整 j2_nBufferPerPagerDevice 可以解决此问题。现在,通过使用 ioo 命令提高 j2_dynamicBufferPreallocation 来纠正 JFS2 缓冲区。默认设置是 16,在尝试减少这些 I/O 阻塞时,我通常会慢慢提高它(试一下 32)。
其他内存可调项
vmo 命令中的 minfree 和 maxfree 可调项也会影响分页。它们现在是针对各个内存池设置的,可以使用几个命令之一查明有多少个内存池。根据版本或 TL 不同,应该使用 vmo -a、vmo -a -F(对于 6.1)或 vmstat -v 获取此信息。
如果这些值设置得过大,可能会看到 vmstat 输出中“fre”栏中的值很高,而同时却在执行分页。默认设置是 960 和 1,088;根据其他设置,我通常使用 1,000 和 1,200。minfree 和 maxfree 的正确计算方法取决于 j2MaxPageReadAhead 的设置、逻辑 CPU 数量和内存池数量。
在这里,假设 vmstat 显示有 64 个逻辑 CPU (lcpu) 和 10 个内存池。当前设置为默认值,即 minfree=960 和 maxfree=1088。J2_maxPageReadahead=128。对于这些设置,计算过程如下:
Min=max(960,((120*lcpu)/mempools)
Max=minfree + (max(maxpgahead,j2MaxPageReadahead)*lcpu)/mempools)
lcpu 为 64,mempools 为 10,j2_MaxPageReadahead 为 128,因此:
Min=max(960,((120*64)/10) = max(960,768)=960
Max=960+((max(8,128)*64)/10) = 960+819=1780
我可能会把结果向上取整到 2,048。每当修改 j2_maxPageReadahead 时,应该重新计算 maxfree。在这里,我保持 minfree 为 960,但是把 maxfree 提高到 2,048。
更多调优技巧
现在,您应该掌握了如何探测和解决与分页、内存和 I/O 延迟相关的 AIX 性能问题。下一部分,我将讨论磁盘 I/O 和网络。
相关推荐
白色宽屏风格的芭蕾舞蹈表演企业网站模板.rar
由一个精美的UI集成界面和5个小游戏组成(球球大作战,坦克大战,飞机大战,球球消消乐,贪吃蛇)
内容概要:本文介绍了如何使用Python和OpenCV库识别电梯开关门视频中的门位置。具体步骤包括将视频帧转换为灰度图像、应用高斯模糊减少噪声、使用Canny边缘检测算法检测图像边缘、查找和筛选轮廓、确定门的位置并在视频中绘制边界框。该方法适用于门的颜色或纹理与周围环境有明显区别的场景。 适合人群:计算机视觉领域的开发者和研究人员,尤其是对图像处理感兴趣的读者。 使用场景及目标:主要用于监控和安全系统中,对电梯开关门进行自动化检测,确保安全运行。 阅读建议:在理解和实践过程中,建议读者熟悉Python和OpenCV的基本操作,并尝试调整参数以适应不同的视频环境。
智慧工地,作为现代建筑施工管理的创新模式,以“智慧工地云平台”为核心,整合施工现场的“人机料法环”关键要素,实现了业务系统的协同共享,为施工企业提供了标准化、精益化的工程管理方案,同时也为政府监管提供了数据分析及决策支持。这一解决方案依托云网一体化产品及物联网资源,通过集成公司业务优势,面向政府监管部门和建筑施工企业,自主研发并整合加载了多种工地行业应用。这些应用不仅全面连接了施工现场的人员、机械、车辆和物料,实现了数据的智能采集、定位、监测、控制、分析及管理,还打造了物联网终端、网络层、平台层、应用层等全方位的安全能力,确保了整个系统的可靠、可用、可控和保密。 在整体解决方案中,智慧工地提供了政府监管级、建筑企业级和施工现场级三类解决方案。政府监管级解决方案以一体化监管平台为核心,通过GIS地图展示辖区内工程项目、人员、设备信息,实现了施工现场安全状况和参建各方行为的实时监控和事前预防。建筑企业级解决方案则通过综合管理平台,提供项目管理、进度管控、劳务实名制等一站式服务,帮助企业实现工程管理的标准化和精益化。施工现场级解决方案则以可视化平台为基础,集成多个业务应用子系统,借助物联网应用终端,实现了施工信息化、管理智能化、监测自动化和决策可视化。这些解决方案的应用,不仅提高了施工效率和工程质量,还降低了安全风险,为建筑行业的可持续发展提供了有力支持。 值得一提的是,智慧工地的应用系统还围绕着工地“人、机、材、环”四个重要因素,提供了各类信息化应用系统。这些系统通过配置同步用户的组织结构、智能权限,结合各类子系统应用,实现了信息的有效触达、问题的及时跟进和工地的有序管理。此外,智慧工地还结合了虚拟现实(VR)和建筑信息模型(BIM)等先进技术,为施工人员提供了更为直观、生动的培训和管理工具。这些创新技术的应用,不仅提升了施工人员的技能水平和安全意识,还为建筑行业的数字化转型和智能化升级注入了新的活力。总的来说,智慧工地解决方案以其创新性、实用性和高效性,正在逐步改变建筑施工行业的传统管理模式,引领着建筑行业向更加智能化、高效化和可持续化的方向发展。
基于stm32人体健康监测系统,包含pcb (心率,血氧,体温,语音播报,报警) 本设计采用STM32F103C8T6作为主控 使用MAX30102采集心率和血氧值 使用MLX90614测量体温 OLED显示当前信息 语音播报使用SYN6658芯片,外围自己搭建,播放当前温度、心率、血氧 两个按键一个蜂鸣器警报,当体温、心率、血氧异常发出警报 资料包括源码,原理图,pcb,bom清单,都是原始文件
白色简洁风格的流行音乐演奏整站网站源码下载.zip
白色简洁风格的透明登录界面整站网站源码下载.zip
随着学业负担的日益加重,越来越多的学生选择通过家教、自学或参加补习班来加强课外学习。然而,家教费用高昂,自学效率低下且难以及时解决疑难问题,而补习班则受限于时间和地点,灵活性不足。此外,国家政策也不鼓励校外补习。鉴于网络技术的成熟和各类在线平台的兴起,开发一个专业的在线辅助学习网站对于辅助学生的课外学习显得尤为重要。 本在线教育系统基于Vue.js构建,采用B/S架构设计,后端语言为Java,数据库使用MySQL。通过整合Vue.js技术,系统界面更加丰富和友好。系统主要面向课程购买用户,涉及的角色包括管理员、学生和教师。学生可以注册登录后浏览课程视频、收藏课程、留言并购买课程,同时实现订单管理。管理员负责管理学生信息、课程信息、发布班级和管理章节等。教师则可以管理课程订单、课程内容和章节。该系统允许学生利用碎片时间自主学习,具有很高的灵活性,对于难以理解的课程可以反复学习并在线提问,极大地促进了学生的学习。
GaAs限幅器芯片:LCLM0002P1,工作频段DC-3Ghz
基于simulink的12 8开关磁阻电机电流斩波、角度位置调速控制、模型预测电流、转矩控制仿真程序
白色简洁风格的时尚室内设计整站网站源码下载.zip
内容概要:本文详细解析了HTTP请求的整个流程,包括用户请求发起、请求报文构建、服务器处理请求、响应报文生成、网络传输响应和浏览器接收响应六个阶段。每个阶段的内容均涵盖了关键步骤和技术细节,如DNS解析、TCP连接、缓存策略、HTTP/2性能提升、HTTPS加密等。通过这些内容,读者可以全面理解HTTP请求的完整流程。 适合人群:具备一定网络基础知识的前端、后端开发人员及IT运维人员。 使用场景及目标:适用于希望深入了解HTTP协议及其优化技术的技术人员,有助于提升系统的性能和安全性,优化用户体验。 阅读建议:本文内容详尽且涉及多个关键技术点,建议读者结合实际案例进行学习,逐步理解和掌握各个阶段的技术细节和优化方法。
2023-04-06-项目笔记-第三百五十九阶段-课前小分享_小分享1.坚持提交gitee 小分享2.作业中提交代码 小分享3.写代码注意代码风格 4.3.1变量的使用 4.4变量的作用域与生命周期 4.4.1局部变量的作用域 4.4.2全局变量的作用域 4.4.2.1全局变量的作用域_1 4.4.2.357局变量的作用域_357- 2024-12-26
白色简洁风格的互联网推广企业网站源码下载.zip
内容概要:本文详细解析了HTTP协议的发展历程,从HTTP/1.0到HTTP/3.0的各个版本演进特点,以及HTTP请求与响应的基本概念。此外,还分析了HTTP报文的结构,包括请求报文和响应报文的具体组成部分,并介绍了HTTPS协议的安全机制。 适合人群:网络开发人员、Web开发者以及对HTTP协议有深入了解需求的技术人员。 使用场景及目标:①理解和掌握HTTP协议的基本概念和工作原理;②了解HTTP协议各版本的改进及应用场景;③学习HTTPS协议的加密机制及其重要性。 阅读建议:本文详细解析了HTTP协议的基础概念和各个版本的演进过程,适合希望深入理解HTTP协议的技术人员阅读。可以结合实际项目中遇到的问题来加深对协议的理解。
OA办公系统源码是开发企业级管理软件的重要组成部分,它基于C#编程语言,利用ASP.NET框架,并结合SQL数据库技术,为企业的日常运营提供高效、便捷的自动化办公环境。源码是开发者的心血结晶,包含了从需求分析到设计、编码、测试的全过程,体现了软件工程的实践与理论知识。下面我们将深入探讨这些关键知识点。 C#是微软公司推出的一种面向对象的编程语言,广泛应用于Windows平台的开发。在OA办公系统中,C#提供了丰富的类库和工具,支持事件驱动编程,使得代码更简洁,可读性更强。C#支持泛型、自动垃圾回收、异常处理等特性,提高了程序的稳定性和安全性。 ASP.NET是微软构建Web应用程序的开发框架,它基于.NET Framework,提供了丰富的控件和模板,简化了网页开发。在OA办公系统源码中,ASP.NET负责处理HTTP请求,呈现动态内容,实现用户交互。MVC(Model-View-Controller)模式是ASP.NET常用的开发模式,它将业务逻辑、数据模型和用户界面分离,便于维护和扩展。 SQL(Structured Query Language)是用于管理和处理关系数据库的标准语
永磁同步电机无位置传感器控制,采用的是龙贝格,基于模型的 定点开发,仿真效果和实际95%高度吻合,可以仿真学习,也可以直接移植到项目中。内容来源于网络分享,如有侵权请联系我删除。另外如果没有积分的同学需要下载,请私信我。
三相逆变 单相 三相逆变器 SPWM ---stm32主控(输入、输出具体可根据需要设定),本逆变器可以二次开发。 本内容只包括 逆变程序,实现变频(0~100Hz)、变压调节,均有外接按键控制(使用C语言实现)。
白色简洁风格的旅行记录整站网站源码下载.zip
白色简洁风格的金融会计行业企业网站模板.rar