`

PostgreSQL启动过程中的那些事十八:bgwriter进程二

阅读更多

 3

       这节主要讨论 bgwriter 进程到了 BackgroundWriterMain ,设置合适的信号处理句柄, 创建一个资源属主以保持对本进程资源的跟踪 创建一个本进程的所有工作都在其内做的内存上下文 "Background Writer" ,创建这个内存上下文是为了本进程在错误恢复期间能重置 context 并且因此避免可能的内存泄漏。 设置错误跳跃点。接着不堵塞信号(当 postmaster 进程 fork 本进程时用 PG_SETMASK(&BlockSig) 堵塞了他们)。然后进入无限循环,检查并处理任何请求或者最近收到的信号。如果请求了检查 点,就根据情况做一个重启点或做一个检查点;如果没请求检查点,就做一个脏缓存写。然后再接着循环。

 

BackgroundWriterMain 方法的调用序列图

 

 

 

BackgroundWriterMain 方法的调用序列图

 

 

4

下面是 BackgroundWriterMain 流程示意图。


 

BackgroundWriterMain 流程示意图

    BackgroundWriterMain 中主要是根据情况看是否有创建检查点请求,如果有,再进一步根据情况判断是要做一个重启点还是要创建一个检查点,根据情况调用 CreateCheckPoint CreateRestartPoint 方法;如果没有请求检查点,调用 BgBuffferSync 方法做脏缓存写。

 

5

       其中 CreateCheckPoint 方法创建检查点的具体情况参见《 PostgreSQL 启动过程中的那些事十六:启动进程二》。创建重启点的 CreateRestartPoint 方法和 创建检查点相似,但被用于 WAL 恢复期间创建一个点,如果重启,恢复可以从这个点继续前滚而不用重放整个恢复日志。

 


 

CreateRestartPoint 流程示意图

    创建重启点主要是为恢复重启保持一个合适的检查点,这个检查点必须是一个安全的重启点。如果可能创建一个重启点,创建重启点主要是把数据库系统共享内存中的数据全部刷出到磁盘,并把可以安全重启的检查点存入控制文件和共享内存中相关变量,详细信息参见上面的“ CreateRestartPoint 流程示意图”。

 

6

BgBuffferSync 方法根据策略调用 SyncOneBuffer 把需要同步的脏缓存块逐个写出。 pg 里缓存池里的所有缓存块是由以 Nbuffers BufferDesc 结构数组里的 freeNext 组成的空闲缓存链表和一个查找缓存的哈西表索引 Shared Buffer Lookup Table ”(参见《 PostgreSQL 启动过程中的那些事七: shmem 中初始化 BufferPool 》)进行管理。其中, SyncOneBuffer() -> FlushBuffer() -> smgrwrite() ,在存储管理器 smgr smgrwrite 方法里根据 smgr 的接口 smgr_write 和规则转到磁盘 md mdwrite 方法。 mdwrite 方法不是同步写——在返回时块不是必须在磁盘上,其只是把这个缓存块的内容传到 OS kernel ,最终调用 OS Write 接口, kernel 再根据情况安排写磁盘任务。但是,在下一次检查点记录到 WAL 日志前通过文件同步 fsync 我们将强制将这些改变的缓存块写到磁盘。

BgBuffferSync 方法里多次提到 clock sweep 算法, clock sweep 算法是缓存池替换时使用的算法,其开始一个循环次数上限为 tryCounter=NBuffers 的循环来检查缓存池里的空闲缓存块,当找到一个引用计数 refCount 0 但最近使用过( usage_count 不等于 0 )的缓存块时将 usage_count 1 ,接着重新设置 tryCounter=NBuffers 并继续遍历,直到有缓存块的 refCount usage_count 都为 0 ,则其最近较少使用,可以被替换掉。

 


------------
转载请著明出处,来自博客:
blog.csdn.net/beiigang
beigang.iteye.com
 

 

 

  • 大小: 68.2 KB
  • 大小: 119.2 KB
  • 大小: 115.9 KB
10
15
分享到:
评论

相关推荐

    PostgreSQL内核分析

    1. **Postmaster**:这是PostgreSQL启动后创建的第一个进程,负责创建共享内存、初始化锁表和数据库缓冲区等内部数据结构,并监听用户请求,根据需要创建`postgres`进程来处理用户的服务请求。此进程在整个数据库...

    08开源数据库系统-03 PostgreSQL的主题分析-上传1

    辅助进程包括Syslogger、BgWriter、WalWriter、AutoVaccum和PgStat等。这些进程负责记录服务器运行中各类输出信息、回写“脏”数据缓冲区、回写WAL日志缓冲区、周期性对数据库进行过时数据的清理、收集各种统计信息...

    CentOS中运行PostgreSQL需要修改的内核参数及配置脚本分享

    然而,PostgreSQL自身会启动多个后台进程(如postmaster、checkpointer、bgwriter、WAL发送进程和日志进程),加上客户端的连接,很容易超过这个限制。因此,我们需要通过`/etc/security/limits.conf`配置文件来提升...

    sblim-gather-provider-2.2.8-9.el7.x64-86.rpm.tar.gz

    1、文件内容:sblim-gather-provider-2.2.8-9.el7.rpm以及相关依赖 2、文件形式:tar.gz压缩包 3、安装指令: #Step1、解压 tar -zxvf /mnt/data/output/sblim-gather-provider-2.2.8-9.el7.tar.gz #Step2、进入解压后的目录,执行安装 sudo rpm -ivh *.rpm 4、更多资源/技术支持:公众号禅静编程坊

    基于pringboot框架的图书进销存管理系统的设计与实现(Java项目编程实战+完整源码+毕设文档+sql文件+学习练手好项目).zip

    本图书进销存管理系统管理员功能有个人中心,用户管理,图书类型管理,进货订单管理,商品退货管理,批销订单管理,图书信息管理,客户信息管理,供应商管理,库存分析管理,收入金额管理,应收金额管理,我的收藏管理。 用户功能有个人中心,图书类型管理,进货订单管理,商品退货管理,批销订单管理,图书信息管理,客户信息管理,供应商管理,库存分析管理,收入金额管理,应收金额管理。因而具有一定的实用性。 本站是一个B/S模式系统,采用Spring Boot框架,MYSQL数据库设计开发,充分保证系统的稳定性。系统具有界面清晰、操作简单,功能齐全的特点,使得图书进销存管理系统管理工作系统化、规范化。本系统的使用使管理人员从繁重的工作中解脱出来,实现无纸化办公,能够有效的提高图书进销存管理系统管理效率。 关键词:图书进销存管理系统;Spring Boot框架;MYSQL数据库

    2024中国在人工智能领域的创新能力如何研究报告.pdf

    2024中国在人工智能领域的创新能力如何研究报告.pdf

    安全生产_人脸识别_移动目标跟踪_智能管控平台技术实现与应用_1741777778.zip

    人脸识别项目实战

    人脸识别_TF2_Facenet_训练预测应用仓库_1741778670.zip

    人脸识别项目实战

    安全人脸识别_对抗攻击_多模型集成_减少扰动_竞赛方案_Ne_1741779504.zip

    人脸识别项目实战

    Python实现基于CEEMDAN完全自适应噪声集合经验模态分解时间序列信号分解的详细项目实例(含完整的程序,GUI设计和代码详解)

    内容概要:本文档详细介绍了基于CEEMDAN(完全自适应噪声集合经验模态分解)的方法实现时间序列信号分解的具体项目。文中涵盖项目背景介绍、主要目标、面临的挑战及解决方案、技术创新点、应用领域等多方面内容。项目通过多阶段流程(数据准备、模型设计与构建、性能评估、UI设计),并融入多项关键技术手段(自适应噪声引入、并行计算、机器学习优化等)以提高非线性非平稳信号的分析质量。同时,该文档包含详细的模型架构描述和丰富的代码样例(Python代码),有助于开发者直接参考与复用。 适合人群:具有时间序列分析基础的科研工作者、高校教师与研究生,从事信号处理工作的工程技术人员,或致力于数据科学研究的从业人员。 使用场景及目标:此项目可供那些面临时间序列数据中噪声问题的人群使用,尤其适用于需从含有随机噪音的真实世界信号里提取有意义成分的研究者。具体场景包括但不限于金融市场趋势预测、设备故障预警、医疗健康监控以及环境质量变动跟踪等,旨在提供一种高效的信号分离和分析工具,辅助专业人士进行精准判断和支持决策。 其他说明:本文档不仅限于理论讲解和技术演示,更着眼于实际工程项目落地应用,强调软硬件资源配置、系统稳定性测试等方面的细节考量。通过完善的代码实现说明以及GUI界面设计指南,使读者能够全面理解整个项目的开发流程,同时也鼓励后续研究者基于已有成果继续创新拓展,探索更多的改进空间与发展机遇。此外,针对未来可能遇到的各种情况,提出了诸如模型自我调整、多模态数据融合等发展方向,为长期发展提供了思路指导。

    监护人,小孩和玩具数据集 4647张原始图片 监护人 食物 孩子 玩具 精确率可达85.4% pasical voc xml格式

    监护人,小孩和玩具数据集 4647张原始图片 监护人 食物 孩子 玩具 精确率可达85.4% pasical voc xml格式

    根据提供的内容可以构建以下_1741777949.zip

    人脸识别项目实战

    `计算机视觉_人脸识别_Python_OpenCV_树莓派毕业设计`.zip

    人脸识别项目实战

    智慧生产企业园区解决方案PPT(54页).pptx

    在智慧园区建设的浪潮中,一个集高效、安全、便捷于一体的综合解决方案正逐步成为现代园区管理的标配。这一方案旨在解决传统园区面临的智能化水平低、信息孤岛、管理手段落后等痛点,通过信息化平台与智能硬件的深度融合,为园区带来前所未有的变革。 首先,智慧园区综合解决方案以提升园区整体智能化水平为核心,打破了信息孤岛现象。通过构建统一的智能运营中心(IOC),采用1+N模式,即一个智能运营中心集成多个应用系统,实现了园区内各系统的互联互通与数据共享。IOC运营中心如同园区的“智慧大脑”,利用大数据可视化技术,将园区安防、机电设备运行、车辆通行、人员流动、能源能耗等关键信息实时呈现在拼接巨屏上,管理者可直观掌握园区运行状态,实现科学决策。这种“万物互联”的能力不仅消除了系统间的壁垒,还大幅提升了管理效率,让园区管理更加精细化、智能化。 更令人兴奋的是,该方案融入了诸多前沿科技,让智慧园区充满了未来感。例如,利用AI视频分析技术,智慧园区实现了对人脸、车辆、行为的智能识别与追踪,不仅极大提升了安防水平,还能为园区提供精准的人流分析、车辆管理等增值服务。同时,无人机巡查、巡逻机器人等智能设备的加入,让园区安全无死角,管理更轻松。特别是巡逻机器人,不仅能进行360度地面全天候巡检,还能自主绕障、充电,甚至具备火灾预警、空气质量检测等环境感知能力,成为了园区管理的得力助手。此外,通过构建高精度数字孪生系统,将园区现实场景与数字世界完美融合,管理者可借助VR/AR技术进行远程巡检、设备维护等操作,仿佛置身于一个虚拟与现实交织的智慧世界。 最值得关注的是,智慧园区综合解决方案还带来了显著的经济与社会效益。通过优化园区管理流程,实现降本增效。例如,智能库存管理、及时响应采购需求等举措,大幅减少了库存积压与浪费;而设备自动化与远程监控则降低了维修与人力成本。同时,借助大数据分析技术,园区可精准把握产业趋势,优化招商策略,提高入驻企业满意度与营收水平。此外,智慧园区的低碳节能设计,通过能源分析与精细化管理,实现了能耗的显著降低,为园区可持续发展奠定了坚实基础。总之,这一综合解决方案不仅让园区管理变得更加智慧、高效,更为入驻企业与员工带来了更加舒适、便捷的工作与生活环境,是未来园区建设的必然趋势。

    第八届全国大学生创新创业年会-创新创业展示项目集

    本届年会的主题是“青春梦想创新创业”。通过学术论文报告、创新创业项目展示、创业项目推介、工作研讨、联谊活动、大会报告等活动,全面展示大学生最新的创新创业成果。年会共收到491所高校推荐的学术论文756篇、创新创业展示项目721项、创业推介项目156项,合计1633项,为历届年会数量最高。经过36所“985”高校相关学科专家的初评以及国家级大学生创新创业训练计划专家组的复选,最终遴选出可参加本次年会的学术论文180篇,创新创业展示项目150个,创业推介项目45项,共计375项,涉及30个省市的236所高校。年会还收到了来自澳门特别行政区、俄罗斯的13项学术论文及参展项目。这些材料集中反映了各高校最新的创新创业教育成果,也直接体现了当代大学生的创新思维和实践能力。

    人脸识别_实时_ArcFace_多路识别技术_JavaScr_1741771263.zip

    人脸识别项目实战

    6ES7215-1AG40-0XB0-V04.04.01固件4.5

    6ES7215-1AG40-0XB0_V04.04.01固件4.5

    在无人机上部署SchurVins的yaml配置文件

    在无人机上部署SchurVins的yaml配置文件

    uniapp实战商城类app和小程序源码​​​​​​.rar

    uniapp实战商城类app和小程序源码,包含后端API源码和交互完整源码。

    基于MobileNet轻量级网络实现的常见30多种食物分类

    基于MobileNet轻量级网络实现的常见30多种食物分类,包含数据集、训练脚本、验证脚本、推理脚本等等。 数据集总共20k左右,推理的形式是本地的网页推理

Global site tag (gtag.js) - Google Analytics