`

PostgreSQL启动过程中的那些事十九:walwriter进程一

阅读更多

 

       话说 main()->PostmasterMain()->StartupDataBase() fork 了启动进程调用,调用 StartupXLOG 方法,启动 XLOG 、验证数据库一致性、根据情况做数据库恢复和创建检查点,然后启动进程退出。 Postmaster 进程响应启动进程退出信号,启动了后台写进程、 WAL 日志写进程、 AUTOVACUUM 进程、归档进程、统计进程这些辅助进程。

 

1

 

 

StartupDataBase 调用流程略图

 

这几个进程都调用自己相应的函数,组织不同入参,然后调用 postmaster_forkexec 函数,创建一个进程,根据不同的入参在 SubPostmasterMain 函数里走了不同的分支。

       这一节讨论 walwriter 的启动过程 。该进程是 pg 8.3 里新加的。

walwriter 后台进程尝试保持一个常规后台进程完成写出 WAL 页面和文件同步 WAL 页面。它还保证 未被伴随提交立即同步到磁盘的事务提交记录(即“异步提交”)在可知的时间里到达磁盘——象实际发生的那样,最多三次 wal 写延迟( wal_writer_delay )周期时间。

注意,象 bgwriter 进程对于共享缓存那样,当 walwriter 进程不能保持时,其它后台进程有权发起 WAL 写和文件同步。

Walwriter 进程有 postmaster 进程中 startup 子进程一结束就启动。一直保留到 postmaster 进程命令其结束。通常结束时通过 SIGTERM 信号,其指示 walwriter 进程以 exit(0) 退出。紧急结束通过 SIGQUIT 信号;象其他任何后台进程, walwriter SIGQUIT 上快速退出。

如果 walwriter 非期望退出, postmaster 进程等同后台进程崩溃处理:共享内存可能被干掉,因此保留的后台进程应该由 SIGQUIT 信号杀死然后开始一个恢复周期。

       Write Ahead XLog 是在写事务数据到数据文件前先写事务日志 XLOG 。这样事务提交时可以线性文件同步事务日志到 XLOG 文件,异步写事务数据到数据文件,减少了集中 I/O 操作。

 

2

       walwriter 进程启动后的调用流程图如下:

 

 

walwriter 进程的调用流程略图

 

在启动进程里 Main()->SubPostmasterMain() ,调用了如下方法,启动 XLOG 后就结束了生命。

1 MemoryContextInt 方法,参见《 PostgresQL 启动过程中的那些事一》;

2 InitializeGUCOptions 方法,参见《 PostgresQL 启动过程中的那些事三》;

3 Read_backend_variablases 方法,为重组 BackendParameters 结构读取前面存储的文件 pgsql_tmp/pgsql_tmp.backend_var.[pid].[tmpFileNum]

4 PGSharedMemoryReAttach 方法, attach 进程 postmaster 里的共享内存;

5 read_nondefault_variables 方法,读非默认 GUC 参数,参见《 PostgresQL 中的那些事 十一:保存非默认 GUC 参数到文件 》;

6 ClosePostmasterPorts 方法,关闭“启动进程”不用的文件句柄,当然,在 postmaster 进程里这些文件还是打开的;

7 InitShmemAccess 方法,在初始化本进程共享内存全局变量:这些 shmem 头的 ShmemSegHdr shmem 起始地址 ShmemBase shmem 结束地址 +1 ShmemBase 。定义见下面。

static PGShmemHeader *ShmemSegHdr ;           /* shared mem segment header */

static void *ShmemBase;                      /* start address of shared memory */

static void *ShmemEnd;                       /* end+1 address of shared memory */

8 InitAuxiliaryProcess 方法,初始化一个 PGPROC 结构;

9 CreateSharedMemoryAndSemaphores 方法,参见《 PostgresQL 中的那些事七》;

10 InitXlogAccess 方法,根据在关系内存里的 xlog 控制结构 XLogCtl 初始化了全局变量 ThisTimeLineID RedoRecPtr

11 WalWriterMain 方法是辅助进程 WalWriter 进程的入口函数,其主要工作都在这个方法里。

 

SubPostmasterMain 的流程图见下面。根据启动进程的传入参数“ postgres –forkboot NULL [v_AuxProcType] ”走了 "--forkboot" 这个分支。还有 bgwriter 进程、 WalWriter 进程、 WalReciver 进程都走了这个分支,以后要讨论到相关进程,就直接从这个分支里开始了。还有 AutoVacuumLauncher 进程、 AutoVacuumWorker 进程、归档进程、统计进程以及为前端提供服务的 postgres 进程等在进程初始阶段,几乎没有区别的都走了 1-6 步,然后根据不同入参走了不同的分支,因此以后要讨论到这些进程,就直接从这些分支开始。


SubPostmasterMain 的流程图

 

8 InitAuxiliaryProcess 初始化了一个每个辅助进程都有一个的 PGPROC 结构。每一个后台进程都在共享内存里有一个 PGPROC 结构,共享内存里有一个未使用的 PGPROC 结构链表,从其中给新的后台进程分配。参见《 PostgresQL 启动过程中的那些事七初始化 ProcGlobal 》。

当等待锁时,这个 PGPROC 结构被链入锁的等待进程队列。回收后的 PGPROC 链入 ProcGlobal 的空闲进程列表。

注意,两阶段提交会为每一个当前已准备事务设置一个假的 PGPROC 。这些 PGPROC 出现在 ProcArray 数据结构里以使已准备事务显示其还在运行并且能正确显示其持有锁。已准备事务的 PGPROC 和真实进程的 PGPROC 的区别是已准备事务的 PGPROC pid 等于 0 。在已准备事务的 PGPROC 里不使用信号和锁行为,但是它的 myProcLocks[] 列表是有效的。

struct PGPROC

{

    /* proc ->links 必须是结构的第一个成员 */

    SHM_QUEUE   links ;        /* list link if process is in a list */

 

    PGSemaphoreData sem ;     /* ONE semaphore to sleep on */

    int         waitStatus ;       /* STATUS_WAITING, STATUS_OK or STATUS_ERROR */

 

    LocalTransactionId lxid ; /* local id of top-level transaction currently

                              * being executed by this proc , if running;

                              * else InvalidLocalTransactionId */

 

    TransactionId xid ;          /* id of top-level transaction currently being

                              * executed by this proc , if running and XID

                              * is assigned; else InvalidTransactionId */

 

    TransactionId xmin ;         /* minimal running XID as it was when we were

                              * starting our xact , excluding LAZY VACUUM:

                              * vacuum must not remove tuples deleted by

                              * xid >= xmin ! */

 

    int         pid ;          /* Backend's process ID; 0 if prepared xact */

 

    /* 当后台进程仍在启动时这些字段是 0: */

    BackendId   backendId ;    /* This backend's backend ID (if assigned) */

    Oid         databaseId ;       /* OID of database this backend is using */

    Oid         roleId ;           /* OID of role using this backend */

 

    bool        inCommit ;     /* true if within commit critical section */

 

    uint8       vacuumFlags ;  /* vacuum-related flags, see above */

 

    /* 当是热备模式时,显示已为当前事务发出冲突信号。尽管没有要求,当持有 ProcArrayLock 锁事设置 / 消除。如果需要,没有锁可以访问。

    bool        recoveryConflictPending ;

 

    /* 如果有,是进程当前正在等待的轻量锁的信息 */

    bool        lwWaiting ;    /* true if waiting for an LW lock */

    bool        lwExclusive ;  /* true if waiting for exclusive access */

    struct PGPROC * lwWaitLink ;  /* next waiter for same LW lock */

 

    /* 如果有,进程当前正在等待的锁的信息 */

    /* 如果当前没有等待的锁, waitLock waitProcLock NULL */

    LOCK       * waitLock ;     /* Lock object we're sleeping on ... */

    PROCLOCK    * waitProcLock ; /* Per-holder info for awaited lock */

    LOCKMODE    waitLockMode ; /* type of lock we're waiting for */

    LOCKMASK    heldLocks ;    /* bitmask for lock types already held on this

                              * lock object by this backend */

 

    Latch       procLatch ;    /* generic latch for process */

 

    /* 如果需要,是允许本进程等待同步复制的信息。如果没有等待的话 waitLSN 的值是 InvalidXLogRecPtr ;仅由用户后台进程设置。除非属主进程或 WALSender 进程可以 touch syncRepState 。仅当持有 SyncRepLock 锁时才可以用 syncRepLinks

      */

    XLogRecPtr waitLSN ;      /* waiting for this LSN or higher */

    int         syncRepState ; /* wait state for sync rep */

    SHM_QUEUE   syncRepLinks ; /* list link if process is in syncrep queue */

 

    /* 为锁持有的所有 PROCLOCK 对象或者由该后台进程等待的 PROCLOCK 被链入这些链表中的一个,根据他们锁的分区号。

    所有为持有锁或者有后台进程等待的 PROCLOCK 对象被链到这个列表,股他们锁的发布号。

      */

    SHM_QUEUE   myProcLocks [NUM_LOCK_PARTITIONS];

 

    struct XidCache subxids ; /* cache for subtransaction XIDs */

};

 

typedef struct SHM_QUEUE

{

    struct SHM_QUEUE * prev ;

    struct SHM_QUEUE * next ;

} SHM_QUEUE ;

       10 步调用 InitXlogAccess 方法,根据在关系内存里的 xlog 控制结构 XLogCtl 初始化了全局变量 ThisTimeLineID RedoRecPtr

11 步调用 WalWriterMain 方法,做了 walwriter 进程的主要工作。


 


 

AuxiliaryProcessMain 的流程图

AuxiliaryProcessMain 方法中,设置本进程运行模式为引导模式,调用 BaseInit 方法初始化了一个虚拟文件描述符结构 Vfd 的头指针 VfdCache 并注册了进程退出是清理临时文件的函数,接着初始化了存储管理器,这个另行讨论,最后初始化了本地记录每个缓存信息的数组 。然后根据情况 ProcSignalInit 为辅助进程分配 ProcSignalSlot ,调用 InitBufferPoolBackbend 方法,在其中调用 on_shmem_exit 注册共享内存退出清理缓存相关资源要调用的函数 AtProcExit_Buffers 。然后把进程设回通常模式。根据传入参数先调用了 InitXLOGAccess 方法,先从共享内存的 XLogCtl 结构里取了当前时间线 ID ThisTimeLineID 放到同名的变量里,然后又从 XLogCtl 结构的 XLogCtlInsert 类型成员 Insert 里取了最后检查点的下一个记录位置 RedoRecPtr 放到同名变量里。接着调用 WalWriterMain ,做了 walwriter 进程的主要主要工作。

先到这儿吧,下一篇接着讨论 WalWriterMain 方法。



------------
转载请著明出处,来自博客:
blog.csdn.net/beiigang
beigang.iteye.com

  • 大小: 45.9 KB
  • 大小: 30.7 KB
  • 大小: 89.9 KB
  • 大小: 54.4 KB
0
0
分享到:
评论

相关推荐

    PostgreSQL内核分析

    1. **Postmaster**:这是PostgreSQL启动后创建的第一个进程,负责创建共享内存、初始化锁表和数据库缓冲区等内部数据结构,并监听用户请求,根据需要创建`postgres`进程来处理用户的服务请求。此进程在整个数据库...

    PostgreSQL_原理简介

    - **后端进程 (Postgres)**:每个查询执行时都会启动一个独立的后端进程。 - **数据写入器 (Datawriter)**:负责将更改的数据从内存刷到磁盘。 - **归档进程 (Archiver)**:用于归档重做日志(WAL)文件。 - **统计...

    08开源数据库系统-03 PostgreSQL的主题分析-上传1

    PostgreSQL的进程结构包括一个核心监听进程postmaster和多个辅助进程。postmaster负责启动服务器集群,监听客户请求,分派后台处理进程。辅助进程包括Syslogger、BgWriter、WalWriter、AutoVaccum和PgStat等。这些...

    PostgreSQL的架构

    1. Postmaster(Daemon) Process,这是PostgreSQL启动时第一个启动的主后台驻留进程,它负责恢复和初始化共享内存,启动后台进程,并在有客户端请求连接时创建后端进程。 2. Background Process,包括多个后台进程如...

    kernel-devel-4.18.0-553.45.1.el8-10.x86-64.rpm

    Rocky Linux 8.10内核包

    Simulink中三阶单环多位量化Σ-Δ调制器的设计与实现-音频带ADC的应用(复现论文或解答问题,含详细可运行代码及解释)

    内容概要:本文档详细介绍了如何在Simulink中设计一个满足特定规格的音频带ADC(模数转换器)。首先选择了三阶单环多位量化Σ-Δ调制器作为设计方案,因为这种结构能在音频带宽内提供高噪声整形效果,并且多位量化可以降低量化噪声。接着,文档展示了具体的Simulink建模步骤,包括创建模型、添加各个组件如积分器、量化器、DAC反馈以及连接它们。此外,还进行了参数设计与计算,特别是过采样率和信噪比的估算,并引入了动态元件匹配技术来减少DAC的非线性误差。性能验证部分则通过理想和非理想的仿真实验评估了系统的稳定性和各项指标,最终证明所设计的ADC能够达到预期的技术标准。 适用人群:电子工程专业学生、从事数据转换器研究或开发的技术人员。 使用场景及目标:适用于希望深入了解Σ-Δ调制器的工作原理及其在音频带ADC应用中的具体实现方法的人群。目标是掌握如何利用MATLAB/Simulink工具进行复杂电路的设计与仿真。 其他说明:文中提供了详细的Matlab代码片段用于指导读者完成整个设计流程,同时附带了一些辅助函数帮助分析仿真结果。

    计算机课后习题.docx### 【计算机科学】研究生入学考试计算机组成原理专项题库设计:考研复习资源集成与优化

    内容概要:该题库专为研究生入学考试计算机组成原理科目设计,涵盖名校考研真题、经典教材课后习题、章节题库和模拟试题四大核心模块。名校考研真题精选多所知名高校的计算机组成原理科目及计算机联考真题,并提供详尽解析,帮助考生把握考研命题趋势与难度。经典教材课后习题包括白中英《计算机组成原理》(第5版)和唐朔飞《计算机组成原理》(第2版)的全部课后习题解答,这两部教材被众多名校列为考研指定参考书目。章节题库精选代表性考题,注重基础知识与重难点内容,帮助考生全面掌握考试大纲要求的知识点。模拟试题依据历年考研真题命题规律和热门考点,精心编制两套全真模拟试题,并附标准答案,帮助考生检验学习成果,评估应试能力。 适用人群:计划参加研究生入学考试并报考计算机组成原理科目的考生,尤其是需要系统复习和强化训练的学生。 使用场景及目标:①通过研读名校考研真题,考生可以准确把握考研命题趋势与难度,有效评估复习成效;②通过经典教材课后习题的练习,考生可以巩固基础知识,掌握解题技巧;③通过章节题库的系统练习,考生可以全面掌握考试大纲要求的各个知识点,为备考打下坚实基础;④通过模拟试题的测试,考生可以检验学习成果,评估应试能力,为正式考试做好充分准备。 其他说明:该题库不仅提供详细的题目解析,还涵盖了计算机组成原理的各个方面,包括计算机系统概述、数据表示与运算、存储器分层、指令系统、中央处理器、总线系统和输入输出系统等。考生在使用过程中应结合理论学习与实践操作,注重理解与应用,以提高应试能力和专业知识水平。

    __UNI__DB9970A__20250328141034.apk.1

    __UNI__DB9970A__20250328141034.apk.1

    minio-rsc-Rust资源

    rust for minio

    4-4-台区智能融合终端功能模块型式规范(试行).pdf

    国网台区终端最新规范

    《基于YOLOv8的化工管道焊缝缺陷检测系统》(包含源码、可视化界面、完整数据集、部署教程)简单部署即可运行。功能完善、操作简单,适合毕设或课程设计.zip

    资源内项目源码是来自个人的毕业设计,代码都测试ok,包含源码、数据集、可视化页面和部署说明,可产生核心指标曲线图、混淆矩阵、F1分数曲线、精确率-召回率曲线、验证集预测结果、标签分布图。都是运行成功后才上传资源,毕设答辩评审绝对信服的保底85分以上,放心下载使用,拿来就能用。包含源码、数据集、可视化页面和部署说明一站式服务,拿来就能用的绝对好资源!!! 项目备注 1、该资源内项目代码都经过测试运行成功,功能ok的情况下才上传的,请放心下载使用! 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习,也适合小白学习进阶,当然也可作为毕设项目、课程设计、大作业、项目初期立项演示等。 3、如果基础还行,也可在此代码基础上进行修改,以实现其他功能,也可用于毕设、课设、作业等。 下载后请首先打开README.txt文件,仅供学习参考, 切勿用于商业用途。

    python源码-1个机器学习相关资源

    一个简单的机器学习代码示例,使用的是经典的鸢尾花(Iris)数据集,通过 Scikit-learn 库实现了一个简单的分类模型。这个代码可以帮助你入门机器学习中的分类任务。

    pyqt离线包,pyqt-tools离线包

    pyqt离线包,pyqt-tools离线包

    《基于YOLOv8的船舶机舱灭火系统状态监测系统》(包含源码、可视化界面、完整数据集、部署教程)简单部署即可运行。功能完善、操作简单,适合毕设或课程设计.zip

    资源内项目源码是来自个人的毕业设计,代码都测试ok,包含源码、数据集、可视化页面和部署说明,可产生核心指标曲线图、混淆矩阵、F1分数曲线、精确率-召回率曲线、验证集预测结果、标签分布图。都是运行成功后才上传资源,毕设答辩评审绝对信服的保底85分以上,放心下载使用,拿来就能用。包含源码、数据集、可视化页面和部署说明一站式服务,拿来就能用的绝对好资源!!! 项目备注 1、该资源内项目代码都经过测试运行成功,功能ok的情况下才上传的,请放心下载使用! 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习,也适合小白学习进阶,当然也可作为毕设项目、课程设计、大作业、项目初期立项演示等。 3、如果基础还行,也可在此代码基础上进行修改,以实现其他功能,也可用于毕设、课设、作业等。 下载后请首先打开README.txt文件,仅供学习参考, 切勿用于商业用途。

    SQL常用日期和时间函数整理及使用示例

    SQL常用日期和时间函数整理及在sqlserver测试示例 主要包括 1.查询当前日期GETDATE 2.日期时间加减函数DATEADD 3 返回两个日期中指定的日期部分之间的差值DATEDIFF 4.日期格式转换CONVERT(VARCHAR(10),GETDATE(),120) 5.返回指定日期的年份数值 6.返回指定日期的月份数值 7.返回指定日期的天数数值

    GSDML-V2.3-Turck-BL20-E-GW-EN-20160524-010300.xml

    GSDML-V2.3-Turck-BL20_E_GW_EN-20160524-010300.xml

    T_CPCIF 0225-2022 多聚甲醛.docx

    T_CPCIF 0225-2022 多聚甲醛.docx

    《基于YOLOv8的智能仓储货物堆码倾斜预警系统》(包含源码、可视化界面、完整数据集、部署教程)简单部署即可运行。功能完善、操作简单,适合毕设或课程设计.zip

    《基于YOLOv8的智能仓储货物堆码倾斜预警系统》(包含源码、可视化界面、完整数据集、部署教程)简单部署即可运行。功能完善、操作简单,适合毕设或课程设计

    蚕豆脱壳机设计.zip

    蚕豆脱壳机设计.zip

    附件2-2:台区智能融合终端入网专业检测单位授权委托书.docx

    台区终端电科院送检文档

Global site tag (gtag.js) - Google Analytics