PostgreSQL启动过程中的那些事七：初始化共享内存和信号十：shmem中初始化PROC索引、辅助进程和信号

这一节 pg 初始化进程表，通过 InitProcGlobal 例程实现，在postmaster 或standalone 进程启动时初始化全局进程表。pg 还创建了支持被请求的backend 进程时每个backend 进程需要的信号。以前pg 仅在backend 进程实际启动时分配信号，但是这样不好，因为这样使postgres 在加载时失败，很多unix 系统被配置/ 错误配置成在信号数目上比较小，在试着开启了一个进程时信号用完了，这是常见的故障。因此，现在pg 在初始化时就立即搞出足够的信号数以支持预期的最大backend 进程数。如果系统管理员把MaxBackends 设置的比kernel 里能够支持的高，他不久会发现。

在这儿创建信号的另一个原因是信号实现特别要求pg 在postmaster 中创建信号，而不是在backend 进程里创建。

1 先上个图，看一下函数调用过程梗概，中间略过部分细节

 

初始化 Proc 相关结构方法调用流程图

 

2 初始化 xlog 相关结构

        话说 main()-> … ->PostmasterMain()-> … ->reset_shared() -> CreateSharedMemoryAndSemaphores()> … ->InitProcGlobal() ，在 shmem 里调用 ShmemInitStruct() 初始化了 "Proc Header " 和 "AuxiliaryProcs " 相关结构；调用 ShmemAlloc() 分配了最多能用完的 PGPROC 和信号、锁等并初始化之 。初始化上面这些结构都会在共享内存 /shmem 哈希表索引 shmemIndex 中增加索引项，下面把初始化这些结构后的 shmemIndex 图放到下边，就不加一个索引一个图了，减小篇幅。不过这样就看不出先后顺序了，好在这些消失的信息对理解这些过程没什么影响。图中黄色的索引项就是本节新增加的索引项。

初始化完 Proc 相关结构 的共享内存结构图

 

InitProcGlobal() 调用 ShmemInitStruct() ， 在其中 调用 hash_search() 在哈希表索引 "ShmemIndex" 中查找 "Proc Header " ，如果没有，就在 shmemIndex 中给 "Proc Header " 分一个 HashElement 和 ShmemIndexEnt （ entry ） ，在其中的 Entry 中写上 "Proc Header " 。返回 ShmemInitStruct() ，再调用 ShmemAlloc() 在共享内存上给 "Proc Header " 相关结构（见下面“ Proc Header 相关结构图” ）分配空间，设置 entry （在这儿及ShmemIndexEnt 类型变量）的成员 location 指向该空间， size 成员记录该空间大小 ， 最后返回 InitProcGlobal () ，让 PROC_HDR * 类型 全局变量 ProcGlobal 指向 所分配内存 ，设置 PROC_HDR 结构类型的成员值。

 

Proc Header 相关结构图

 

接着 InitProcGlobal() 调用 ShmemInitStruct() ， 在其中 调用 hash_search() 在哈希表索引 "ShmemIndex" 中查找 "AuxiliaryProcs " ，如果没有，就在 shmemIndex 中给 "AuxiliaryProcs " 分一个 HashElement 和 ShmemIndexEnt （ entry ） ，在其中的 Entry 中写上 "AuxiliaryProcs " 。返回 ShmemInitStruct() ，再调用 ShmemAlloc() 在共享内存上给NUM_AUXILIARY_PROC 个（默认3 个） "AuxiliaryProcs " 相关结构（见下面“ ProcGlobal 相关结构图” ）分配空间，设置 entry （在这儿及ShmemIndexEnt 类型变量）的成员 location 指向该空间， size 成员记录该空间大小 ， 最后返回 InitProcGlobal () ，让 PG PROC * 类型 全局变量 AuxiliaryProcs 指向 所分配内存，初始化 PGPROC 成员 。这个 "AuxiliaryProcs " 相关结构是给bgwriter 进程用的。

这儿还有一点讨论一下，结构PGPROC 有个PGSemaphoreData 类型的成员，PGSemaphoreData 类型 和其指针类型 PGSemaphore 是表示私有信号的数据结构。在各平台上 PGSemaphoreData 的实现是不同的， PGSemaphoreData 结构总是被分配在共享内存中（以支持实现在加锁 / 解锁期间数据变化）。这个 PGSemaphoreData 类型的成员 sem 是通过 调用 PGSemaphoreCreate() 函数为每一个PGPROC 结构的 sem 成员初始化信号所用内存。信号在各操作系统中是不同的。下面是各系统的信号类型PGSemaphoreData 的定义。

POSIX 标准的 PGSemaphoreData 的定义：

typedef sem_t PGSemaphoreData;

SYSV 标准的 PGSemaphoreData 的定义：

typedef struct PGSemaphoreData

{

    int         semId;          /* semaphore set identifier */

    int         semNum;         /* semaphore number within set */

} PGSemaphoreData;

Windows 系统 PGSemaphoreData 的定义：

typedef HANDLE PGSemaphoreData;

 

接着 InitProcGlobal() 调用 ShmemAlloc() 在共享内存上给MaxConnectons 个（默认90 个）PGPROC 结构实例分配内存， 返回 InitProcGlobal () ，初始化这 90 个实例成员变量（和上面一样，也初始化了 PGPROC 中的信号成员 sem ），把它们组织成链表，让上面已经初始化的 ProcGlobal 变量的freeProcs 成员指向这个链表（见下面“ ProcGlobal 相关结构图” ）。

接着 InitProcGlobal() 调用 ShmemAlloc() 在共享内存上给 autovacuum_max_workers + 1 个（ autovacuum_max_workers 是 GUC 参数， 默认是3 ，+1 是代表 autovacuum 发起者进程。）PGPROC 结构实例分配内存， 返回 InitProcGlobal () ，初始化这 4 个实例成员变量（和上面一样，也初始化了 PGPROC 中的信号成员 sem ），把它们组织成链表，让上面已经初始化的 ProcGlobal 变量的autovacFreeProcs 成员指向这个链表（见下面“ ProcGlobal 相关结构图” ）。

最后 InitProcGlobal() 调用 ShmemAlloc() 在共享内存上给 slock_t * 类型变量 ProcStructLock 分配内存， 返回 InitProcGlobal () 并调用 SpinLockInit () 初始化之 （见下面“ ProcGlobal 相关结构图” ）。

pg 中的锁有三种类型：自旋 锁（spinlock ）、轻量锁（LWLock ）、常规锁（Lock ）， 作为一个主题另行讨论。

相关结构定义见下面：

/*

  * There is one ProcGlobal struct for the whole database cluster.

  */

typedef struct PROC_HDR

{

       /* Head of list of free PGPROC structures */

       PGPROC         *freeProcs;

       /* Head of list of autovacuum's free PGPROC structures */

       PGPROC         *autovacFreeProcs;

       /* Current shared estimate of appropriate spins_per_delay value */

       int                 spins_per_delay;

       /* The proc of the Startup process, since not in ProcArray */

       PGPROC         *startupProc;

       int                 startupProcPid;

       /* Buffer id of the buffer that Startup process waits for pin on, or -1 */

       int                 startupBufferPinWaitBufId;

} PROC_HDR;

 

ProcGlobal 相关结构图