`

PostgreSQL启动过程中的那些事七:初始化共享内存和信号十:shmem中初始化PROC索引、辅助进程和信号

阅读更多

这一节 pg 初始化进程表,通过 InitProcGlobal 例程实现,在postmasterstandalone 进程启动时初始化全局进程表。pg 还创建了支持被请求的backend 进程时每个backend 进程需要的信号。以前pg 仅在backend 进程实际启动时分配信号,但是这样不好,因为这样使postgres 在加载时失败,很多unix 系统被配置/ 错误配置成在信号数目上比较小,在试着开启了一个进程时信号用完了,这是常见的故障。因此,现在pg 在初始化时就立即搞出足够的信号数以支持预期的最大backend 进程数。如果系统管理员把MaxBackends 设置的比kernel 里能够支持的高,他不久会发现。

在这儿创建信号的另一个原因是信号实现特别要求pgpostmaster 中创建信号,而不是在backend 进程里创建。

1 先上个图,看一下函数调用过程梗概,中间略过部分细节

 

初始化 Proc 相关结构方法调用流程图

 

2 初始化 xlog 相关结构

        话说 main()-> ->PostmasterMain()-> ->reset_shared() -> CreateSharedMemoryAndSemaphores()> ->InitProcGlobal() ,在 shmem 里调用 ShmemInitStruct() 初始化了 "Proc Header " "AuxiliaryProcs " 相关结构;调用 ShmemAlloc() 分配了最多能用完的 PGPROC 和信号、锁等并初始化之 。初始化上面这些结构都会在共享内存 /shmem 哈希表索引 shmemIndex 中增加索引项,下面把初始化这些结构后的 shmemIndex 图放到下边,就不加一个索引一个图了,减小篇幅。不过这样就看不出先后顺序了,好在这些消失的信息对理解这些过程没什么影响。图中黄色的索引项就是本节新增加的索引项。


初始化完 Proc 相关结构 的共享内存结构图

 

InitProcGlobal() 调用 ShmemInitStruct() 在其中 调用 hash_search() 在哈希表索引 "ShmemIndex" 中查找 "Proc Header " ,如果没有,就在 shmemIndex 中给 "Proc Header " 分一个 HashElement ShmemIndexEnt entry ,在其中的 Entry 中写上 "Proc Header " 。返回 ShmemInitStruct() ,再调用 ShmemAlloc() 在共享内存上给 "Proc Header " 相关结构(见下面“ Proc Header 相关结构图” )分配空间,设置 entry (在这儿及ShmemIndexEnt 类型变量)的成员 location 指向该空间, size 成员记录该空间大小 最后返回 InitProcGlobal () ,让 PROC_HDR * 类型 全局变量 ProcGlobal 指向 所分配内存 ,设置 PROC_HDR 结构类型的成员值。

 

Proc Header 相关结构图

 

接着 InitProcGlobal() 调用 ShmemInitStruct() 在其中 调用 hash_search() 在哈希表索引 "ShmemIndex" 中查找 "AuxiliaryProcs " ,如果没有,就在 shmemIndex 中给 "AuxiliaryProcs " 分一个 HashElement ShmemIndexEnt entry ,在其中的 Entry 中写上 "AuxiliaryProcs " 。返回 ShmemInitStruct() ,再调用 ShmemAlloc() 在共享内存上给NUM_AUXILIARY_PROC 个(默认3 个) "AuxiliaryProcs " 相关结构(见下面“ ProcGlobal 相关结构图” )分配空间,设置 entry (在这儿及ShmemIndexEnt 类型变量)的成员 location 指向该空间, size 成员记录该空间大小 最后返回 InitProcGlobal () ,让 PG PROC * 类型 全局变量 AuxiliaryProcs 指向 所分配内存,初始化 PGPROC 成员 。这个 "AuxiliaryProcs " 相关结构是给bgwriter 进程用的。

这儿还有一点讨论一下,结构PGPROC 有个PGSemaphoreData 类型的成员,PGSemaphoreData 类型 和其指针类型 PGSemaphore 是表示私有信号的数据结构。在各平台上 PGSemaphoreData 的实现是不同的, PGSemaphoreData 结构总是被分配在共享内存中(以支持实现在加锁 / 解锁期间数据变化)。这个 PGSemaphoreData 类型的成员 sem 是通过 调用 PGSemaphoreCreate() 函数为每一个PGPROC 结构的 sem 成员初始化信号所用内存。信号在各操作系统中是不同的。下面是各系统的信号类型PGSemaphoreData 的定义。

POSIX 标准的 PGSemaphoreData 的定义:

typedef sem_t PGSemaphoreData;

SYSV 标准的 PGSemaphoreData 的定义:

typedef struct PGSemaphoreData

{

    int         semId;          /* semaphore set identifier */

    int         semNum;         /* semaphore number within set */

} PGSemaphoreData;

Windows 系统 PGSemaphoreData 的定义:

typedef HANDLE PGSemaphoreData;

 

接着 InitProcGlobal() 调用 ShmemAlloc() 在共享内存上给MaxConnectons 个(默认90 个)PGPROC 结构实例分配内存, 返回 InitProcGlobal () ,初始化这 90 个实例成员变量(和上面一样,也初始化了 PGPROC 中的信号成员 sem ),把它们组织成链表,让上面已经初始化的 ProcGlobal 变量的freeProcs 成员指向这个链表(见下面“ ProcGlobal 相关结构图” )。

接着 InitProcGlobal() 调用 ShmemAlloc() 在共享内存上给 autovacuum_max_workers + 1 个( autovacuum_max_workers GUC 参数, 默认是3+1 是代表 autovacuum 发起者进程。)PGPROC 结构实例分配内存, 返回 InitProcGlobal () ,初始化这 4 个实例成员变量(和上面一样,也初始化了 PGPROC 中的信号成员 sem ),把它们组织成链表,让上面已经初始化的 ProcGlobal 变量的autovacFreeProcs 成员指向这个链表(见下面“ ProcGlobal 相关结构图” )。

最后 InitProcGlobal() 调用 ShmemAlloc() 在共享内存上给 slock_t * 类型变量 ProcStructLock 分配内存, 返回 InitProcGlobal () 并调用 SpinLockInit () 初始化之 (见下面“ ProcGlobal 相关结构图” )。

pg 中的锁有三种类型:自旋 锁(spinlock )、轻量锁(LWLock )、常规锁(Lock ), 作为一个主题另行讨论。

相关结构定义见下面:

/*

  * There is one ProcGlobal struct for the whole database cluster.

  */

typedef struct PROC_HDR

{

       /* Head of list of free PGPROC structures */

       PGPROC         *freeProcs;

       /* Head of list of autovacuum's free PGPROC structures */

       PGPROC         *autovacFreeProcs;

       /* Current shared estimate of appropriate spins_per_delay value */

       int                 spins_per_delay;

       /* The proc of the Startup process, since not in ProcArray */

       PGPROC         *startupProc;

       int                 startupProcPid;

       /* Buffer id of the buffer that Startup process waits for pin on, or -1 */

       int                 startupBufferPinWaitBufId;

} PROC_HDR;

 

ProcGlobal 相关结构图

 

  • 大小: 101.6 KB
  • 大小: 147.1 KB
  • 大小: 443.5 KB
  • 大小: 219 KB
0
0
分享到:
评论

相关推荐

    nacos-2.0.1 postgresql初始化脚本

    nacos-2.0.1 postgresql初始化脚本

    PostgreSQL中文手册9.2

    一、服务器进程的启动和关闭: 一、服务器进程的启动和关闭: 一、服务器进程的启动和关闭: 一、服务器进程的启动和关闭: 一、服务器进程的启动和关闭: 一、服务器进程的启动和关闭: . 50 PostgreSQL PostgreSQL...

    postgresql--内核分析--多进程结构

    - `src/backend/utils/misc/pg_shmem.c`文件中实现了共享内存的相关功能,这对于多进程之间的通信非常重要。 #### 五、PostgreSQL与MySQL对比 **1. PostgreSQL文件目录组织**: - 整体代码结构清晰,遵循了良好的...

    quartz-2.2.3版本的quartz初始化sql语句

    在Quartz 2.2.3版本中,初始化数据库是使用Quartz的关键步骤,因为Quartz依赖于一个持久化存储来保存作业和触发器的信息。这个过程通常涉及执行一系列SQL语句来创建必要的表结构。 Quartz的初始化SQL语句主要用于...

    Go-PostgreSQLBGWorker用Go编写的PostgreSQL后台工作进程

    2. **初始化函数**:每个BGWorker都有一个初始化函数,该函数在进程启动时执行。这个函数负责设置必要的环境,例如打开日志文件、连接到数据库等。 3. **主循环**:BGWorker的主要任务通常在一个无限循环中执行,...

    MySQL和PostgreSQL的比较

    一个实例同样可以管理多个数据库,但这些数据库被组织成一个集群,存储在一个初始化时设定的磁盘区域中,该区域由一个目录构成,存储着所有数据。首次数据库创建则通过`initdb`命令完成。值得注意的是,PostgreSQL也...

    PostgreSQL修炼之道 从小工到专家.pptx

    * PostgreSQL配置:包括设置数据库参数、内存管理和日志记录等方面。 数据类型与表达式 * 数据类型:包括整数、字符串、日期时间、布尔值等基本数据类型。 * 表达式:包括算术运算符、比较运算符、逻辑运算符和...

    在windows下手动初始化PostgreSQL数据库教程

    在初始化过程中,initdb会生成一系列的配置文件和数据库模板,并设置默认的最大连接数、共享缓冲区等参数。完成初始化之后,会得到一系列的成功消息,表明数据库系统已经准备就绪。 最后,使用pg_ctl工具来启动...

    8基础 5:初始化 MySQL 数据库并建立连接(3).md

    在本节内容中,我们将深入了解如何使用Go语言和GORM库初始化MySQL数据库,并建立与该数据库的连接。GORM是一个流行的Go语言ORM(对象关系映射)库,它允许开发者通过编程方式与数据库交互,而无需编写大量的SQL代码...

    postgresql8.2.3 中文文档

    1. **安装与配置**:这部分内容会指导用户如何在不同操作系统上安装 PostgreSQL,包括设置数据目录、初始化数据库集群、配置服务器参数以及启动和停止服务。 2. **SQL语言**:文档详细介绍了SQL的使用,包括数据...

    linux配置postgresql

    在 Linux 系统中,可以通过以下命令启动 PostgreSQL: ``` # su – postgres pg$ /usr/local/pgsql/bin/postmaster ``` 这将启动 PostgreSQL 数据库服务器,并允许用户访问数据库。 配置 PostgreSQL 数据库需要多个...

    postgresql 12、15离线安装包

    在标题和描述中提到的“postgresql 12、15离线安装包”指的是为这两个版本提供的安装程序,适用于没有互联网连接或者网络环境受限的环境。离线安装包通常包含了所有必要的组件和依赖,使得用户可以在本地计算机上...

    Postgresql存储过程

    Postgresql存储过程详解 Postgresql存储过程是指在Postgresql数据库中定义的一组SQL语句的...Postgresql存储过程是Postgresql数据库中的一种强大工具,可以实现复杂的操作,提高数据库服务器的性能和应用程序的性能。

    Linux下PostgreSQL安装与开机启动

    初始化数据库是设置PostgreSQL的重要步骤之一,它创建数据库集群。 ##### 操作命令: ```bash su postgres /usr/local/pgsql/bin/initdb -D /usr/local/pgsql/data ``` **解释:** - `su postgres`:切换到`...

    PostgreSQL DBA实战视频教程(完整10门课程合集)

    PostgreSQL在开源关系型数据库市场是最先进的数据库。他的第一个版本在1989年发布,...启动时,他会执行恢复、初始化共享内存爱你的运行后台进程操作。正常服役期间,当有客户端发起链接请求时,它还负责创建后端进程。

    PostgreSQL博客1

    1. **共享内存**:用于不同后端进程间通信的数据结构,如缓冲区映射表和锁管理器。 2. **工作集内存**:每个后端进程都有自己的一块内存,用于存储查询解析、计划和执行期间使用的数据。 **文件系统** PostgreSQL...

    postgresql索引类型区别

    本文将详细介绍 PostgreSQL 中的多种索引类型,包括 Hash 索引、B-tree 索引、GiST 索引、GIN 索引和 SP-GiST 索引,帮助读者更好地理解和选择合适的索引类型。 Hash 索引 --------- Hash 索引是一种特殊的索引...

    PostgreSQL12.2中文手册.chm.7z

    PostgreSQL是一种开源的对象关系型数据库管理系统(ORM DBMS),它以其强大的功能、高度的可扩展性和稳定性在全球范围内被广泛使用。版本12.2是PostgreSQL的一个重要版本,提供了许多新特性和性能优化,旨在提升...

    新建SQL数据库并初始化

    2. **约束和索引**:为确保数据完整性和提高查询性能,可以添加主键约束、唯一性约束、外键约束和索引。例如,`PRIMARY KEY`定义主键,`UNIQUE`限制字段的唯一性,`FOREIGN KEY`建立关联,`INDEX`创建索引。 3. **...

    postgresql中文手册.zip

    1. **安装与配置**:了解如何在不同的操作系统上安装PostgreSQL,包括设置数据目录、初始化数据库集群、启动和停止服务,以及配置服务器参数以优化性能。 2. **SQL语法**:PostgreSQL支持标准SQL,包括数据定义语言...

Global site tag (gtag.js) - Google Analytics