- 浏览: 230962 次
- 性别:
- 来自: 北京
文章分类
最新评论
-
chenxliang:
2016年10月26、27日,上海浦东,Postgres中国用 ...
PostgreSQL的用户、角色和权限管理 -
gejiod:
最近出了SQL:2011標準,希望樓主也更新下
SQL2008标准 -
lincon77:
太长了,又是E文,要是有些例子可能好理解些
SQL2003标准 -
少主丶无翼:
很谢,找了很久
SQL2003标准 -
zeeeitch:
...
PostgreSQL启动过程中的那些事七:初始化共享内存和信号二十:shmem中初始化堆同步扫描、pg子进程相关结构
这一节 pg 初始化进程表,通过 InitProcGlobal 例程实现,在postmaster 或standalone 进程启动时初始化全局进程表。pg 还创建了支持被请求的backend 进程时每个backend 进程需要的信号。以前pg 仅在backend 进程实际启动时分配信号,但是这样不好,因为这样使postgres 在加载时失败,很多unix 系统被配置/ 错误配置成在信号数目上比较小,在试着开启了一个进程时信号用完了,这是常见的故障。因此,现在pg 在初始化时就立即搞出足够的信号数以支持预期的最大backend 进程数。如果系统管理员把MaxBackends 设置的比kernel 里能够支持的高,他不久会发现。
在这儿创建信号的另一个原因是信号实现特别要求pg 在postmaster 中创建信号,而不是在backend 进程里创建。
1 先上个图,看一下函数调用过程梗概,中间略过部分细节
初始化 Proc 相关结构方法调用流程图
2 初始化 xlog 相关结构
话说 main()-> … ->PostmasterMain()-> … ->reset_shared() -> CreateSharedMemoryAndSemaphores()> … ->InitProcGlobal() ,在 shmem 里调用 ShmemInitStruct() 初始化了 "Proc Header " 和 "AuxiliaryProcs " 相关结构;调用 ShmemAlloc() 分配了最多能用完的 PGPROC 和信号、锁等并初始化之 。初始化上面这些结构都会在共享内存 /shmem 哈希表索引 shmemIndex 中增加索引项,下面把初始化这些结构后的 shmemIndex 图放到下边,就不加一个索引一个图了,减小篇幅。不过这样就看不出先后顺序了,好在这些消失的信息对理解这些过程没什么影响。图中黄色的索引项就是本节新增加的索引项。
初始化完 Proc 相关结构 的共享内存结构图
InitProcGlobal() 调用 ShmemInitStruct() , 在其中 调用 hash_search() 在哈希表索引 "ShmemIndex" 中查找 "Proc Header " ,如果没有,就在 shmemIndex 中给 "Proc Header " 分一个 HashElement 和 ShmemIndexEnt ( entry ) ,在其中的 Entry 中写上 "Proc Header " 。返回 ShmemInitStruct() ,再调用 ShmemAlloc() 在共享内存上给 "Proc Header " 相关结构(见下面“ Proc Header 相关结构图” )分配空间,设置 entry (在这儿及ShmemIndexEnt 类型变量)的成员 location 指向该空间, size 成员记录该空间大小 , 最后返回 InitProcGlobal () ,让 PROC_HDR * 类型 全局变量 ProcGlobal 指向 所分配内存 ,设置 PROC_HDR 结构类型的成员值。
Proc Header 相关结构图
接着 InitProcGlobal() 调用 ShmemInitStruct() , 在其中 调用 hash_search() 在哈希表索引 "ShmemIndex" 中查找 "AuxiliaryProcs " ,如果没有,就在 shmemIndex 中给 "AuxiliaryProcs " 分一个 HashElement 和 ShmemIndexEnt ( entry ) ,在其中的 Entry 中写上 "AuxiliaryProcs " 。返回 ShmemInitStruct() ,再调用 ShmemAlloc() 在共享内存上给NUM_AUXILIARY_PROC 个(默认3 个) "AuxiliaryProcs " 相关结构(见下面“ ProcGlobal 相关结构图” )分配空间,设置 entry (在这儿及ShmemIndexEnt 类型变量)的成员 location 指向该空间, size 成员记录该空间大小 , 最后返回 InitProcGlobal () ,让 PG PROC * 类型 全局变量 AuxiliaryProcs 指向 所分配内存,初始化 PGPROC 成员 。这个 "AuxiliaryProcs " 相关结构是给bgwriter 进程用的。
这儿还有一点讨论一下,结构PGPROC 有个PGSemaphoreData 类型的成员,PGSemaphoreData 类型 和其指针类型 PGSemaphore 是表示私有信号的数据结构。在各平台上 PGSemaphoreData 的实现是不同的, PGSemaphoreData 结构总是被分配在共享内存中(以支持实现在加锁 / 解锁期间数据变化)。这个 PGSemaphoreData 类型的成员 sem 是通过 调用 PGSemaphoreCreate() 函数为每一个PGPROC 结构的 sem 成员初始化信号所用内存。信号在各操作系统中是不同的。下面是各系统的信号类型PGSemaphoreData 的定义。
POSIX 标准的 PGSemaphoreData 的定义:
typedef sem_t PGSemaphoreData;
SYSV 标准的 PGSemaphoreData 的定义:
typedef struct PGSemaphoreData
{
int semId; /* semaphore set identifier */
int semNum; /* semaphore number within set */
} PGSemaphoreData;
Windows 系统 PGSemaphoreData 的定义:
typedef HANDLE PGSemaphoreData;
接着 InitProcGlobal() 调用 ShmemAlloc() 在共享内存上给MaxConnectons 个(默认90 个)PGPROC 结构实例分配内存, 返回 InitProcGlobal () ,初始化这 90 个实例成员变量(和上面一样,也初始化了 PGPROC 中的信号成员 sem ),把它们组织成链表,让上面已经初始化的 ProcGlobal 变量的freeProcs 成员指向这个链表(见下面“ ProcGlobal 相关结构图” )。
接着 InitProcGlobal() 调用 ShmemAlloc() 在共享内存上给 autovacuum_max_workers + 1 个( autovacuum_max_workers 是 GUC 参数, 默认是3 ,+1 是代表 autovacuum 发起者进程。)PGPROC 结构实例分配内存, 返回 InitProcGlobal () ,初始化这 4 个实例成员变量(和上面一样,也初始化了 PGPROC 中的信号成员 sem ),把它们组织成链表,让上面已经初始化的 ProcGlobal 变量的autovacFreeProcs 成员指向这个链表(见下面“ ProcGlobal 相关结构图” )。
最后 InitProcGlobal() 调用 ShmemAlloc() 在共享内存上给 slock_t * 类型变量 ProcStructLock 分配内存, 返回 InitProcGlobal () 并调用 SpinLockInit () 初始化之 (见下面“ ProcGlobal 相关结构图” )。
pg 中的锁有三种类型:自旋 锁(spinlock )、轻量锁(LWLock )、常规锁(Lock ), 作为一个主题另行讨论。
相关结构定义见下面:
/*
* There is one ProcGlobal struct for the whole database cluster.
*/
typedef struct PROC_HDR
{
/* Head of list of free PGPROC structures */
PGPROC *freeProcs;
/* Head of list of autovacuum's free PGPROC structures */
PGPROC *autovacFreeProcs;
/* Current shared estimate of appropriate spins_per_delay value */
int spins_per_delay;
/* The proc of the Startup process, since not in ProcArray */
PGPROC *startupProc;
int startupProcPid;
/* Buffer id of the buffer that Startup process waits for pin on, or -1 */
int startupBufferPinWaitBufId;
} PROC_HDR;
ProcGlobal 相关结构图
发表评论
-
PostgreSQL服务过程中的那些事三:pg服务进程中的内存上下文
2012-12-31 15:07 2063题外话:年底了,就以这篇博文结束2012 ... -
PostgreSQL服务过程中的那些事二:Pg服务进程处理简单查询六:执行器执行
2012-11-07 20:13 1822话说 查询“ select c ... -
PostgreSQL服务过程中的那些事二:Pg服务进程处理简单查询五:规划成plantree
2012-10-31 20:37 1730话说 查询“ select cname, comp ... -
PostgreSQL服务过程中的那些事二:Pg服务进程处理简单查询四:分析重写成querytree
2012-10-24 19:27 1436话说 查询“ select cname, comp ... -
postgresql 小技巧
2012-10-16 19:36 1377Note : #PostgreSQL and ... -
PostgreSQL服务过程中的那些事二:Pg服务进程处理简单查询三:获取内存快照
2012-10-16 19:31 1762话说 查询“ select cname, comp ... -
PostgreSQL服务过程中的那些事二:Pg服务进程处理简单查询二:SQL解析为parsetree
2012-10-09 19:50 1528话说 查询“ select cname, comp fr ... -
PostgreSQL服务过程中的那些事二:Pg服务进程处理简单查询一:开启事务
2012-09-25 19:55 1886在《 PostgreSQL 服务过程中的那些事二: ... -
PostgreSQL服务过程中的那些事一:启动postgres服务进程一.八:加载DB基础设施,完成服务进程初始化
2012-09-18 21:02 1804话说调用 InitPostgres ... -
PostgreSQL服务过程中的那些事一:启动postgres服务进程一.七:初始化portal管理环境
2012-09-11 19:58 1631话说调用 In ... -
PostgreSQL服务过程中的那些事一:启动postgres服务进程一.六:初始化系统表缓存catcache
2012-09-04 20:51 1856话说调用 InitPostgres ... -
PostgreSQL服务过程中的那些事一:启动postgres服务进程一.五:初始化relcache管理环境
2012-08-28 20:47 1314话说调用 InitPostgres ... -
PostgreSQL服务过程中的那些事一:启动postgres服务进程三:初始化relcache管理环境
2012-08-28 20:46 0<!-- [if gte mso 9]><x ... -
PostgreSQL服务过程中的那些事二:Pg服务进程处理简单查询梗概
2012-08-21 21:04 1258话说客户端发起请求, pg 服务器为该请求启动一个 ... -
PostgreSQL服务过程中的那些事一:启动postgres服务进程二:建立连接完成
2012-08-13 18:50 15773 这节主要讨论 pg 服务进程 pos ... -
PostgreSQL服务过程中的那些事一:启动postgres服务进程一
2012-08-08 14:42 5686到pg 服务进程了,打算搞一个完整但简单的查询例子,从 ... -
PostgreSQL启动过程中的那些事十九:walwriter进程二
2012-08-03 16:53 13803 这节主要讨论 walwrit ... -
PostgreSQL启动过程中的那些事十九:walwriter进程一
2012-08-01 17:26 1612话说 main()->Po ... -
PostgreSQL启动过程中的那些事十八:bgwriter进程二
2012-07-27 07:25 14303 这节主要讨论 bgwr ... -
PostgreSQL启动过程中的那些事十八:bgwriter进程一
2012-07-23 20:18 1641话说 main()->Postm ...
相关推荐
nacos-2.0.1 postgresql初始化脚本
一、服务器进程的启动和关闭: 一、服务器进程的启动和关闭: 一、服务器进程的启动和关闭: 一、服务器进程的启动和关闭: 一、服务器进程的启动和关闭: 一、服务器进程的启动和关闭: . 50 PostgreSQL PostgreSQL...
- `src/backend/utils/misc/pg_shmem.c`文件中实现了共享内存的相关功能,这对于多进程之间的通信非常重要。 #### 五、PostgreSQL与MySQL对比 **1. PostgreSQL文件目录组织**: - 整体代码结构清晰,遵循了良好的...
在Quartz 2.2.3版本中,初始化数据库是使用Quartz的关键步骤,因为Quartz依赖于一个持久化存储来保存作业和触发器的信息。这个过程通常涉及执行一系列SQL语句来创建必要的表结构。 Quartz的初始化SQL语句主要用于...
2. **初始化函数**:每个BGWorker都有一个初始化函数,该函数在进程启动时执行。这个函数负责设置必要的环境,例如打开日志文件、连接到数据库等。 3. **主循环**:BGWorker的主要任务通常在一个无限循环中执行,...
一个实例同样可以管理多个数据库,但这些数据库被组织成一个集群,存储在一个初始化时设定的磁盘区域中,该区域由一个目录构成,存储着所有数据。首次数据库创建则通过`initdb`命令完成。值得注意的是,PostgreSQL也...
* PostgreSQL配置:包括设置数据库参数、内存管理和日志记录等方面。 数据类型与表达式 * 数据类型:包括整数、字符串、日期时间、布尔值等基本数据类型。 * 表达式:包括算术运算符、比较运算符、逻辑运算符和...
在初始化过程中,initdb会生成一系列的配置文件和数据库模板,并设置默认的最大连接数、共享缓冲区等参数。完成初始化之后,会得到一系列的成功消息,表明数据库系统已经准备就绪。 最后,使用pg_ctl工具来启动...
在本节内容中,我们将深入了解如何使用Go语言和GORM库初始化MySQL数据库,并建立与该数据库的连接。GORM是一个流行的Go语言ORM(对象关系映射)库,它允许开发者通过编程方式与数据库交互,而无需编写大量的SQL代码...
1. **安装与配置**:这部分内容会指导用户如何在不同操作系统上安装 PostgreSQL,包括设置数据目录、初始化数据库集群、配置服务器参数以及启动和停止服务。 2. **SQL语言**:文档详细介绍了SQL的使用,包括数据...
在 Linux 系统中,可以通过以下命令启动 PostgreSQL: ``` # su – postgres pg$ /usr/local/pgsql/bin/postmaster ``` 这将启动 PostgreSQL 数据库服务器,并允许用户访问数据库。 配置 PostgreSQL 数据库需要多个...
在标题和描述中提到的“postgresql 12、15离线安装包”指的是为这两个版本提供的安装程序,适用于没有互联网连接或者网络环境受限的环境。离线安装包通常包含了所有必要的组件和依赖,使得用户可以在本地计算机上...
Postgresql存储过程详解 Postgresql存储过程是指在Postgresql数据库中定义的一组SQL语句的...Postgresql存储过程是Postgresql数据库中的一种强大工具,可以实现复杂的操作,提高数据库服务器的性能和应用程序的性能。
初始化数据库是设置PostgreSQL的重要步骤之一,它创建数据库集群。 ##### 操作命令: ```bash su postgres /usr/local/pgsql/bin/initdb -D /usr/local/pgsql/data ``` **解释:** - `su postgres`:切换到`...
PostgreSQL在开源关系型数据库市场是最先进的数据库。他的第一个版本在1989年发布,...启动时,他会执行恢复、初始化共享内存爱你的运行后台进程操作。正常服役期间,当有客户端发起链接请求时,它还负责创建后端进程。
1. **共享内存**:用于不同后端进程间通信的数据结构,如缓冲区映射表和锁管理器。 2. **工作集内存**:每个后端进程都有自己的一块内存,用于存储查询解析、计划和执行期间使用的数据。 **文件系统** PostgreSQL...
本文将详细介绍 PostgreSQL 中的多种索引类型,包括 Hash 索引、B-tree 索引、GiST 索引、GIN 索引和 SP-GiST 索引,帮助读者更好地理解和选择合适的索引类型。 Hash 索引 --------- Hash 索引是一种特殊的索引...
PostgreSQL是一种开源的对象关系型数据库管理系统(ORM DBMS),它以其强大的功能、高度的可扩展性和稳定性在全球范围内被广泛使用。版本12.2是PostgreSQL的一个重要版本,提供了许多新特性和性能优化,旨在提升...
2. **约束和索引**:为确保数据完整性和提高查询性能,可以添加主键约束、唯一性约束、外键约束和索引。例如,`PRIMARY KEY`定义主键,`UNIQUE`限制字段的唯一性,`FOREIGN KEY`建立关联,`INDEX`创建索引。 3. **...
1. **安装与配置**:了解如何在不同的操作系统上安装PostgreSQL,包括设置数据目录、初始化数据库集群、启动和停止服务,以及配置服务器参数以优化性能。 2. **SQL语法**:PostgreSQL支持标准SQL,包括数据定义语言...