`

PostgreSQL服务过程中的那些事三:pg服务进程中的内存上下文

 
阅读更多

 

        题外话:年底了,就以这篇博文结束2012吧


        总结回顾一下 pg 服务进程中的内存上下文吧。

         Pg 的内存管理就像经济体制,计划经济和市场经济并存,主要是共享内存和内存上下文。共享内存就是计划经济,启动时根据各相关参数计算好大小就固定了,使用时也严格按照计划使用。内存上下文就是市场经济,这一部分是按需使用。这两种内存的管理前面有几篇文章做了专门讨论,可以参考 pg的内存管理机制一:AllocSet的内存分配
http://blog.csdn.net/beiigang/article/details/7051589
PostgreSQL的内存管理机制二:AllocSet/MemoryContext的内存回收
http://blog.csdn.net/beiigang/article/details/7058324
PostgreSQL的内存管理机制三:AllocSet/MemoryContext实例删除和内存回收
http://blog.csdn.net/beiigang/article/details/7093975
PostgreSQL的内存管理机制四:AllocSet/MemoryContext的内存再分配
http://blog.csdn.net/beiigang/article/details/7096613
PostgreSQL的内存管理机制十一:初始化共享内存shared memory及其哈希表索引
http://blog.csdn.net/beiigang/article/details/7176390
PostgreSQL的内存管理机制十二:共享内存/shmem分配
http://blog.csdn.net/beiigang/article/details/7288763 等。

         这一节结合前面讨论简单查询的例子回顾一下 pg 服务进程处理简单查询时用到的各内存上下文。

 

1

下面是从 pg 服务进程从 postmaster 进程进程过来的内存上下文。



 

 

2

创建了 CacheMemoryContext 内存上下文 CacheMemoryContext 里创建 catchache 的相关对象 并创建了管理 relchache 的哈希表 RelationIdCache



 

 

3

创建了 PortalMemory 内存上下文 PortalMemory 里创建了管理 protal 的哈西表 “Postal hash” 对象。




 

 

4

创建了 MessageContext TransactionAbortContext TopTransactionContext 内存上下文 TopTransactionContext 创建了内存快照、资源属主 MessageContext 在其里创建了解析树、 query 树、 plan TransactionAbortContext 里记录在事务提交或回滚时要清理相关资源的情况。




 

 

5

创建了 inline_set_returning_function 临时 内存上下文 ,在里面处理内联函数返回值,用完后马上删除。




 

 

6

创建了 PortalHeapMemory ExecutorState HashTableContext HashBatchContext 等内存上下文。这些内存上下文和前面讨论简单查询时的例子紧密相关,会为了完成不同的查询语句而创建不同的内存上下文,下面是前面讨论时用到的例子,及这个查询语句的执行计划。

简单查询例子:

create table test1 (ID numeric(10), cname varchar(30));

create table test2 (ID numeric(10), comp varchar(30));

select cname,comp from test1,test2 where test1.id=test2.id;

 

         该例子的执行计划,可以看出对这两个表做 hash 连接和分别做顺序扫描,并做 hash 连接需要的 hash 运算。

explain  select cname,comp from test1,test2 where test1.id=test2.id;

"Hash Join  (cost=24.63..116.69 rows=2113 width=156)"

"  Hash Cond: (test1.id = test2.id)"

"  ->  Seq Scan on test1  (cost=0.00..16.50 rows=650 width=94)"

"  ->  Hash  (cost=16.50..16.50 rows=650 width=94)"

"        ->  Seq Scan on test2  (cost=0.00..16.50 rows=650 width=94)"

 

PortalHeapMemory 里创建了这个查询计划的描述符 QueryDesc ,及这个查询计划描述符 querydesc 的成员,这个查询计划的执行状态 Estate 等对象。

 

 

 

 

------------
转载请注明出处,来自博客:
blog.csdn.net/beiigang
beigang.iteye.com

 

 

 

 

 

 

  • 大小: 5 KB
  • 大小: 8 KB
  • 大小: 10.8 KB
  • 大小: 17 KB
  • 大小: 19.9 KB
  • 大小: 23.6 KB
1
8
分享到:
评论

相关推荐

    PostgresChina2018曾文旌阿里云RDSforPostgreSQL在PostgreSQL功能和性能改进.pdf

    3. **问题原因分析**:深入分析了问题的原因,诸如PostgreSQL多进程架构导致的进程上下文切换代价高、事务可见性判断复杂度随活跃事务数增加而增加等。 **云上部署 PostgreSQL 的挑战与应对** 在云上部署 ...

    藏经阁-PostgresChina2018_曾文旌_阿里云RDS_for_PostgreSQL在PostgreSQL功能和性能改

    通过控制不同类型SQL的并发数量,如将统计型SQL(OLAP)和事务型业务(OLTP)分入不同队列,减少进程上下文切换的代价。同时,对热点更新的部分表,通过内部锁管理和事务可见性判断的优化,降低冲突和复杂度,以应对...

    性能测试需要搞懂的问题.pdf

    20. **CSwitch**:指CPU从一个进程或线程切换到另一个的过程,涉及到上下文切换开销。 21. **磁盘I/O理解**:涉及读写操作,包括磁盘寻道、旋转延迟和数据传输时间。 22. **网络数据包传输时间定位**:使用网络...

    Nodejs作为游戏后端开发中级教程.rar

    在处理大量并发连接时,这种模型可以有效地利用系统资源,避免了线程上下文切换带来的开销。这对于处理玩家的实时交互、游戏状态同步等需求非常合适。 2. **模块系统**:Node.js 内置了强大的模块系统,允许开发者...

    杀死正在使用数据库的线程

    在执行这类操作前,应确保了解线程的上下文,尽量避免在关键事务或更新过程中进行。同时,应当定期备份数据库,以防不测。 6. **监控和优化** 长时间运行的线程可能是由于低效的SQL查询或资源争用引起的。因此,...

    哔哩哔哩Python课程列表.docx

    2. **Python进阶**:在掌握了基础后,可以深入学习类和对象、异常处理、装饰器、上下文管理器等高级特性。`BV1jz411b7DH`的课程将帮助你进一步提升Python编程技巧。 3. **Python数据库**:Python支持多种数据库操作...

    UnknownWord:分析英文文章,选择不认识的英文单词,并存入数据库

    例如,使用词性标注工具识别单词的词性,可能帮助区分动词、名词等,从而过滤掉一些常见的动词形式,因为它们在不同上下文中可能是认识的。另外,还可以引入机器学习算法,根据上下文信息猜测未知单词的含义,或者...

Global site tag (gtag.js) - Google Analytics