PostgreSQL启动过程中的那些事七:初始化共享内存和信号十:shmem中初始化PROC索引、辅助进程和信号...
这一节 pg 初始化进程表,通过 InitProcGlobal 例程实现,在postmaster 或standalone 进程启动时初始化全局进程表。pg 还创建了支持被请求的backend 进程时每个backend 进程需要的信号。以前pg 仅在backend 进程实际启动时分配信号,但是这样不好,因为这样使postgres 在加载时失败,很多unix 系统被配置/ 错误配置成在信号数目上比较小,在试着开启了一个进程时信号用完了,这是常见的故障。因此,现在pg 在初始化时就立即搞出足够的信号数以支持预期的最大backend 进程数。如果系统管理员把MaxBackends 设置的比kernel 里能够支持的高,他不久会发现。
在这儿创建信号的另一个原因是信号实现特别要求pg 在postmaster 中创建信号,而不是在backend 进程里创建。
1 先上个图,看一下函数调用过程梗概,中间略过部分细节
初始化 Proc 相关结构方法调用流程图
2 初始化 xlog 相关结构
话说 main()-> … ->PostmasterMain()-> … ->reset_shared() -> CreateSharedMemoryAndSemaphores()> … ->InitProcGlobal() ,在 shmem 里调用 ShmemInitStruct() 初始化了 "Proc Header " 和 "AuxiliaryProcs " 相关结构;调用 ShmemAlloc() 分配了最多能用完的 PGPROC 和信号、锁等并初始化之 。初始化上面这些结构都会在共享内存 /shmem 哈希表索引 shmemIndex 中增加索引项,下面把初始化这些结构后的 shmemIndex 图放到下边,就不加一个索引一个图了,减小篇幅。不过这样就看不出先后顺序了,好在这些消失的信息对理解这些过程没什么影响。图中黄色的索引项就是本节新增加的索引项。
初始化完 Proc 相关结构 的共享内存结构图
InitProcGlobal() 调用 ShmemInitStruct() , 在其中 调用 hash_search() 在哈希表索引 "ShmemIndex" 中查找 "Proc Header " ,如果没有,就在 shmemIndex 中给 "Proc Header " 分一个 HashElement 和 ShmemIndexEnt ( entry ) ,在其中的 Entry 中写上 "Proc Header " 。返回 ShmemInitStruct() ,再调用 ShmemAlloc() 在共享内存上给 "Proc Header " 相关结构(见下面“ Proc Header 相关结构图” )分配空间,设置 entry (在这儿及ShmemIndexEnt 类型变量)的成员 location 指向该空间, size 成员记录该空间大小 , 最后返回 InitProcGlobal () ,让 PROC_HDR * 类型 全局变量 ProcGlobal 指向 所分配内存 ,设置 PROC_HDR 结构类型的成员值。
Proc Header 相关结构图
接着 InitProcGlobal() 调用 ShmemInitStruct() , 在其中 调用 hash_search() 在哈希表索引 "ShmemIndex" 中查找 "AuxiliaryProcs " ,如果没有,就在 shmemIndex 中给 "AuxiliaryProcs " 分一个 HashElement 和 ShmemIndexEnt ( entry ) ,在其中的 Entry 中写上 "AuxiliaryProcs " 。返回 ShmemInitStruct() ,再调用 ShmemAlloc() 在共享内存上给NUM_AUXILIARY_PROC 个(默认3 个) "AuxiliaryProcs " 相关结构(见下面“ ProcGlobal 相关结构图” )分配空间,设置 entry (在这儿及ShmemIndexEnt 类型变量)的成员 location 指向该空间, size 成员记录该空间大小 , 最后返回 InitProcGlobal () ,让 PG PROC * 类型 全局变量 AuxiliaryProcs 指向 所分配内存,初始化 PGPROC 成员 。这个 "AuxiliaryProcs " 相关结构是给bgwriter 进程用的。
这儿还有一点讨论一下,结构PGPROC 有个PGSemaphoreData 类型的成员,PGSemaphoreData 类型 和其指针类型 PGSemaphore 是表示私有信号的数据结构。在各平台上 PGSemaphoreData 的实现是不同的, PGSemaphoreData 结构总是被分配在共享内存中(以支持实现在加锁 / 解锁期间数据变化)。这个 PGSemaphoreData 类型的成员 sem 是通过 调用 PGSemaphoreCreate() 函数为每一个PGPROC 结构的 sem 成员初始化信号所用内存。信号在各操作系统中是不同的。下面是各系统的信号类型PGSemaphoreData 的定义。
POSIX 标准的 PGSemaphoreData 的定义:
typedef sem_t PGSemaphoreData;
SYSV 标准的 PGSemaphoreData 的定义:
typedef struct PGSemaphoreData
{
int semId; /* semaphore set identifier */
int semNum; /* semaphore number within set */
} PGSemaphoreData;
Windows 系统 PGSemaphoreData 的定义:
typedef HANDLE PGSemaphoreData;
接着 InitProcGlobal() 调用 ShmemAlloc() 在共享内存上给MaxConnectons 个(默认90 个)PGPROC 结构实例分配内存, 返回 InitProcGlobal () ,初始化这 90 个实例成员变量(和上面一样,也初始化了 PGPROC 中的信号成员 sem ),把它们组织成链表,让上面已经初始化的 ProcGlobal 变量的freeProcs 成员指向这个链表(见下面“ ProcGlobal 相关结构图” )。
接着 InitProcGlobal() 调用 ShmemAlloc() 在共享内存上给 autovacuum_max_workers + 1 个( autovacuum_max_workers 是 GUC 参数, 默认是3 ,+1 是代表 autovacuum 发起者进程。)PGPROC 结构实例分配内存, 返回 InitProcGlobal () ,初始化这 4 个实例成员变量(和上面一样,也初始化了 PGPROC 中的信号成员 sem ),把它们组织成链表,让上面已经初始化的 ProcGlobal 变量的autovacFreeProcs 成员指向这个链表(见下面“ ProcGlobal 相关结构图” )。
最后 InitProcGlobal() 调用 ShmemAlloc() 在共享内存上给 slock_t * 类型变量 ProcStructLock 分配内存, 返回 InitProcGlobal () 并调用 SpinLockInit () 初始化之 (见下面“ ProcGlobal 相关结构图” )。
pg 中的锁有三种类型:自旋 锁(spinlock )、轻量锁(LWLock )、常规锁(Lock ), 作为一个主题另行讨论。
相关结构定义见下面:
/*
* There is one ProcGlobal struct for the whole database cluster.
*/
typedef struct PROC_HDR
{
/* Head of list of free PGPROC structures */
PGPROC *freeProcs;
/* Head of list of autovacuum's free PGPROC structures */
PGPROC *autovacFreeProcs;
/* Current shared estimate of appropriate spins_per_delay value */
int spins_per_delay;
/* The proc of the Startup process, since not in ProcArray */
PGPROC *startupProc;
int startupProcPid;
/* Buffer id of the buffer that Startup process waits for pin on, or -1 */
int startupBufferPinWaitBufId;
} PROC_HDR;
ProcGlobal 相关结构图