Linux 创建多进程 & 线程时的进程栈段处理（学习记录）

          最近有日子没写博客了，这段时间有点事忙活一阵子，好在已经接近尾声。也该轮到投些时间好好研究下真刀真枪的东西，干些有意义的事。这两天抽时间继续往下看了看 Linux 内核和 Unix 编程的书，边看边琢磨，想到个关于进程在 fork 子进程或 pthread 出 lwp 时父亲进程的栈段是如何处理的问题，结合 Linux 内核的说明对这个问题有了明确的理解，在此做个笔记。大家也一起研究、分享下～

 

历史上来说，*nix 里的 C 程序进程由以下几部分组成：

 

1. 正文段。也有叫代码段的。存放着 CPU 执行的机器指令。它一般是共享、只读的。
2. 初始化数据段。存放着程序中明确赋初值的变量。
3. 非初始化数据段。也叫 bss ，存放着 C 函数之外的变量，内核会初始它为 0 填充。
4. 栈段。存放 auto 变量或函数调用传递的信息。包括返回值、实参，调用者上下文（忽然想到，闭包变量会用这个传递么？请教 guru），这些变量会存在一个 stack frame 中。
5. 堆段。用于 sbrk （malloc） 等动态内存分配的。

 

 

        这图说明了这些段的典型的布局。在 x86 CPU 的 Linux 中栈底位于 0xc0000000 开始，该地址以上存储的就是内核代码了（那段线性地址直接映射到物理地址）。当我看到这里的时候，困惑的问题是，在这种段结构中，当我们父进程生成多进程/线程的子进程时，linux 内核对这个父进程的 stack 段是怎么处理了，来保证每个不同进程/线程中的方法调用时，用 stack 来传递的调用信息不会混乱，怎么保证竞争条件下的正确入/出栈顺序？呵呵，现在看来当时的想法比较可笑了。正确理解如下所述。

 

*nix 有3种进程创建方式：

 

1. fork。内核为父进程创建副本，即子进程。传统情况下，该子进程将获得父进程完整复制，包括数据段（初始化和bss 段）和堆栈段。但是，由于 fork 之后经常跟着就是 execve 系统调用，因此现在的 *nix 会使用 COW（写时复制） 方式来 fork 子进程，也就是这些区域暂时不复制，并由内核将它们只读，当父/子进程对他们修改时，就将修改的部分保存在本次修改操作的进程地址空间中，通常单位是一页。内核为了提高性能，如果父子进程在同一颗 CPU 上的话呢（同 CPU 进程队列），会在 TASK_RUNNING 进程链中将子进程放在放在父进程的前边，这样可减少不必要的 COW 开销。此外还有一些其它属性也将由子进程继承，如实际、有效用户/组 ID，会话 ID，工作目录，环境，连接的共享存储段，资源限制等等。
2. lwp。轻量进程允许父子进程共享内核的在部分数据，页表（可共享全局数据），文件描述符表等。pthead 就是通过 lwp 实现的。
3. vfork。apue2中将 vfork 单提了来，个人觉得实际和 fork 是一要的，只不过是简版的。通过它创建的子进程能够共享父进程内存地址空间，但为了避免父子混乱，子进程暂时阻塞了父进程执行，直到子进程退出父进程再在此基础上继续执行。

 

          实际上看到这里，已经能够很清楚的解释我上面的疑问了，呵呵。fork 方式会独立出父子进程，vfork 会顺序执行。那么 fork/lwp 的具体细节内核是怎么做到的呢，继续挖。

 

          Linux 通过 clone 系统调用来创建 lwp，而 clone、fork、vfork 都是由 do_fork 内核函数来统一处理完成的，而 do_fork 又是由 copy_process 函数来完成功能的。再看一眼上面我最初想到的问题，已经知道 fork 会出来两个独立的用户进程空间，因此父子进程的栈段肯定不重复。但 lwp 怎么保证栈段不重复的呢，就是通过 clone 系统调用的 child_stack、tls 和 flags 参数来控制的，详细说明看文档和内核源码吧。Linux 中子进程的具体创建步骤说明可见《Understanding The Linux Kernel》 3th 的 P123 很详尽有看起来也有力道，呵呵。

 

          现在关于这个 tls 还有没理解的地方，在 GDT 中共有 3 个 TLS ，段选择符 0x33 - 0x43（那也就是说只允许最多 3  个线程局部数据段），这个 clone 的 tls 参数是传递的什么值，是 GDT 中 tls 的段描述符地址么？

 

研究的还很 top，很多知识点很模糊 ，且待我继续深入～ 期待哪位牛人能够赐教一二。

 

// 2009.04.21 21:50 添加 ////

 

作者：lzy.je
出处：http://lzy.iteye.com
本文版权归作者所有，只允许以摘要和完整全文两种形式转载，不允许对文字进行裁剪。未经作者同意必须保留此段声明，且在文章页面明显位置给出原文连接，否则保留追究法律责任的权利。

 

// 2009.04.21 21:52 添加 ////

 

找插图的时候无意搜到一篇很好的文章，推荐之。

缓冲区溢出深入理解

 

// 2010.01.06 12:49 添加 ////

 

全局变量 a[10] 定义区别在 elf 目标文件 .data 和 .bss 段内分配对比。

 

int a[10]
   text       data        bss        dec        hex
    836        260         72       1168        490

int a[10] = {0};
   text       data        bss        dec        hex
    836        260         72       1168        490

int a[10] = {1};
   text       data        bss        dec        hex
    836        324          8       1168        490

int a[10] = {1, 2, 4, 5, 6, 7, 8, 9, 10};
   text       data        bss        dec        hex
    836        324          8       1168        490