`
lantian_123
  • 浏览: 1368499 次
  • 性别: Icon_minigender_1
  • 来自: 广州
社区版块
存档分类
最新评论

Python 整数对象实现原理

 
阅读更多

原文:http://foofish.net/blog/89/python_int_implement

整数对象在Python内部用PyIntObject结构体表示:

typedef struct {
    PyObject_HEAD
    long ob_ival;
} PyIntObject;

PyObject_HEAD宏中定义的两个属性分别是:

int ob_refcnt;        
struct _typeobject *ob_type;

这两个属性是所有Python对象固有的:

  • ob_refcnt:对象的引用计数,与Python的内存管理机制有关,它实现了基于引用计数的垃圾收集机制
  • ob_type:用于描述Python对象的类型信息。

由此看来PyIntObject就是一个对C语言中long类型的数值的扩展,出于性能考虑,对于小整数,Python使用小整数对象池small_ints缓存了[-5,257)之间的整数,该范围内的整数在Python系统中是共享的。

#define NSMALLPOSINTS           257
#define NSMALLNEGINTS           5
static PyIntObject *small_ints[NSMALLNEGINTS + NSMALLPOSINTS];

pythonblock_small_int

而超过该范围的整数即使值相同,但对象不一定是同一个,如下所示:当a与b的值都是10000,但并不是同一个对象,而值为1的时候,a和b属于同一个对象。

>>> a = 10000
>>> b = 10000
>>> print a is b
False
>>> a = 1
>>> b = 1
>>> print a is b
True

对于超出了[-5, 257)之间的其他整数,Python同样提供了专门的缓冲池,供这些所谓的大整数使用,避免每次使用的时候都要不断的malloc分配内存带来的效率损耗。这块内存空间就是PyIntBlock

struct _intblock {

    struct _intblock *next;
    PyIntObject objects[N_INTOBJECTS];
};
typedef struct _intblock PyIntBlock;

static PyIntBlock *block_list = NULL;
static PyIntObject *free_list = NULL;

这些内存块(blocks)由一个单向链表表示,表头是block_listblock_list始终指向最新创建的PyIntBlock对象。next指针指向下一个PyIntBlock对象,objects是一个PyIntObject数组(最终会转变成单向链表),它是真正用于存储被缓存的PyIntObjet对象的内存空间。 free_list单向链表是所有block的objects中空闲的内存。所有空闲内存通过一个链表组织起来的好处就是在Python需要新的内存来存储新的PyIntObject对象时,能够通过free_list快速获得所需的内存。

python int blcik

创建一个整数对象时,如果它在小整数范围内,就直接从小整数缓冲池中直接返回,如果不在该范围内,就开辟一个大整数缓冲池内存空间:

[intobject.c]
PyObject* PyInt_FromLong(long ival)
{
     register PyIntObject *v; 
#if NSMALLNEGINTS + NSMALLPOSINTS > 0
     //[1] :尝试使用小整数对象池
     if (-NSMALLNEGINTS <= ival && ival < NSMALLPOSINTS) {
        v = small_ints[ival + NSMALLNEGINTS];
        Py_INCREF(v);
        return (PyObject *) v;
    }
#endif
    //[2] :为通用整数对象池申请新的内存空间
    if (free_list == NULL) {
        if ((free_list = fill_free_list()) == NULL)
            return NULL;
    }
    //[3] : (inline)内联PyObject_New的行为
    v = free_list;
    free_list = (PyIntObject *)v->ob_type;
    PyObject_INIT(v, &PyInt_Type);
    v->ob_ival = ival;
    return (PyObject *) v;
}

fill_free_list就是创建大整数缓冲池内存空间的逻辑,该函数返回一个free_list链表,当整数对象ival创建成功后,free_list表头就指向了v->ob_typeob_type不是所有Python对象中表示类型信息的字段吗?怎么在这里作为一个连接指针呢?这是Python在性能与代码优雅之间取中庸之道,对名称的滥用,放弃了对类型安全的坚持。把它理解成指向下一个PyIntObject的指针即可。

[intobject.c]
static PyIntObject* fill_free_list(void)
{
    PyIntObject *p, *q;
    // 申请大小为sizeof(PyIntBlock)的内存空间
    // block list始终指向最新创建的PyIntBlock
    p = (PyIntObject *) PyMem_MALLOC(sizeof(PyIntBlock));
    ((PyIntBlock *)p)->next = block_list;
    block_list = (PyIntBlock *)p;

    //:将PyIntBlock中的PyIntObject数组(objects)转变成单向链表
    p = &((PyIntBlock *)p)->objects[0];
    q = p + N_INTOBJECTS;
    while (--q > p)
        // ob_type指向下一个未被使用的PyIntObject。
        q->ob_type = (struct _typeobject *)(q-1);
    q->ob_type = NULL;
    return p + N_INTOBJECTS - 1;
}

不同的PyIntBlock里面的空闲的内存是怎样连接起来构成free_list的呢?这个秘密放在了整数对象垃圾回收的时候,在PyIntObject对象的tp_dealloc操作中可以看到:

[intobject.c]
static void int_dealloc(PyIntObject *v)
{
    if (PyInt_CheckExact(v)) {
        v->ob_type = (struct _typeobject *)free_list;
        free_list = v;
    }
    else
        v->ob_type->tp_free((PyObject *)v);
}

原来PyIntObject对象销毁时,它所占用的内存并不会释放,而是继续被Python使用,进而将free_list表头指向了这个要被销毁的对象上。

总结

  • Python中的int对象就是c语言中long类型数值的扩展
  • 小整数对象[-5, 257]在python中是共享的
  • 整数对象都是从缓冲池中获取的。
  • 整数对象回收时,内存并不会归还给系统,而是将其对象的ob_type指向free_list,供新创建的整数对象使用

参考:intobject.cy

 

原文:http://foofish.net/blog/89/python_int_implement

1
5
分享到:
评论

相关推荐

    Python整数对象实现原理详解

    ### Python整数对象实现原理详解 #### 一、引言 在Python中,整数对象是一种常见的数据类型,被广泛应用于各种计算场景之中。本文旨在深入探讨Python整数对象的具体实现原理,帮助读者理解其背后的技术细节。我们...

    Python字典对象实现原理详解

    ### Python字典对象实现原理详解 #### 一、引言 Python字典是Python编程语言中一种非常重要的数据结构,其基本特征是以键值对的形式存储数据。与列表或元组不同,字典中的元素是无序的,通过键来进行快速检索。...

    Python语言整数运算实现机制分析与性能评估.zip

    了解Python整数运算的实现机制对于优化代码性能和理解内部工作原理至关重要。 1. **Python整数类型** Python中的整数(`int`)类型是无限精度的,这意味着可以处理任意大小的整数,不受32位或64位限制。这种设计...

    Python字符串对象实现原理详解

    Python字符串对象的实现原理涉及到内存管理、对象结构和性能优化等多个方面。首先,我们要了解Python中的对象分类。在Python的世界里,对象分为两类:定长对象和变长对象。定长对象如整数,它们在创建时即确定了所需...

    Python源码剖析(Robert+Chen)

    - **创建和操作整数对象**:SmallPython提供了创建整数对象的方法`PyInt_Create`,并通过`int_print`和`int_add`函数实现了整数对象的打印和加法操作。 - **简化的设计选择**:由于SmallPython的设计目的是教育性的...

    python内存管理机制原理详解

    - 第1层和第2层是内存池,Python通过接口函数PyMem_Malloc实现,处理1到256字节大小的内存分配,分配时一次性获取256K的内存,并保持这部分内存不被释放,以备后续使用。 - 第0层处理超过256字节的大内存,使用...

    深入源码解析Python中的对象与类型

    这里,`a`是一个整数对象,类型为`int`。在底层,`a`是一个`PyObject`结构体实例,并且它的`ob_type`字段指向了表示`int`类型的`PyTypeObject`实例。 #### 总结 本文深入探讨了Python内部如何实现对象和类型,重点...

    Python源码剖析笔记

    #### Python整数对象 Python的整数对象是Python内部实现的一种高效的对象类型,它支持任意大小的整数。Python通过动态内存分配来存储不同大小的整数值,并通过引用计数机制来管理对象的生命周期。 #### Python执行...

    c++调用Python函数(并返回数据).zip

    例如,如果函数需要一个整数参数,我们可以使用`PyLong_FromLong()`创建一个整数对象。 5. **调用Python函数**:使用`PyObject_CallObject()`函数来调用Python函数,传入函数对象和参数列表(如果有的话)。 6. **...

    基于python的LDA模型实现代码

    2. **创建语料库**:将预处理后的文本转换为`gensim`可以理解的格式,如`gensim.corpora.Dictionary`对象,它将词汇表映射到唯一的整数ID。 3. **构建Term-Document矩阵**:使用`gensim.corpora.Dictionary`创建的...

    Python的内存管理机制.pdf

    Python的内存管理机制主要涉及以下几个方面:小整数对象池、intern机制、垃圾回收(引用计数、标记清除、分代回收)。 首先,小整数对象池是Python为提升程序性能而设计的一个优化机制。Python预分配了一个范围在[-...

    python-2.7.3源码

    - `Objects` 目录:实现了 Python 内部对象的 C 代码,如字符串、列表、字典等。 - `Parser` 和 `Grammar` 目录:包含了 Python 解释器的解析器和语法定义。 - `Python` 目录:包含 Python 解释器的主要 C 代码,...

    Python课后题答案.docx

    4. **Python程序的执行原理**: - 源代码经过Python解释器编译为字节码,再由Python虚拟机(PVM)执行。 5. **IPython的特点**: - 提供了一个功能更强大的交互式Shell,具有自动补全、自动缩进等功能。 - 支持...

    python2_python_

    5. **面向对象编程**:Python 2支持类(class)和对象(object),可以实现封装、继承和多态等面向对象特性。 6. **文件操作**:Python 2提供了对文件的读写操作,如`open()`函数、`read()`、`write()`和`close()`...

    Python源码剖析.pdf

    Python中的所有东西都是对象,包括整数、字符串、函数等。源码剖析会深入到Python对象的内存布局,理解对象的创建、属性访问、方法调用以及引用计数等对象机制。 4. Python执行模型: Python程序的执行涉及编译和...

Global site tag (gtag.js) - Google Analytics