美文网首页
【译】使用Python的__slots__节省了9G的内存

【译】使用Python的__slots__节省了9G的内存

作者: whosemario | 来源:发表于2015-10-31 11:15 被阅读0次

此文章作者使用python的__slots__节省了将近9G的内存
原文链接: http://tech.oyster.com/save-ram-with-python-slots/

我们前面提到过Oyster.com的Python Web服务器是使用Python Dict存储大量的静态内容的。最近,我们使用Python的__slots__在4个处理器中每个处理器节省了2G的内存空间。
下面是一张我们使用这个方法前后的内存快照:


我们差不多创建了上百万个Image类的实例:
class Image(object):
    __slots__ = ['id', 'caption', 'url']

    def __init__(self, id, caption, url):
        self.id = id
        self.caption = caption
        self.url = url
        self._setup()

    # ... other methods ...

通常情况下Python使用dict来存储实例,这样非常好,它允许在运行时对实例设置变量。
然而,对一些在编译期就已经知道有什么变量的类,dict是非常耗内存的,当创建上百万个实例的时候,不足就更加突出了。你可以使用__slots__告知Python不用dict,只分配固定的空间来存储已知的属性

class Image(object):
    __slots__ = ['id', 'caption', 'url']

    def __init__(self, id, caption, url):
        self.id = id
        self.caption = caption
        self.url = url
        self._setup()

    # ... other methods ...

需要注意的是,你也可以使用collections.namedtuple来实现上面的结果,然而对我来说这种方式总是感觉奇怪,如果你想定制初始化,你需要重载__new__,而不是__init__。

注意:不用过早的优化和使用这个方法,它不利于代码维护,当实例很多(上千万)时,这种优化才有明显的效果。

相关文章

  • 【译】使用Python的__slots__节省了9G的内存

    此文章作者使用python的__slots__节省了将近9G的内存原文链接: http://tech.oyster...

  • Python进阶话题杂谈(四)__slots__

    __slots__是Python类中的一个非常重要的优化手段。使用了__slots__的类,其在内存占用、实例化以...

  • 浅析 Python __slots__

    上一篇翻译了一篇Python中使用__slots__达到节省内存的方法,今天就看一下Python内部是怎么实现__...

  • 魔术方法、特殊方法

    __slots__ 默认情况下Python用一个字典来保存一个对象的实例属性,字典浪费了很多内存。Python不能...

  • Python使用__slots__

    正常情况下,当我们定义了一个class,创建了一个class的实例后,我们可以给该实例绑定任何属性和方法,这就是动...

  • python中的__slots__使用

    如果我们想要限制实例的属性,Python允许在定义class的时候,定义一个特殊的slots变量,来限制该clas...

  • python中__slots__的使用解析

    正常情况下,当我们定义了一个class,创建了一个class的实例后,我们可以给该实例绑定任何属性和方法,这就是动...

  • python __slots__节省内存占用

    对于主要是用来当成简单的数据结构的类而言,你可以通过给类添加 slots 属性来极大的减少实例所占的内存。比如: ...

  • Python 实现slots的继承

    __slots__是python的一大神器。 它有两大的特点: 限制 MonkeyPatch,阻止python的一...

  • Python 面向对象高级编程

    使用__slots__ 使用@property 多重继承 定制类 使用枚举类 使用元类

网友评论

      本文标题:【译】使用Python的__slots__节省了9G的内存

      本文链接:https://www.haomeiwen.com/subject/nrnfhttx.html