Python中的迭代器漫談

心不留意外塵 2016-08-01

展開全文

http://www.jb51.net/article/53947.htm

2015

問題是在Python中進(jìn)行循環(huán)的時候產(chǎn)生的，熟悉Python的都知道，它沒有類似其它語言中的for循環(huán), 只能通過for in的方式進(jìn)行循環(huán)遍歷。最典型的應(yīng)用就是通過range函數(shù)產(chǎn)生一個列表，然后用for in進(jìn)行操作，如下:

復(fù)制代碼代碼如下:

#!/usr/bin/env python
for i in range(10):
print i

代碼的意義很好理解，range會產(chǎn)生一個列表，用for in最這個列表進(jìn)行遍歷，就有和類似for(i = 0;i<n;i++)同樣的效果，range函數(shù)的詳解可以看這里。問題又來了，range這個對象會產(chǎn)生一個列表，那么這個列表的內(nèi)容鐵定是存放在內(nèi)存當(dāng)中的，當(dāng)需要的循環(huán)數(shù)量太大時，是相當(dāng)占用內(nèi)存的, 為了統(tǒng)計使用range占用內(nèi)存的情況，我做了6次使用，分別用range產(chǎn)生100，10000，100000，1000000，10000000,100000000長度的列表，然后統(tǒng)計內(nèi)存的占用:

復(fù)制代碼代碼如下:

測試代碼占用內(nèi)存
range(100) 2.0MB
range(10000) 2.2MB
range(100000) 3.8MB
range(1000000) 19.5MB
range(10000000) 168.5MB
range(100000000) 1465.8MB

可以看到，隨著基數(shù)的加大，占用內(nèi)存呈幾何倍數(shù)增加，顯然在進(jìn)行大循環(huán)操作的時候，要避免使用range。

為了解決上述問題，python提供了另外一個函數(shù)xrange，這個函數(shù)和range非常相似，但是占用內(nèi)存比range會小很多，相關(guān)的說明可以查看這里，經(jīng)過測試，用xrange產(chǎn)生的對象，不管參數(shù)是多少，占用內(nèi)存幾乎都沒有變化。問題又來了，xrange內(nèi)部是如何實現(xiàn)的，為什么和range性能相差這么大？為了驗證我的猜想，先嘗試用python實現(xiàn)類似xrange的函數(shù)zrange:

復(fù)制代碼代碼如下:

#!/usr/bin/env python
class zrange(object):
    def __init__(self,stop):
        self.__pointer=0
        self.stop=stop
    def __iter__(self):
        return self
    def next(self): #python3.0中，改用__next__
        if self.__pointer >= self.stop:
            raise StopIteration
        else:
            self.__pointer = self.__pointer + 1
            return self.__pointer-1
test = zrange(10000000)
for i in test:
    print i

運行的結(jié)果和xrange一樣, 對zrange進(jìn)行內(nèi)存占用測試，發(fā)現(xiàn)和xrange一樣，參數(shù)的大小對內(nèi)存占用幾乎沒有影響。那么它和range的區(qū)別在哪里呢？

前面說到，range產(chǎn)生的是一個列表，而無論是自定義的zrange還是系統(tǒng)內(nèi)置的xrange產(chǎn)生的都是一個對象，像xrange或者zrange產(chǎn)生的對象，就叫做可迭代對象, 它給外部提供了一種遍歷其內(nèi)部元素，而不用關(guān)心其內(nèi)部實現(xiàn)的方法。上面zrange的實現(xiàn)中, 最關(guān)鍵的實現(xiàn)是建立了一個內(nèi)部指針__pointer, 它記錄當(dāng)前的訪問的位置, 下次的訪問就可以通過指針的狀態(tài)進(jìn)行相應(yīng)的操作。

Python或者其它語言中，還有很多類似通過迭代的方式訪問對象內(nèi)容的，如讀取一個文件中的內(nèi)容:

復(fù)制代碼代碼如下:

#!/usr/bin/env python
f = open('zrange.py','r')
while True:
    line = f.readline()
    if not line:
        break
    print line.strip()
f.close()

大家都知道用readline要比reandlines節(jié)省資源，其實readline和readlines就類似于xrange和range，一個是通過指針記錄當(dāng)前位置，下次訪問把指針往前移動一個單位，另外一個是直接把所有內(nèi)容存放到內(nèi)存當(dāng)中。文件操作函數(shù)中，還可以通過seek手動的調(diào)整指針的位置，從而達(dá)到跳過或者重復(fù)讀取某些內(nèi)容的目的。

可以說，迭代器的實現(xiàn)中，其內(nèi)部指針是節(jié)省資源，讓迭代正常運行的關(guān)鍵。