Python中的可迭代的对象、迭代器和生成器

导语：本文章记录了本人在学习Python基础之控制流程篇的重点知识及个人心得，打算入门Python的朋友们可以来一起学习并交流。

本文重点：

1、掌握可迭代的对象的定义；
2、掌握可迭代对象、迭代器与生成器之间的关系和异同；
3、熟悉标准库中生成器。

一、可迭代的对象

可迭代的对象：使用iter内置函数可以获取迭代器的对象。如果对象实现了能返回迭代器的__iter__方法，那么对象就是可迭代的。如果没有实现__iter__而实现了__getitem__方法，并且其参数是从零开始的索引，这种对象如序列也是可迭代的。
向后兼容：之所以任何Python序列可迭代是为了向后兼容。

当解释器需要迭代对象时，会自动调用iter(x)：

• 若对象实现了__iter__方法，获取一个迭代器；
• 若对象没实现__iter__方法，但实现了__getitem__方法，Python会创建一个迭代器，尝试从索引0开始获取元素；
• 若尝试失败，Python抛出TypeError。

标准的序列都实现了__iter__方法，这是鸭子类型的极端形式。
在白鹅类型中，只要对象实现了__iter__方法，那么它就是可迭代的对象。

注意：
（1）只有实现了__iter__方法的对象能通过子类测试issubclass(Object,abc.Iterator)
（2）检查对象能否迭代最准确的方法是调用iter(x)函数，如果不可迭代再处理TypeError。因为iter(x)会考虑到实现__getitem__方法的部分可迭代对象。

二、迭代器

1、迭代器介绍

迭代器：用于从集合中取出元素的对象。
迭代器的功能：用于支持下列操作

• for循环
• 构建和扩展集合类型
• 逐行遍历文本文件
• 列表推导、字典推导和集合推导
• 元组拆包
• 调用函数时，使用 * 拆包实参

迭代器的接口协议：

• __next__，返回下一个可用的元素。当没有元素时抛出StopIteration异常。
• __iter__，返回self，即迭代器本身。

迭代器特点：

• 可迭代。由于Python中的迭代器实现了__iter__方法，因此也可以迭代。
• 易耗损。迭代器经过一次逐次取值的循环后便耗尽了。若想再次迭代须重建迭代器。

迭代器检查方式：调用isinstance(object，abc.Iterator)。
检查原理：归结于Iterator.__subclasshook__方法。无论对象所属的类是Iterator的真实子类还是虚拟子类，都能够检查。

2、迭代器和可迭代对象之辨析：

• 联系：Python从可迭代的对象中获取迭代器。
• 区别：可迭代的对象不是迭代器。

3、迭代器模式

迭代器模式：按需一次获取一个数据项。
扫描内存中放不下的数据集时，我们要找到一种惰性获取数据项的方式，即按需一次获取一个数据项。这就是迭代器模式（Iterator pattern） 。
迭代器模式的用途：

• 访问一个聚合对象的内容而无需暴露它的内部表示；
• 支持对聚合对象的多种遍历；
• 为遍历不同的聚合结构提供一个统一的接口（即支持多态迭代）。

4、迭代器模式实例

下面构造一个可以处理文本匹配并迭代的实例：

import reprlib
import re

reword=re.compile('\w+')
#第一版：迭代器模式
class Sentence:
    def __init__(self,text):
        self.text=text
        self.words=reword.findall(text)
    def __repr__(self):
        return "Sentence({})".format(reprlib.repr(self.text))
    def __iter__(self):
        return SentenceIterator(self.words)
class SentenceIterator:
    def __init__(self,text):
        self.words=text
        self.index=0
    def __next__(self):
        try:
            word=self.words[self.index]

        except IndexError:
            raise StopIteration()
        self.index += 1
        return word
    def __iter__(self):
        return self
title=Sentence('We have a dream!')
print(title)
for i in title:
    print(i)

输出：
Sentence('We have a dream!')
We
have
a
dream

注意：
（1）不要把迭代器接口应用到可迭代对象上，这是常见的反模式。
（2）可迭代对象必须实现__iter__方法，但不能实现__next__方法。

三、生成器

1、生成器相关概念介绍

生成器：用于按需生成元素的对象。在Python社区中大多数时候都把迭代器和生成器视作同一概念。

生成器函数：拥有yield关键字的Python函数。
生成器表达式：制造生成器的工厂，支持惰性产值。
生成器工厂函数：返回生成器的函数，定义体中可以没有yield关键字。

生成器函数与生成器表达式优点比较：

• 生成器函数：使用重复使用的情景，也可以作为协程使用。
• 生成器表达式：代码简洁易读。

Tips:生成器表达式作为单参数传入时无须写一对括号，而多参数时须将小括号加上。

2、生成器函数工作原理

实例1：通过一个问候同学的代码来了解生成器函数是如何工作的

def gen():
    print("start")
    yield "Jack"
    print("continue")
    yield "Dennis"
    print("end")
for i in gen():
    print("Hello ",i)

输出：
start
Hello  Jack
continue
Hello  Dennis
end

原理分析：不难发现，for循环中操作的对象是生成器中的yield生成的值。原因在于，生成器是迭代器，会生成传给yield关键字的表达式的值。
注意：不管有没有return语句，生成器函数都不会抛出StopIteration异常，而是在生成全部值之后直接退出。

实例2：生成器函数改进版

import reprlib
import re

reword=re.compile('\w+')
#第二版：生成器函数
class Sentence:
    def __init__(self,text):
        self.text=text
        self.words=reword.findall(text)
    def __repr__(self):
        return "Sentence({})".format(reprlib.repr(self.text))
    def __iter__(self):
        for i in self.words:
            yield i
        return
title=Sentence('We have a dream!')
print(title)
for i in title:
    print(i)

3、惰性产值：生成器表达式模式改进版

import reprlib
import re

reword=re.compile('\w+')
#第三版：生成器表达式
class Sentence:
    def __init__(self,text):
        self.text=text
    def __repr__(self):
        return "Sentence({})".format(reprlib.repr(self.text))
    def __iter__(self):
        return (match.group() for match in reword.finditer(self.text))
title=Sentence('We have a dream!')
print(title)
for i in title:
    print(i)

Tips:re.finditer函数是re.findall函数的惰性版本，返回的不是列表而是一个生成器，按需惰性生成元素。

四、标准库中有用的生成器

1、五大类生成器

• 用于过滤的生成器函数: itertools.takewhile/compress/dropwhile/filter/filterfalse/islice/
• 用于映射的生成器函数: 内置的 enumerate/map itertools.accumulate/starmap
• 用于合并的生成器函数：itertools.chain/from_iterable/product/zip_longest/ 内置的 zip
• 从一个元素产生多个值，扩展输入的可迭代对象: itertools.combinations/combinations_with_replacement/count/cycle/permutations/repeat
• 产出输入可迭代对象的全部元素，以某种方式排列：itertools.groupby/tee/ 内置的 reversed

五、其它

1、归约函数：接受可迭代对象并返回单个结果的函数。

这里的all和any函数会短路，即一旦得出结果马上停止迭代。