如何切片生成器对象或迭代器？

Question

我想遍历迭代器的“切片”。我不确定这是否可行，因为我知道不可能对迭代器进行切片。我想做的是：

 def f():
    for i in range(100):
        yield(i)
x = f()

for i in x[95:]:
    print(i)

这当然失败了：

 ---------------------------------------------------------------------------
TypeError                                 Traceback (most recent call last)
<ipython-input-37-15f166d16ed2> in <module>()
  4 x = f()
  5
----> 6 for i in x[95:]:
  7     print(i)

TypeError: 'generator' object is not subscriptable

是否有一种 pythonic 方式来循环遍历生成器的“切片”？

基本上我真正关心的生成器读取一个非常大的文件并逐行对其执行一些操作。我想测试文件的切片以确保一切按预期执行，但让它遍历整个文件非常耗时。

编辑：

如前所述，我需要将其保存在文件中。我希望有一种方法可以用生成器明确指定这一点，例如：

 import skbio

f = 'seqs.fna'
seqs = skbio.io.read(f, format='fasta')

seqs 是一个生成器对象

for seq in itertools.islice(seqs, 30516420, 30516432):
    #do a bunch of stuff here
    pass

上面的代码做了我需要的，但是仍然很慢，因为生成器仍然循环遍历所有行。我希望只循环遍历指定的切片

原文由 johnchase 发布，翻译遵循 CC BY-SA 4.0 许可协议

Answer 1

一般来说， 答案是 itertools.islice ，但您应该注意 islice 实际上不会也不能跳过值。它只是在开始之前抓取并丢弃 start 值 yield 值。因此，通常最好避免 islice 如果可能的话，当您需要跳过很多值和/或被跳过的值的获取/计算成本很高时。如果您能找到一种不首先生成值的方法，那就这样做吧。在您的（显然是人为的）示例中，您只需调整 range 对象的起始索引。

在尝试在文件对象上运行的特定情况下，提取大量行（特别是从慢速介质读取）可能并不理想。假设你不需要特定的行，你可以使用一个技巧来避免实际读取文件的巨大块，同时仍然测试文件的一些距离，是 seek 到一个猜测的偏移量，读出到该行的末尾（丢弃您可能在中间寻找的部分行），然后 islice 从该点开始关闭您想要的许多行。例如：

 import itertools

with open('myhugefile') as f:
    # Assuming roughly 80 characters per line, this seeks to somewhere roughly
    # around the 100,000th line without reading in the data preceding it
    f.seek(80 * 100000)
    next(f)  # Throw away the partial line you probably landed in the middle of
    for line in itertools.islice(f, 100):  # Process 100 lines
        # Do stuff with each line

对于文件的特定情况，您可能还想查看 mmap 可以以类似的方式使用（如果您正在处理数据块而不是文本行，可能会随机跳跃，这将非常有用边走边走）。

更新： 根据您更新的问题，您需要查看您的 API 文档和/或数据格式以弄清楚如何正确地跳过。它看起来像 skbio 提供了一些使用 seq_num 跳过的功能，但如果不处理大部分文件，它仍然会被读取。如果数据以相同的序列长度写出，我会查看 Alignment 上的文档；对齐的数据可以在根本不处理前面的数据的情况下加载，例如 通过使用 Alignment.subalignment 创建新的 Alignment 为您跳过其余数据。

原文由 ShadowRanger 发布，翻译遵循 CC BY-SA 3.0 许可协议

Answer 2

islice 是 pythonic 方式

from itertools import islice

g = (i for i in range(100))

for num in islice(g, 95, None):
    print num

原文由 Yoav Glazner 发布，翻译遵循 CC BY-SA 3.0 许可协议