pythonのgeneratorのインスタンスの使用方法について

Question

pythonのgeneratorのインスタンスの使用方法について

Kerasのジェネレーターを使用していてテストのpredictが毎回変化してしまったので、Kerasのジェネレーターでサンプルが列挙される順番についてで勉強をしていました。
結論にはジェネレーターのインスタンスを一度宣言して使い回すとイテレーションの位置が継続されるからインスタンスの使いまわしはしない方がいいとのことでした。
以下、サイトのコードを書いておきます。

def generator(batch_size):
    X_cache, y_cache = [], []
    while True:
        for i in range(10):
            X_cache.append(i)
            y_cache.append(i)
            if len(X_cache)==batch_size:
                X_batch = np.asarray(X_cache)
                y_batch = np.asarray(y_cache)
                X_cache, y_cache = [], []
                yield X_batch, y_batch

from keras.layers import Lambda, Input
from keras.models import Model
import numpy as np

input = Input((1,))
x = Lambda(lambda x: x)(input)
model = Model(input, x)

gen = generator(3)
result1 = model.predict_generator(gen, steps=1, max_queue_size=3)
result2 = model.predict_generator(gen, steps=1, max_queue_size=3)
print(result1)
print(result2)

出力

[[0.]
 [1.]
 [2.]]
[[5.]
 [6.]
 [7.]]

そこでたとえインスタンスを使いまわしにしても一回resetすれば最初から始まるようなメソッドなどはないかと探しています。
具体的には、以下のような変換が施せればいいと考えています。

gen = generator(3)
result1 = model.predict_generator(gen, steps=1, max_queue_size=3)

genをリセットする何か。

result2 = model.predict_generator(gen, steps=1, max_queue_size=3)
print(result1)
print(result2)

出力

[[0.]
 [1.]
 [2.]]
[[0.]
 [1.]
 [2.]]

具体的な方法が分かる方がいれば教えて頂けると嬉しいです！
よろしくお願いいたします。

Answer 1

一回resetすれば最初から始まるようなメソッドなどはないかと探しています。

少なくとも私の知る限りでは、存在しないです。
ただし前以てイテレータを複製することは可能です。

import itertools

it = iter([1, 2, 3, 4])
it, it_ = itertools.tee(it, 2)

print(list(it))
print(list(it_))

実行結果 Wandbox

[1, 2, 3, 4]
[1, 2, 3, 4]

参考

• itertools --- 効率的なループ実行のためのイテレータ生成関数 — Python 3.8.0 ドキュメント

Comments

[LouiS0616]

ベストアンサーを貰ったあとに気付いたのですが、この用途にitertools.teeは不向きです。

> tee() はかなり大きなメモリ領域を使用するかもしれません (使用するメモリ量はiterableの大きさに依存します)。一般には、一つのイテレータが他のイテレータよりも先にほとんどまたは全ての要素を消費するような場合には、 tee() よりも list() を使った方が高速です。
https://docs.python.org/ja/3/library/itertools.html#itertools.tee

冗長なようでも二回イテレータを生成するのが良いでしょう。