データ数、バッチサイズとバッチループが一致しない場合の処理

画像を回帰、ミニバッチで機械学習させようとしています。
ざっくり該当箇所を抜くと、下記のコードです。

    filenames = numpy.array(os.listdir('data/'))
    batch_size = 38
    DIR = './data'
    file_num = len([name for name in os.listdir(DIR) if os.path.isfile(os.path.join(DIR, name))])
    n_batch_loop = int(file_num / batch_size)
    epochs = 50
    for e in range(epochs):
        print('Epoch', e)
        indices = numpy.repeat(range(n_batch_loop), batch_size)
        numpy.random.shuffle(indices)
        checkpoint = ModelCheckpoint(
            filepath=os.path.join(MODEL_DIR, "model-{epoch:02d}.h5"), monitor = "accuracy", save_best_only=True, save_freq="epoch", verbose=1)
        for i_batch_loop in range(n_batch_loop):
            filenames_temp = filenames[indices == i_batch_loop]
            x, y = load_data('data/', filenames_temp, img_width, img_height)
            model.fit(x, y, epochs=1, batch_size=batch_size, callbacks=[checkpoint])

問題は、元の教師データの画像数が固定であり、画像数と、batch_sizeとbatch_loopの積と一致しないと動かない、事にあります。
このままでは使い勝手が悪いのと、元の教師データの数が因数分解できないと稼働しない状態です。
そこで、上記のfilenamesとindicesの差分を取ってindicesと結合してやればいいのかと下記コードも試してみましたが、うまくいきません。
どうしたら、良いでしょうか？
当方、始めたばかりで、あまりよくわかっていませんが、宜しくお願いします。

def list_difference(filenames, indices):
    result = filenames.copy()
    for value in indices:
       if value in result:
            result.remove(value)
    return result
if len(filenames) != len(indices):
    result = list_difference(filenames, indices)
    indices = numpy.hstack(indices, result)

meg_

2021/08/24 11:47

> うまくいきません。具体的にはどういうことでしょうか？

tfulcrum

2021/08/24 20:53

このコードですと下記エラーが返されます。 indices = numpy.hstack(indices, result) File "<__array_function__ internals>", line 4, in hstack TypeError: _vhstack_dispatcher() takes 1 positional argument but 2 were given numpy.stackにしてみたり、或いは他で調べて別の記載をするのですが、結局、元のデータ数と、バッチ数とイテレーション数の積の差分を、 indices(バッチ数とイテレーション数の積)に結合する方法が見つかりません。宜しくお願いします。

meg_

2021/08/25 00:38

上記エラーはnumpy.hstackの引数の書き方が良くないと思います。