前提・実現したいこと
kerasを使って画像にキャプションを自動生成するコードを実装しています。
http://pchun.work/%E7%94%BB%E5%83%8F%E3%82%AD%E3%83%A3%E3%83%97%E3%82%B7%E3%83%A7%E3%83%B3%E3%81%AE%E8%87%AA%E5%8B%95%E7%94%9F%E6%88%90/
上のサイトをもとに実装し、動くようになったのですが、データ数を増やすとメモリエラーで動かなくなってしまいます
発生している問題・エラーメッセージ
エラーメッセージ Traceback (most recent call last): File "mkmodel.py", line 210, in <module> X1train, X2train, ytrain = create_sequences(tokenizer, max_length, train_descriptions, train_features) File "mkmodel.py", line 202, in create_sequences out_seq = to_categorical([out_seq], num_classes=vocab_size)[0] File "C:\Users\~~~\Programs\Python\Python37\lib\site-packages\keras\utils\np_utils.py", line 33, in to_categorical categorical = np.zeros((n, num_classes), dtype=dtype) MemoryError
該当のソースコード
python
1#画像と出力単語を紐づける関数 2def create_sequences(tokenizer, max_length, descriptions, photos): 3 X1, X2, y = list(), list(), list()#X1が入力画像、X2が入力語、yがX1とX2に対応する出力語 4 #各画像名でループ 5 for key, desc_list in descriptions.items(): 6 #各画像のキャプションでループ 7 for desc in desc_list: 8 #シーケンスをエンコードする 9 seq = tokenizer.texts_to_sequences([desc])[0] 10 #1つのシーケンスを複数のX、Yペアに分割する 11 for i in range(1, len(seq)): 12 #入力と出力のペアに分割する 13 in_seq, out_seq = seq[:i], seq[i] 14 #行列のサイズを最大の単語数に合わせる 15 in_seq = pad_sequences([in_seq], maxlen=max_length)[0] 16 #出力シーケンス 17 out_seq = to_categorical([out_seq], num_classes=vocab_size)[0] 18 #全てをarrayに格納 19 X1.append(photos[key][0]) 20 X2.append(in_seq) 21 y.append(out_seq) 22 return array(X1), array(X2), array(y) 23 24X1train, X2train, ytrain = create_sequences(tokenizer, max_length, train_descriptions, train_features) 25
試したこと
学習時にメモリエラーが起こるのであればバッチ処理で対応できるかと思うのですが、to_categoricalでメモリエラーが起こる場合はどのように対応すればよいのでしょうか。
よろしくお願いします。
あなたの回答
tips
プレビュー