質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.48%
Keras

Kerasは、TheanoやTensorFlow/CNTK対応のラッパーライブラリです。DeepLearningの数学的部分を短いコードでネットワークとして表現することが可能。DeepLearningの最新手法を迅速に試すことができます。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

Q&A

0回答

860閲覧

kerasで大きなサイズのデータを学習したい

chinami

総合スコア12

Keras

Kerasは、TheanoやTensorFlow/CNTK対応のラッパーライブラリです。DeepLearningの数学的部分を短いコードでネットワークとして表現することが可能。DeepLearningの最新手法を迅速に試すことができます。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

0グッド

0クリップ

投稿2019/06/21 04:10

編集2019/06/27 05:25

前提・実現したいこと

kerasを使って画像にキャプションを自動生成するコードを実装しています。
http://pchun.work/%E7%94%BB%E5%83%8F%E3%82%AD%E3%83%A3%E3%83%97%E3%82%B7%E3%83%A7%E3%83%B3%E3%81%AE%E8%87%AA%E5%8B%95%E7%94%9F%E6%88%90/

上のサイトをもとに実装し、動くようになったのですが、データ数を増やすとメモリエラーで動かなくなってしまいます

発生している問題・エラーメッセージ

エラーメッセージ Traceback (most recent call last): File "mkmodel.py", line 210, in <module> X1train, X2train, ytrain = create_sequences(tokenizer, max_length, train_descriptions, train_features) File "mkmodel.py", line 202, in create_sequences out_seq = to_categorical([out_seq], num_classes=vocab_size)[0] File "C:\Users\~~~\Programs\Python\Python37\lib\site-packages\keras\utils\np_utils.py", line 33, in to_categorical categorical = np.zeros((n, num_classes), dtype=dtype) MemoryError

該当のソースコード

python

1#画像と出力単語を紐づける関数 2def create_sequences(tokenizer, max_length, descriptions, photos): 3 X1, X2, y = list(), list(), list()#X1が入力画像、X2が入力語、yがX1とX2に対応する出力語 4 #各画像名でループ 5 for key, desc_list in descriptions.items(): 6 #各画像のキャプションでループ 7 for desc in desc_list: 8 #シーケンスをエンコードする 9 seq = tokenizer.texts_to_sequences([desc])[0] 10 #1つのシーケンスを複数のX、Yペアに分割する 11 for i in range(1, len(seq)): 12 #入力と出力のペアに分割する 13 in_seq, out_seq = seq[:i], seq[i] 14 #行列のサイズを最大の単語数に合わせる 15 in_seq = pad_sequences([in_seq], maxlen=max_length)[0] 16 #出力シーケンス 17 out_seq = to_categorical([out_seq], num_classes=vocab_size)[0] 18 #全てをarrayに格納 19 X1.append(photos[key][0]) 20 X2.append(in_seq) 21 y.append(out_seq) 22 return array(X1), array(X2), array(y) 23 24X1train, X2train, ytrain = create_sequences(tokenizer, max_length, train_descriptions, train_features) 25

試したこと

学習時にメモリエラーが起こるのであればバッチ処理で対応できるかと思うのですが、to_categoricalでメモリエラーが起こる場合はどのように対応すればよいのでしょうか。

よろしくお願いします。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

Q71

2019/06/21 12:41

バッチサイズを減らしてみましたか? Generatorを作るというのは、どういう理由で?
chinami

2019/06/24 14:40

バッチ処理をするためにGeneratorを作る必要があると認識していました. Generatorなしに簡単にバッチ処理をすることができますか?
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

まだ回答がついていません

会員登録して回答してみよう

アカウントをお持ちの方は

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.48%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問