Q&A
マシンのメモリはいくつで、正規化処理前の使用量とエラー発生時の使用量はいくつでしょうか？
他のアプリを終了した状態でもメモリ不足になるのでしょうか？
前提
機械学習の入力データについて問題が発生しています。
機械学習において、正規化することでデータを0~1の間にする必要があるのですが、正規化を行うとメモリ不足になってしまいます。
実行環境は無料版のgoogle colabのGPUになります。
処理前は12.6GB中の4.7GBで処理後は10.2GBまで使用量が上がります。
正規化を行わなければ、メモリ不足にならず学習を開始することができますが結果がかなり悪いです。
何か良い解決策がありますでしょうか？
実現したいこと
正規化によるメモリ不足を解決したい
該当のソースコード
python
1DS = np.asarray(DS)#データセット 2SE = np.asarray(SE)#教師データ 3 4#リストのシャッフルとデータセット分割 5train_ds0, test_ds, train_se0, test_se = train_test_split(DS, SE, train_size=12000, shuffle=True) 6 7#free memory 8del SE 9gc.collect() 10 11 12train_ds0 = train_ds0.astype('float32')/255.0#正規化 13train_se0 = train_se0.astype('float32')/255.0 14test_ds = test_ds.astype('float32')/255.0 15test_se = test_se.astype('float32')/255.0 16#(以下省略、こののちバッチサイズに分割を行います) 17<<<<メモリ不足によるエラー
試したこと
ここに問題に対して試したことを記載してください。
実行環境は無料版のgoogle colabのGPUになります。
処理前は12.6GB中の4.7GBで処理後は10.2GBまで使用量が上がります。
メモリは増えていますが不足はしていないように見受けられます。
> <<<<メモリ不足によるエラー
とは具体的にはどのようなエラーでしょうか？
RAMのクラッシュが起こるエラーになります。
0～255(8bit)のデータを float32 に変換すれば、単純にメモリの使用量は4倍になります。4.7GBが10.2GBになるのも、妥当な感じではないでしょうか。
単純な対策としては float16 で計算してしまうのでもいいんじゃないでしょうか。
ありがとうございます。試してみます。
> RAMのクラッシュが起こるエラー
が学習時に起きるのなら、バッチサイズを減らしたら効果あるかもしれません
回答2件
0
Text
1より多くの計算資源を購入する。
投稿2022/11/13 08:32
総合スコア481
貧乏人の嫉妬
低評価禁止
·
@計算資源を買う金すらない貧乏な人
心まで貧しくなってはいけない。
低評価禁止
キモいよ
@計算資源を買う金すらない貧乏な人
心まで貧しくなってはいけない。
0
ベストアンサー
floatとバッチサイズの数を減らしながら様子を見ます。
投稿2022/11/15 01:29
退会済みユーザー
総合スコア0
あなたの回答
tips
プレビュー
