Q&A
topで問題を確認し、googlecolaboratoryに変えました。しかし、相変わらず問題が発生しています。何がいけないのか、いつ問題が生じるのかを調べるにはどうすればよいのでしょうか?
GPU(Ubuntu)を用いてディープラーニングを試しています。
直面している問題は、そのスピードについてです。
5万ステップくらいの学習を行うつもりなのですが、最初の500ステップくらいを超えたあたりから、急激にスピードが落ちてしまいます。1秒に3,4ステップだったものが、1秒1ステップくらいになってしまいます。
どのようなことが原因だと思われますか？
申し訳ないのですが、プログラムや環境については、記載できないです。
あくまで、推測で考えられる原因を教えてください。
追記
プログラム内に適宜、現在の時刻を示しつつ、topコマンドでメモリを確認してみました。
すると、仮想メモリが物理メモリの2倍くらい(物理メモリ16GB)になっていました。
2倍なったタイミングの時刻から、原因を探ってみると、VGG16()にたどり着きました。
懸念されることとして、VGG16のh5ファイルをGPU上でタイムアウトしてダウンロードできなかったため、別のPC(CPU)上でダウンロードしたものを使っていることがあります。
これは関係しているでしょうか？タイムアウトしないようにするには、どうすればよいでしょうか？
さらに追記
GoogleColaboratoryにて同じプログラムを動かし、topコマンドにてメモリを監視しました。
すると、同じように仮想メモリが35gなどとなっていました。
実行後、ほんの数秒で一気に大きくなる感じでした。
どこに問題があるのか、探りたいのですが、どうすればよいのかわかりません。
仮想メモリが爆発的に増える原因を見つけるために、できることには何がありますか？
回答3件
0
- メインメモリがswapした
- GPUのメモリがあふれておかしなことになっている
- CPUのサーマルプロテクションが作動した
- GPUのサーマルプロテクションが作動した
- （ファイルから動的にデータを読み込みながら走らせているなら）ストレージのサーマルプロテクションが作動した
投稿2018/07/05 14:06
編集2018/07/05 14:07
総合スコア30933
0
- メモリをリークさせながらやっていない限りswapはないと願いたいです。
top/htopで監視してみてはいかがですか？
- Jupyterとかなら表示を出しすぎると、画面でメモリ食いすぎて死んだりします。
- 熱がこもって速度がガタ落ちするのはよくあることです。
nvidia-smiで温度を監視したり、上限を設定してみてください。
- まさかそんなトリッキーなことをやっていないと思いますが、バッチサイズを下げならが学習していると、遅くなっていきます。
http://forums.fast.ai/t/change-batch-size-during-training/7947/20
- 損失関数などはどう変化していますか？
nanになってたりするとオーバーフローが起きたか、なにかよからぬことがあったのかもしれません。
- 何もかけないのでは仕方ないのですが、環境を専有していますか？
他のプロセス走っていませんか？
仮想環境ならありえますし、Symantecが発動してディスクIOを100%にしてしまうこともあります。
投稿2018/07/05 15:58
総合スコア8560
0
I think, callbacks issue,
or may be memory leakage
投稿2018/07/05 16:41
総合スコア351
どうすればどのタイミングでメモリリークしているのかを確認できますか？
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。
退会済みユーザー
2018/07/24 11:41
2018/07/25 00:48