Colabで機械学習を訓練させている時、はじめだけ時間がかかる

Question

現状

Colab ProでGPUを使用して機械学習を実行させています。

問題

各epochで時間を計測しているのですが、最初だけ(時にはバリデーションの時だけ)極端に実行が遅くなります。解決策がありましたら教えていただきたいです。

[time]以降を見ると、epoch1/20だけ3040秒もかかってしまっています。また時間がかかっているのはよりデータの少ないバリデーション時だけです。このように、for文内部でイテレーションの一回目だけ実行が極端に遅い、といったことが頻繁に起こります。

また、フリーズしているわけではないようです。画面下部はゆっくりと進行していました。

Comments

[toast-uz]

必ず発生するのでしょうか？お聞きしているのは、データやモデルが異なる場合でも、質問者様としては同等な現象が発生しているのか、特定のデータやモデルで発生しているのか、ということです。後者であれば、もう少し発生条件を記述頂きたいです。GPUを使わないとどうなるか、なども情報として有用です。

[o0OR2O0o]

今まで複数のデータ、モデルを扱ってきましたが、タイムアウトなどによってランタイムを再起動すると高確率で問題が発生します。Colabを使い始めて1ヶ月程度ですが、発生しなかったことは記憶にないですね。。GPUを使わない場合、当然動作は遅いですが特定のイテレーションでのみ遅くなる、ということは起こりません。