GooglecolabでCycleGANを実行したのに実行時間が長すぎます。

以下のサイトに従ってGooglecolabでPytorchのCycleGANを実行したのですが1エポックに約30分も時間がかかってしまいます。このサイトでは1エポックに6分くらいかかると書いてありました。
参考にしたサイト
ほかのサイトでも1エポックに6分当たりかかると書かれており私の実行時間よりとても短いです。なぜ私が実行すると30分もかかってしまうのかが分からず困っております。
GPUも設定しましたし、上のサイトに忠実に実行したはずなのに実行時間だけ大きく異なります。
実行したときのパラメータは以下の通りです。

バッチサイズは4にしてあり、バッチサイズを大きくしたら早くなるのではと思い32にしてみたのですが、バッチサイズを大きくするとRuntimeerror:cuda error:outofMemoryとなりエラーになってしまいます。
また、実行した出力画面は以下のとおりです。1エポックまで実行して中断しました。1エポックに1657秒かかってます。

機械学習の知識があまりないので原因が全く分からないのですが、誰か分かる方がいましたら教えていただけますか。

jbpb0

2021/11/03 12:59 編集

Google Colabで割り当てられたGPUの機種が違うのかもしれません https://colab.research.google.com/github/junyanz/pytorch-CycleGAN-and-pix2pix/blob/master/CycleGAN.ipynb の「Training」に「I've found that a batch size of 16 fits onto 4 V100s and can finish training an epoch in ~90s.」と書かれてますので、V100が4台で約90秒なら、V100が1台ならその4倍の90*4=360秒=6分くらいになると予想でき、 > このサイトでは1エポックに6分と合います先ほどGoogle Colabで !nvidia-smi を実行して確認したら、K80が割り当てられてました https://images.nvidia.com/content/technologies/deep-learning/pdf/NVIDIA-Tesla-V100-JPN.pdf の「ディープラーニングの学習を1日で」と書かれてるグラフによると、V100はK80の44/7.4≒6と、約6倍高速なようですしたがって、V100で6分かかるのがK80だと6*6=36分くらいかかる予想になり、 > 1エポックに約30分とだいたい合います https://www.orangeitems.com/entry/2021/05/06/164531 によると、Colab ProだとV100が割り当てられることがあるようです高速なGPUが使いたければ、お金を払ってください、ということなのかもしれませんね

naruto1010

2021/11/08 05:29

本当にありがとうございます！gpuが違うのかなとは思いましたが、まさかこんな実行時間に差があるはずないしと思っていましたが計算したら実行時間にそんなに差が出ちゃうんですね。。Googlecolab以外の方法がだめそうでしたらGooglecolabproに加入してみたいと思います。とても分かりやすい説明ありがとうございました。

行動規範の内容に同意します

回答1件

ベストアンサー

Google Colabで割り当てられたGPUの機種が違うのかもしれません

CycleGAN
の「Training」に「I've found that a batch size of 16 fits onto 4 V100s and can finish training an epoch in ~90s.」と書かれてますので、V100が4台で約90秒なら、V100が1台ならその4倍の90*4=360秒=6分くらいになると予想でき、