ディープラーニングの学習の高速化について

Question

ZEROから作るDeepLearningという本を読んで勉強しているのですが6章のハイパーパラメータ最適化の実装という部分のプログラムを見てみると高速化のためのデータの削減と書いてあり
x_train=x_train[:500]
t_train=t_train[:500]
とありました。
データを減らしているのはわかったのですがなぜそれで学習が早くなるのでしょうか？

Answer 1

学習が早くなるのでしょうか？

規定のエポック数に到達したら学習が終了するように設定していた場合、データが少ないほうが1エポックに必要なイテレーション数が少なくてすむので、学習が終了するまでの時間は短くなります。
ただ、本来使えるデータを全部使って学習したほうが、汎化性能はよくなります。
500サンプルとしているのは、全部のデータを使ってハイパーパラメータの最適化をする場合は時間がかかってしまうため、それを避けるという書籍の都合だと思います。
(書籍の目的は、Deep Learning を実装しながら理解することが目的であり、性能がよいモデルを作ることは主目的ではないので)

---

イテレーション、エポックという用語がわからない場合は以下を参照ください。

機械学習／ディープラーニングにおけるバッチサイズ、イテレーション数、エポック数の決め方 - Qiita

Comments

[Eren]

つまり学習が早くなってるのではなく学習回数を減らしていると認識すればいいでしょうか？

[tiitoi]

はい、その認識でいいと思います。