Q&A
> 組み込んだ方がテストデータの精度は上がった
https://atmarkit.itmedia.co.jp/ait/articles/1912/16/news026.html
の「図5-8」が「図5-7」になった、のではないですかね
#分からない事
現在、畳み込みニューラルネットワークでCIFAR-10のデータセットを用いて画像認識を行っています。
その中で、tensorflow.keras.callbacks.ReduceLROnPlateauクラスという学習が停滞した場合（損失や精度に向上が見られない場合）に学習率を自動で引き下げてくれるクラスを組み込みました。
実際に組み込んだ方がテストデータの精度は上がったのですが、いまいち理由が分かりません。
むしろ学習率を下げると重みの更新式的にはさらに学習が滞るような気がしてしまうのですが。。。
#教えてほしいこと
学習率の引き下げが、学習にどのような影響を及ぼすか。
素人質問で申し訳ありませんが、有識者の方々教えていただけると幸いです。
回答1件
0
ベストアンサー
- 学習率が大きい
収束先が離れている場合(つまり勾配の絶対値が大きいとき)にはより速く収束する。
収束先に近づいた場合(つまり勾配の絶対値がゼロに近づいたとき)にはなかなか収束しない。
- 学習率が小さい
収束先が離れている場合(つまり勾配の絶対値が大きいとき)の収束は遅い。
収束先に近づいた場合(つまり勾配の絶対値がゼロに近づいたとき)の収束が速い。
このため、最初は学習率を大きくしておき、収束先に近づいた場合に学習率を小さくするのが良いのです。
投稿2021/11/30 08:01
総合スコア24670
ppaul様、ご回答ありがとうございます。
大変分かりやすい説明ありがとうございます
これからもご回答いただけるとありがたいです。よろしくお願い致します。
あなたの回答
tips
プレビュー
