畳み込みニューラルネットワークの精度の向上について

Question

#分からない事
現在、畳み込みニューラルネットワークでCIFAR-10のデータセットを用いて画像認識を行っています。
その中で、tensorflow.keras.callbacks.ReduceLROnPlateauクラスという学習が停滞した場合（損失や精度に向上が見られない場合）に学習率を自動で引き下げてくれるクラスを組み込みました。
実際に組み込んだ方がテストデータの精度は上がったのですが、いまいち理由が分かりません。
むしろ学習率を下げると重みの更新式的にはさらに学習が滞るような気がしてしまうのですが。。。
#教えてほしいこと
学習率の引き下げが、学習にどのような影響を及ぼすか。
素人質問で申し訳ありませんが、有識者の方々教えていただけると幸いです。

Comments

[jbpb0]

> 組み込んだ方がテストデータの精度は上がった

https://atmarkit.itmedia.co.jp/ait/articles/1912/16/news026.html
の「図5-8」が「図5-7」になった、のではないですかね

[0afnjosa]

非常にわかりやすいリンクを貼っていただきありがとうございます。
ベストアンサーに選ばせて頂きたいので、回答の方によろしくお願い致します。

[jbpb0]

ppaulさんの回答をベストアンサーにしてください
ほぼ同じ内容なので

[0afnjosa]

かしこまりました。ありがとうございます。

Answer 1

• 学習率が大きい

　収束先が離れている場合(つまり勾配の絶対値が大きいとき)にはより速く収束する。
収束先に近づいた場合(つまり勾配の絶対値がゼロに近づいたとき)にはなかなか収束しない。

• 学習率が小さい

　収束先が離れている場合(つまり勾配の絶対値が大きいとき)の収束は遅い。
収束先に近づいた場合(つまり勾配の絶対値がゼロに近づいたとき)の収束が速い。

このため、最初は学習率を大きくしておき、収束先に近づいた場合に学習率を小さくするのが良いのです。

Comments

[0afnjosa]

ppaul様、ご回答ありがとうございます。
大変分かりやすい説明ありがとうございます
これからもご回答いただけるとありがたいです。よろしくお願い致します。