deep-learningで学習が進まない原因

Question

deep-learningで損失が全く小さくならない場合どういったことが原因だと考えられるでしょうか。ちなみに手書き文字にフィルタをかけたデータセットを使っていて人の眼には違いがわからないほど似ている点、データ数が500枚と少ない点が原因ではないかと考えています。
私は、deeplearningを学んでからそこまで時間が経っているわけではないので他の原因が思い浮かびません。なので、一般的に学習が進まない原因をご教授いただければありがたいです。
学習率、エポック数などは一通り試しましたが改善されませんでした。

Answer 1

コードやデータの情報がないと回答のしようがないです。

一般的な可能性として学習データに対する損失であれば、

• コードにバグがある
• 問題設定にそもそも無理がある (人が目視で判断できないような差異であれば、CNN でも無理)
• ハイパーパラメータの問題 (モデル構造、学習率など)

確認データに対する損失であれば

• データが少なすぎて過学習している