回答編集履歴

1 学習ポイント、slide追記等。

miyamoto0105

miyamoto0105 score 204

2017/08/16 10:50  投稿

その後学習はうまくいきましたでしょうか。  
個人的な経験では誤差が減らない場合はデータ数が少ないか学習数が少ないかあるいは正規化等の前処理がされていないかが考えられます。
個人的な経験では誤差が減らない場合はデータ数が少ない(テストデータの特徴が学習データに存在しない)か学習数が少ないかあるいは正規化等の前処理がされていないそもそもデータ分布が近いので収束しないなど考えられます。
青本の3章を検討してみては如何でしょうか。
機械学習プロフェッショナルシリーズ 深層学習 chapter3 確率的勾配降下法
https://www.slideshare.net/zakktakk/chapter3-62337101

思考するエンジニアのためのQ&Aサイト「teratail」について詳しく知る