回答編集履歴

  ライオン、犬、猫ということですが、訓練データに右を向いたライオンばかり、検証データには左を向いたライオンばかりと言うことになれば、当然、訓練データの正解率は上がるが、検証データの正解率は下がり、過学習しているのでは？と疑うことになるでしょう。極端な場合ですけどね。

 

  また、前の質問にあるネットワークを見ると、層が薄すぎるように思います。特徴の抽出層が2層しかありません。私のところで実験していたときは、4層でようやく分類できるかな、というところでした。もっとも、私のところでは2分類だったので、3分類だと異なるだろうし、分類するものも異なるので、あなたのところでも4層で納得できる結果が得られるだろうとはいえません。これは、トライエラーを繰り返すしかありません。