機械学習を扱う際の構成と必要なノード数について

Question

ニューラルネットワークで必要なノード数についてわからなかったので質問をさせて下さい。
10万の教師データがあった場合に、過学習をしてもいいとしてほぼ完璧な教師データの出力をさせるための最低ノード数はいくつになるのでしょうか？

まず、自分がいま自作したニューラルネットワークの構成では
①onehotの16入力を４つ⇒16×1000の重みとの行列積ををそれぞれ4つに対してとる⇒4つの結合の和を取る⇒スカラー
②onehotの20入力を４つ⇒20×1000の重みとの行列積ををそれぞれ4つに対してとる⇒4つの結合の和を取る⇒スカラー
③②をもう一つ

①～③を一つにまとめて(1,3)の行列式として、そこから(3,1000)⇒×(1000,1000)⇒×(1000,1)を通して最終的に1出力になるようにしています。
この誤差を回帰問題として二乗誤差で学習しているのですがある一定のところまで来ると誤差が全く減らなくなります。

これは10万個の教師データに対して隠れ層のノード数が少ないことが問題になるのでしょうか？
また、途中で(1,3)の形に変換していますが、これはいわば3入力でありここで多くの情報が失われてしまっているのでしょうか？

深さを1にしてノード数を10万にする単層ニューラルネットワークにしてみたのですがやはり学習がどこかで停滞しているように見えました。
構成の問題点などが見えてこないのでご教授頂けると嬉しいです。

Comments

[退会済みユーザー]

> 過学習をしてもいいとしてほぼ完璧な教師データの出力をさせるための最低ノード数
> 一定のところまで来ると誤差が全く減らなくなります。

どういうデータのものかはわかりませんが、教師データが「誤りを含んでいる」可能性はありませんが？
例えば、y=ax という入力と出力の関係があって、a＝1だとすると常にx=yの関係が成立しますが、教師データに人為的ミスなのか計器類のデータ採取ミスなのかで1=2だったり1=0みたいな関係のデータが混入していた場合、1=0（ダメ）、1=1（OK）、1=2（ダメ）のような感じで、1が欲しいのにその元は0だった、1だった、2だったというように何パターンかできてしまいます。このように教師データ自体が誤りを含んだパターンがあると、どこまで行っても回帰のしようのない無理難題（ここでは1=0、1=2という明らかな誤り）にフィッティングしようとして埋められない誤差が生じてしまいます。

[babbleman]

回答していただき有難うございます。
教師データ自体の生成自体も自動化しており、こちらに誤りは起こっていないはずです。
こちらは何回も検証してストをしたので、ある入力に対して出力は必ず一つになるようになっています。