Network in Networkの学習モデルの出力層のノード数を極端に増やしても問題ないですか？

Question

Chainer勉強中の者です。

NetworkInNetworkの学習モデルのサンプルソースコード見ると、出力層のノード数が1000になっているのですが、

https://github.com/chainer/chainer/blob/master/examples/imagenet/nin.py

例えば、分類するカテゴリー数を増やしたい（例えば日本語文字画像分類器を作るとか）場合は、
分類したいカテゴリーの数だけ、出力層増やしても問題ないですよね？

また、出力層のノード数を、分類したいカテゴリー数＋１０００とかにしても、問題ないですか？

Answer 1

提示プログラムのinput-outputの仕様についてを問うならば、**それは作成者に質問する方が無難です。そして、NNや機械学習の一般論についてを問うならば、「分類対象に依る」**としか答えようがありません。

メタヒューリスティクスの大半はブラックボックスとして利用されている程度で、「どのような場合にどのよようなやり方が適切かなど事前に知ることは難しい」です。というか、それがわかるならば特化したアルゴリズムを使用すべきであり、メタヒューリスティクスを使用する理由はほぼありません。例えば、NNの特徴は「作りやすいこと」、「自然界にモデルとなるものがある」といったものです。「探索とか学習に有効である」と理論的な保証があるわけではなく**「使いやすいから広く使われているだけ」**とすら考えうるものです。

以下、私見です。参考にどうぞ。
NNに限らずメタヒューリスティクス全般に言えることですが、調整パラメタの定め方が広すぎます。私が学生時に見た限りでは、「事後的に調整できる範囲を過剰に用意し、分類対象に応じて後出しで主張を変更するための道具」として悪用されているイメージでした。

私個人の私見ですが、「メタヒューリスティクスは分類器として有効」というよりも「分類問題においてはルール上に欠陥が存在し、メタヒューリスティクスを使うとそこに漬け込むことになってしまう（実際は有効ではない）」というような気もします。