ニューラルネットの正規化について詳しく知りたい。

Question

前提・実現したいこと

python、ニューラルネット初心者です。
pythonを使ってニューラルネットを構築しながら学習をしています。

データの正規化の知識的な部分で、確信が持てないことがあったのでご回答いただけますと幸いです。

質問内容

データの正規化はデータ収集の段階で、事前処理として行うことが一般的なのでしょうか？
プログラミング中のニューラルネットに任せていい部分なのですか？
また、その理由をご回答いただきたいです。

###調べたこと
正規化についてある程度調べました。
重みや誤差を収束しやすくすために事前に処理を行うこと。
入力される値の大きさがあまりにも違う場合、影響度が変わってしまうため、それをある程度揃えたものにする。
といった認識です。

Answer 1

「データ収集の段階」というより、「データ収集が全て終わり」「特徴量エンジニアリングも終わって」「ニューラルネットワークに入力する直前」に正規化をするのが普通かと。
「ニューラルネットに任せて」の意味が不明瞭ですが、「正規化をしない」という意味なら、学習結果が悪くなるだけのように思います。正規化を外すのは楽なので、試して結果を比べれば 実感できると思います。
ランダムフォレストなど正規化が必要ないアルゴリズムもありますが、ニューラルネットの場合、正規化・標準化をした方が、良い学習結果につながると思われます。

Comments

[hate_tometo]

ご回答ありがとうございます！

「ニューラルネットに任せて」というのは、正規化をしないでという解釈をしていただければ大丈夫です。
実際に動かして確認してみたいと思います。
ありがとうございます。