RNNの入力データを正規化する際、トレーニングデータ全体ではなく、入力ウィンドウ毎に0~1に正規化しても良いか。

Question

前提・実現したいこと

RNNで時系列データの増減の2値予測を行っています。
データの前処理として0~1の範囲に正規化を行う際、
トレーニングデータ全体の中の最大値と最小値を用いて、
トレーニングデータとテストデータの正規化を行っていました。

質問

上記のようにデータ全体で正規化するのではなく、
RNNへの入力ウィンドウ毎に正規化を行った方が
相対的な変化が重要なデータに対して強いモデルが作れるのではないかと思いました。
(実際に作った結果精度は同程度でしたが)

ここで質問なのですが、入力ウィンドウ毎の正規化が一般的にあまり使われていない理由は
何なのでしょうか？
私の調査が足りておらず、よく行われている方法なのであれば、名称を教えて頂きたいです。

Comments

[toast-uz]

入力ウインドウ単位で正規化する、という取り組みはあまり見かけないようです。データの長期変動がうまく予測できないように思います。
質問者様が考えられる比較を、長期記憶を保ちにくいRNNで試しても、あまり違いが感じられないと思います。LSTMで、なおかつ長期変動があるデータで比較してみると、違いがわかるのではないでしょうか。
なお、似て非なるものですが、バッチ単位の正規化は、LSTMとの組み合わせをいろいろ研究されてます。その際も、通常のバッチ単位の正規化を使うのではなく、LSTMに適合した正規化のやりかたが工夫されています。

[itkn]

大変参考になりました。
ご丁寧に教えて下さりありがとうございます。