Python MinMaxScaler関数を使っても0-1の値にならない

Question

前提・実現したいこと

scikit-learnのMinMaxScaleを使ってデータを0-1の値に正規化したいです。
trainデータの方はうまく0-1に正規化されたのですが、testデータの方がうまくいきません。
trainとtestデータの違いは枚数だけ(train１万枚ほど、testは１枚)なのですが、枚数が影響しているのでしょうか。
scikit-learnの公式チュートリアルを読んでも原因がわからなかったため、こちらに質問をさせていただきました。
解決方法についてご存じの方がいらっしゃいましたら、教えていただけるととても助かります。
お手数をお掛けしますがどうぞよろしくお願いいたします。

該当のソースコード

from sklearn import preprocessing

ms = MinMaxScaler()
train = ms.fit_transform(train_a)
test_normalA = ms.transform(test_normalA)
print('train after ms', train)# [[0.78123564 0.79689527 0.6182032  ... 0.2401262  0.70691895 0.50597763]]
print('test_normalA after ms', test_normalA)#  [[-1.3569405 -0.5547431 -0.9329261 ...  2.4957113  1.2391784  2.8852444]]

Comments

[y_waiwai]

ならない、とは実際にはどうなるんでしょうか

[SuzuAya]

>y_waiwai様
print関数の部分にコメントアウトでtrain, testデータそれぞれの値を記載しております。
trainデータの値は0-1におさまっていますが、testデータはそうなっていません（私の勘違いでしたらご指摘ください）。

[meg_]

やりたいことは「標準化」ですか？「正規化」ですか？（文章内の表現は混ざっているようです）

[SuzuAya]

>meg_様
混乱させてしまい申し訳ありません。やりたいことは正規化です。文章を修正いたしました。

Answer 1

「train = ms.fit_transform(train_a)」でtrain_aにフィットさせているので、「test_normalA」で0-1の範囲に収まらない場合もあるかと思いますが、それで問題ないでしょう。

ナード戦隊データマン

スケール変換自体の数学は非常に簡単ですが、訓練データとテストデータは必ず同一の基準で変換しなければなりません。fitメソッドで訓練データの変換基準を構築した後、テストデータでfitを使ってはなりません。必ず、transformメソッドを適用しましょう。

Comments

[SuzuAya]

>meg_様
ご回答ありがとうございました！テストデータは0-1の範囲に収まらなくても問題ないのですね。。安心しました。いつもありがとうございます。