scikit.learnで２個のarray配列を合わせて標準化したい

Question

前提・実現したいこと

scikit.learnで２個のarray配列を合わせて標準化したい。

試したこと

import numpy as np
from sklearn.preprocessing import StandardScaler

test1 = np.array([[0.6,0.68,0.65,0.74],[0.59,0.66,0.67,0.73]])
test2 = np.array([[0.61,0.67,0.64,0.75],[0.58,0.67,0.68,0.72]])
test3 = np.array([[0.6,0.68,0.65,0.74],[0.59,0.66,0.67,0.73],[0.61,0.67,0.64,0.75],[0.58,0.67,0.68,0.72]])
scaler = StandardScaler()

norm1 = scaler.fit_transform(test1)

norm1
array([[ 1., 1., -1., 1.],
[-1., -1., 1., -1.]])

norm2 = scaler.fit_transform(test2)

norm2
array([[ 1., 0., -1., 1.],
[-1., 0., 1., -1.]])

norm3 = scaler.fit_transform(test3)

norm3
array([[ 0.4472136 , 1.41421356, -0.63245553, 0.4472136 ],
[-0.4472136 , -1.41421356, 0.63245553, -0.4472136 ],
[ 1.34164079, 0. , -1.26491106, 1.34164079],
[-1.34164079, 0. , 1.26491106, -1.34164079]])　

となるのはわかりました。
そこで、
test1 = np.array([[0.6,0.68,0.65,0.74],[0.59,0.66,0.67,0.73]])
test2 = np.array([[0.61,0.67,0.64,0.75],[0.58,0.67,0.68,0.72]])
scaler = StandardScaler()
norm1,norm2 = scaler.fit_transform(test1,test2)

norm1
array([ 0.4472136 , 1.41421356, -0.63245553, 0.4472136 ],
[-0.4472136 , -1.41421356, 0.63245553, -0.4472136 ])

norm2
array([ 1.34164079, 0. , -1.26491106, 1.34164079],
[-1.34164079, 0. , 1.26491106, -1.34164079])

となることを期待していましたがこうなりませんでした。
初心者の質問で申し訳ないですが解決方法がありましたらよろしくお願い致します。

補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。

Comments

[hayataka2049]

scikit.learnよりscikit-learnが正確です。お時間の都合がつくときにでも修正しておいてください。

Answer 1

fitとtransformをわけて実行すればよいと思います。
今回はStandardScaler.partial_fit()を使えば、複数のデータをもとにするScalerが作成できそうです。

scaler = StandardScaler()
scaler.partial_fit(test1)
scaler.partial_fit(test2)

norm1 = scaler.transform(test1)
norm2 = scaler.transform(test2)

Comments

[hayataka2049]

StandardScalerにpartial_fitあったんですね！

Answer 2

一行で。

import numpy as np
from sklearn.preprocessing import StandardScaler

test1 = np.array([[0.6, 0.68, 0.65, 0.74], [0.59, 0.66, 0.67, 0.73]])
test2 = np.array([[0.61, 0.67, 0.64, 0.75], [0.58, 0.67, 0.68, 0.72]])

scaler = StandardScaler()
result1, result2 = np.split(scaler.fit_transform(np.vstack([test1, test2])), len(test1), axis=0)
print(result1)
print(result2)

Comments

[kazuhira]

本当にありがとうございました。
無事に解決することができました。

Answer 3

以下のようにすればよいと思います。

手順

(N, L), (M, L) の2つの行列があった場合、

1. 縦 (axis=0) で連結して、(N + M, L) の行列にする。
2. 標準化する。
3. 結果の(N + M, L) の行列を (N, L), (M, L) の2つの行列に戻す。

サンプルコード

import numpy as np
from sklearn.preprocessing import StandardScaler

test1 = np.array([[0.6, 0.68, 0.65, 0.74], [0.59, 0.66, 0.67, 0.73]])
test2 = np.array([[0.61, 0.67, 0.64, 0.75], [0.58, 0.67, 0.68, 0.72]])

# 縦に連結する。
concat = np.vstack((test1, test2))
print(concat)
# [[0.6  0.68 0.65 0.74]
#  [0.59 0.66 0.67 0.73]
#  [0.61 0.67 0.64 0.75]
#  [0.58 0.67 0.68 0.72]]

scaler = StandardScaler()
scaled = scaler.fit_transform(concat)

# 連結したのを元に戻す。
scaled1 = scaled[:len(test1)]
scaled2 = scaled[len(test1):]
print(scaled1)
# [[ 0.4472136   1.41421356 -0.63245553  0.4472136 ]
#  [-0.4472136  -1.41421356  0.63245553 -0.4472136 ]]

print(scaled2)
# [[ 1.34164079  0.         -1.26491106  1.34164079]
#  [-1.34164079  0.          1.26491106 -1.34164079]]

Comments

[kazuhira]

本当にありがとうございました。
とても参考になりました。