時系列データのsklearnでの標準化について

Question

下記のような時系列のデータフレーム(dfa)があります。pd.infoは以下の通りです。

                   A	  B	  C	  D	 E        F

Data
2017-01-01 00:01:00 125.25 0.125 1.258 12547 2.5 -0.254
2017-01-01 00:02:00 124.23 0.125 1.258 12525 2.5 -0.255
2017-01-01 00:03:00 123.24 0.125 1.258 12503 2.5 -0.256
2017-01-01 00:04:00 125.48 0.125 1.258 12481 2.5 -0.253
2017-01-01 00:05:00 126.25 0.225 1.258 12459 2.5 -0.252
2017-01-01 00:06:00 127.25 1.225 2.258 12460 3.5 0.748
2017-01-01 00:07:00 127.25 0.225 1.258 12437 2.5 -0.254
2017-01-01 00:08:00 130.05 0.225 1.258 12415 2.5 -0.255

<class 'pandas.core.frame.DataFrame'>
DatetimeIndex: 933505 entries, 2017-01-01 00:01:00 to 2017-09-30 14:59:00
Columns: 200 entries, A to AZ=
dtypes: float64(430)
memory usage: 10.0 MB

上記の通り、indexはDatetime型、columnsは文字列です。元データ表記を少し変えておりますが、カラム銘柄毎の時間毎の値を行方向に並べております。このデータの標準化をsklearnのモジュールを使って行うべく下記コードを実行したところ、Datetimeであるindexも標準化されてしまいました。

sc=StandardScaler()
dfa_std=sc.fit_transform(dfa)

index列を切り分けて標準化し、その後併合すればよいのかもしれませんが、切り分けせずにindex以外を行方向に標準化する方法はございますでしょうか。

よろしくお願いいたします。

p.s 追記です。標準化コード実行は下記の通りの表示となってしまいました。
0 　　　　1　　 2 　　3 　　4 　　　5
0 -1.367752　-0.32971　1.868358　-0.931302 0.157813　1.33493
1 -1.367752　-0.33094　1.868358　-0.931302 0.157813　1.33493
2 -1.367752　-0.33197　1.868358　-0.931302 0.157813　1.33493
3 -1.367752　-0.33126　1.868358　-0.931302 0.157813　1.33493
4 -1.367752　-0.3309　 1.868358　-0.931302 0.157813　1.33493

Answer 1

col = ['A','B','C','D','E','F']
sc = StandardScaler()
dfa.loc[:, col] = sc.fit_transform(dfa.loc[:, col])

とかですか？
新しいdfa_stdのDataFrameがほしいのであれば、これではいけませんが。

Comments

[jun.k]

早速のご回答ありがとうございます! 実はcolがかなりの数あるのと、新しいDataFrameがほしいのでちょっと難しそうです。colをdfa.columnsで表示させてコピペしようとしたのですが、省略されてしまい・・・・・。

[mkgrei]

col = dfa.columns
で問題ありませんよ。
省略は表示だけです。

[jun.k]

あっ。そういえばそうですね。試してみます。

[jun.k]

ありがとうございました!!!。うまくいきました。dfaの場所を指定する必要があるのですね。dfaを上書きしてしまいましたが後は何とかなりそうです。

Answer 2

全列が標準化対象で、そのまま元のデータフレームに戻してあげたい場合は、以下のようにも記載できます。
参考：pandas dataframe columns scaling with sklearn

import pandas as pd
from io import StringIO
s = """
Index,A,B,C,D,E,F
2017-01-01 00:01:00,125.25,0.125,1.258,12547,2.5,-0.254
2017-01-01 00:02:00,124.23,0.125,1.258,12525,2.5,-0.255
2017-01-01 00:03:00,123.24,0.125,1.258,12503,2.5,-0.256
"""
df = pd.read_csv(StringIO(s), index_col='Index', parse_dates=['Index'])
print(df)
"""
                          A      B      C      D    E      F
Index
2017-01-01 00:01:00  125.25  0.125  1.258  12547  2.5 -0.254
2017-01-01 00:02:00  124.23  0.125  1.258  12525  2.5 -0.255
2017-01-01 00:03:00  123.24  0.125  1.258  12503  2.5 -0.256
"""

from sklearn.preprocessing import StandardScaler
sc = StandardScaler()
df[:] = sc.fit_transform(df)
print(df)
"""
                            A    B    C         D    E         F
Index
2017-01-01 00:01:00  1.230792  0.0  0.0  1.224745  0.0  1.224745
2017-01-01 00:02:00 -0.012186  0.0  0.0  0.000000  0.0  0.000000
2017-01-01 00:03:00 -1.218606  0.0  0.0 -1.224745  0.0 -1.224745
"""

Comments

[jun.k]

ご回答ありがとうございます! 上記試してみます(データが重いのでちょっと時間がかかっております。mkgrei様の結果もふくめて判明次第再度コメントさせていただきますので、少々お待ちください)。

[jun.k]

ありがとうございました!!。うまくいきました。mkgrei様のコードだとfit_transformの引数dfaだけではダメそうでしたが、こちらはよりコードがすっきりしますね。どういうしくみか分かりませんが助かりました。