機械学習に次元削減を取り入れる時について

Question

機械学習に次元削減を取り入れたいと考えています。
そこで、以下のように訓練データとテストデータを分ける際に分ける前に次元削減を行うべきか分けてから次元削減を行うべきか混乱しています。

個人的には、分けてから次元削減を行う方がシステムの都合上便利なのですが、
やはり、データ全体の相関をみて次元削減しないといけないことから次元削減を行ってから訓練データとテストデータに分けないといけないのでしょうか。

#分けてからの次元削減
#機械学習に用いるデータ
train_feature = pd.concat([feature_df01, feature_df02, feature_df03])
train_feature = train_feature.sample(frac=1, random_state=0).reset_index(drop=True)

#訓練データ
X_train = train_feature.ix[:119, 1:]
y_train = train_feature.ix[:119, 0]

#テストデータ
X_test = train_feature.ix[120:134, 1:]
y_test = train_feature.ix[120:134, 0]

#次元削減（１）
lda = LDA(n_components=2)
lda.fit(X_train, y_train)
X_train = lda.transform(X_train)

lda = LDA(n_components=2)
lda.fit(X_test, y_test)
X_test = lda.transform(X_test)

#次元削減を行ってから分ける
#機械学習に用いるデータ
train_feature = pd.concat([feature_df01, feature_df02, feature_df03])
train_feature = train_feature.sample(frac=1, random_state=0).reset_index(drop=True)

#次元削減（2）
lda = LDA(n_components=2)
lda.fit(train_feature, feature_label)
X_train = lda.transform(train_feature)

#訓練データ
X_train = train_feature.ix[:119, 1:]
y_train = train_feature.ix[:119, 0]

#テストデータ
X_test = train_feature.ix[120:134, 1:]
y_test = train_feature.ix[120:134, 0]

よろしくお願いいたします。

Answer 1

結論から言うと、「分けてから」に削減しないと正しい評価ができません。
機械学習の評価を行う際、正しく行わないとleakageという問題が発生します。これは予測時に使えない情報を訓練時に使ってしまうことを言います。これをやると、不当に結果がよくなります。
X_train, y_train, X_test, y_testがあるとして、訓練時に使って良いのはX_trainとy_trainだけです。
「分ける前」に次元削減するということはX_train+X_testとy_train+y_testで次元削減をするので、leakageに該当してしまう訳です。
なお、こういう場合、sklearnならPipelineを使って書くと便利ですし、leakageの問題も何もせずとも排除することができます。
sklearn.pipeline.Pipeline — scikit-learn 0.19.1 documentation

lda = LDA(n_components=2)
clf = 何らかの分類器モデル()
pl = Pipeline([("lda", lda), ("clf", clf)])

Answer 2

本番環境によりますが、次元削減する際に必ず予測しようとしているデータを持っていることを保証できるのであれば、全部まとめて次元削減を行っても問題ありません（宗派あり）。
予測しようとするデータを常に含めて次元削減ができないのであれば、本番環境に近づけるためにモデルのフィッティングに関わるデータのみで次元削減するのが無難です。

LDAを使う場合、まとめて次元削減を行うと必ずリークしますね。

---

(1)の方はtestデータに対してLDAを計算し直したらだめでは？

lda = LDA(n_components=2)
lda.fit(X_train, y_train)
X_train = lda.transform(X_train)

X_test = lda.transform(X_test)

---

面白かった読み物。

https://stats.stackexchange.com/questions/106121/does-it-make-sense-to-combine-pca-and-lda
https://spiral.imperial.ac.uk/bitstream/10044/1/33407/11/LiuGillies2015AcceptedAuthorManuscript.pdf
https://stats.stackexchange.com/questions/169436/how-lda-a-classification-technique-also-serves-as-dimensionality-reduction-tec
https://stats.stackexchange.com/questions/65692/how-to-visualize-what-canonical-correlation-analysis-does-in-comparison-to-what/65817#65817
http://sebastianraschka.com/Articles/2014_python_lda.html

Comments

[hayataka2049]

今回の質問は線形判別分析でやるんですから、予測しようとしているデータの真のラベルがないことには・・・

[mkgrei]

hayataka2049さん、コメントをありがとうございます。

本来学習データと推定予定データが同じ分布を持っていることが重要かと思っていますが、
手元のデータを分布が同じことを保証しつつ分割する困難さがあるかと思います。

モデルを評価する際には本番にできるだけ近づけておく必要性があると思いますが、
最終的なモデルを使う際には教師なし学習については手元にあるデータをできる限る放り込むのも一つの手かと思います。

https://stats.stackexchange.com/questions/306526/why-linear-discriminant-analysis-is-sensitive-to-cross-validation-lda-overfit-p/306729
https://stats.stackexchange.com/questions/108928/is-linear-discriminant-analysis-lda-more-likely-to-overfit-than-support-vector

[mkgrei]

hayataka2049さん、コメントをありがとうございます。

一周して勘違いに気づきましたｗ
PCAの気分でした…
修正します。

[gymgym]

mkgreiさん。
ほんとは以下のようにしてテストデータとして使いたいと考えています。
lda.fit(X_train, y_train)
X_test = lda.transform(X_test)

しかし、このようにテストデータを作成すると識別がうまくいかなく困っています。
もし可能であればアドバイスいただけないでしょうか。
よろしくお願いいたします。

[mkgrei]

大量にあるリンクのうちのどれかにあったのですが、前処理としての性能は
LDA+PCA>PCA>LDA
です。
LDAはデータに依存して、後に続く学習器の過学習を引き起こすことがあります。

また、今データを順番に並べたものを教師テストに分割しているので、クラスに大きな偏りが生じている可能性があります。

idx = np.arange(134)
np.random.shuffle(idx)
X_train = train_feature.ix[idx[:119], 1:]
のようにシャッフルしてみてください。

[hayataka2049]

横槍ですが、explained_variance_ratio_を見てみる、というのはどうでしょう。何かのヒントになるかもしれません

[gymgym]

返信遅れて申し訳ございません。
mkgreiさんありがとうございます。とても参考になりました！