PCAのinverse_transformは何をしているのかが知りたい

Question

pythonでPCAを学んでいますが、inverse_transform関数で何を行っているのかが分からず質問しました。

下記のようにinverse_transform関数を使うと、2次元に削減したデータが元の3次元に戻ります。

次元が同じだけでデータの値は元の数値と異なりますが、この関数では元のデータに戻す関数なのでしょうか。
仮に元ののデータを推測して戻しているのだとしたらどのように戻しているのでしょうか。
PCAのinspect.getsource関数で中を見てみましたが、分かりませんでした。

分かる方がいたら教えてください。
宜しくお願いします。

import numpy as np
from sklearn.decomposition import PCA

df = np.random.randn(6, 3)

pca = PCA(n_components=2)
pca.fit(df)
feature = pca.transform(df)
pca.inverse_transform(feature)

from sklearn.decomposition import PCA
import inspect
print(inspect.getsource(PCA)) 

追記
下記のコードで関数の中身が見れらしたが、self.whitenが何を指しているのかが分かりませんでした。
whiten : bool, optional (default False)
When True (False by default) the components_ vectors are multiplied
by the square root of n_samples and then divided by the singular values
to ensure uncorrelated outputs with unit component-wise variances.

import inspect
inspect.getsource(PCA.inverse_transform)

Answer 1

PCA.inverse_transform()の動作

PCA.transform()は主成分(分散の大きな軸)を見つけてそれを主軸とするような変換を行います。変換された値に対してPCA.inverse_transform()を行うと、元の変換される前の値を返します。

例として2次元平面上での理想的な楕円をPCA.transform()を行うとどうなるか、そしてさらに変換された値にPCA.inverse_transform()を行うとどうなるかを示します。

import numpy as np
import matplotlib.pyplot as plt
from sklearn.decomposition import PCA


def make_ellipse(a, b, theta):
    rad = np.radians(theta)
    c = np.cos(rad)
    s = np.sin(rad)
    r = np.array([[c, -s], [s, c]])
    data = np.empty(shape=(360, 2))
    for deg in range(0, 360, 1):
        rad = np.radians(deg)
        pos = np.array([a * np.cos(rad), b * np.sin(rad)])
        data[deg, :] = r @ pos
    return data


def main():
    X0 = make_ellipse(1.0, 0.5, 30)
    pca = PCA(n_components=2)
    pca.fit(X0)
    X1 = pca.transform(X0)
    X2 = pca.inverse_transform(X1)
    X = np.array([X0, X1, X2])

    fig, ax = plt.subplots(1, 3, figsize=(12, 4), sharey=True)
    for i in range(3):
        ax[i].plot(X[i, :, 0], X[i, :, 1])
        ax[i].set_xlim(-1.5, 1.5)
        ax[i].set_ylim(-1.5, 1.5)
    ax[0].set_title("X0: Original")
    ax[1].set_title("X1: pca.transform(X0)")
    ax[2].set_title("X2: pca.inverse_transeform(X1)")
    plt.show()


if __name__ == "__main__":
    main()

低次元から高次元へ戻る仕組み

簡単に言うと、N個のデータ、M個の特徴量に対してP次元のPCAを適用した場合

(N x P) = (N x M) (M x P) # (変換後) = (変換前) (変換行列)

となっています。変換行列(M x P)を覚えておいて、inverse_transform()する際には

(N x M) = (N x P) (P x M) # (変換前) = (変換後) (変換行列の転置行列)

を行っているだけです。

ソースコードの方を参照されているので詳しく説明します。入力データX0のデータ数をN, 特徴量の数をMとすると

X0.shape == (N, M)

です。これにPCAの要素数をPとすると、pca.transform()後のX1は

X1.shape == (N, P)

となります。このときPCAの内部ではfit()時に各々分散を計算して大きい順にP個保持しています。

explained_variance_.shape == (P, )  # 1次元配列

np.newaxisは次元を1つ追加しますので

explained_variance_[:, np.newaxis].shape == (P, 1)

と2次元配列になります。要素数P個は変わりません。

また主成分の係数components_は

components_.shape == (P, M)

になっています。この2つを掛け算すると

(explained_variance_[:, np.newaxis] * components_).shape == (P, M)

となります。これはP個の分散の値をcomponents_の各行に掛け算しています。
np.sqrt()は次元を変えませんので、最終的に

np.dot(X, np.sqrt(self.explained_variance_[:, np.newaxis])

を計算することができます。Xは次元が減ったX1.shape == (N, P)のことですので、内積は(N, P) . (P, M) となり、演算結果の行列は(N, M)となります。

Comments

[ttt_]

大変詳しく説明してくださりありがとうございます。
inverse_transform()についてよくわかりました。