PCA(主成分分析)と固有方程式の関係

Question

ここで聞くべき内容かどうか微妙なところだと思うのですが質問してみたいと思いました。

　PCAにおいて2次元を1次元に削減する場合に、分散が最大になるようなベクトル式の導出解説が様々なサイトに載っておりある程度理解できたと思っています。

しかし、固有方程式または固有ベクトルの特性がPCAにおいてどのように役に立っているのかがわかりませんでした。

他のサイトでは最終的な式の形が固有方程式の形になっているから。みたいな感じで解説がされているので固定ベクトルの掛けても向きは変わらず、大きさだけ変わるという特性？のメリットのようなものは説明していただけていないことがあります。

解説してもらう側の立場で失礼なのですが、そのあたりまで解説してくださる方がいらっしゃいましたらよろしくお願いいたします。

Answer 1

例えばx軸上に二次元点が密集している場合、y値はゼロばかりで大きな意味を持ちません。つまり、xとyで価値が大きく偏りがあります。

次元数が大きくなると、これは大きな違いになります。今はxとyを軸としましたが、軸を回転させたり斜めにした座標系を選べば、さらに偏りが大きくなります。

これを上手く利用し、寄与の大きさの順に並べたりしてデータを精査することごできます。

Answer 2

分散共分散行列、相関行列（スケーリングした場合）はどちらにせよ対称行列なので、固有値は必ず実数になり、このとき異なる固有値に対応する固有ベクトルは必ず直交します。

主成分分析はこの固有ベクトルを基底とした線形空間に元の変数を写像する方法ですが、そうすると何が嬉しいのか？　というと

• 写像先の空間では変数同士（空間の軸、座標）に相関がなくなる
• （ある意味では同じことですが）元の空間で変数に相関があれば、その分だけ次元数を減らしても情報が損なわれない

というメリットがあります。

もうひとつ追加しておくと、最大固有値の大小が分散の大きさを表してくれるので（数学的な説明はどこかにあるはずなので割愛）、情報の大きい（であろう）ところだけ取り出すなんて芸当もできます。

という説明で良いですか？

Comments

[退会済みユーザー]

回答ありがとうございました。
対称行列の性質はこちらを参考にさせてもらって初めて知りました。https://mathtrain.jp/symmetriceigen
しかしメリットの部分では正直なところほとんど理解できていません。
「空間の軸と座標の相関がある」とはどういった意味なのかあと少し解説してもらえるとありがたいです。
軸または原点？(0,0)から相対的にみた位置情報があるという意味でしょうか？

[hayataka2049]

小学生の生徒のテストの点数を分析するとして、
国語と社会、算数と理科の点数にはそこそこ強い正の相関があるかもしれません。じゃあ文系科目と理数系科目でまとめれば、4つの変数だったものが2つに減らせるかも。
文系の傾向と理系の傾向には逆相関があるかもしれません。そしたら1つにまとまるかな。
いや、全体的にできる優等生タイプと、全体的に駄目な問題児タイプの生徒がいるでしょうね。そしたら、文系理系と全体的な優秀さの2軸くらいで、だいたい生徒たちのテストの点数の分布を表せるかな。
という感じのことを計算でできます。変数の数を減らしてデータを本質的に表す変数にまとめる感じです。

[退会済みユーザー]

度々回答ありがとうございます。
教科同士の相関は無くなっても生徒の文系理系科目合わせた優秀さがわかるということだと理解しました。
間違っていたらまた勉強していきます。
データによって本質が何なのかというのが難しいところです。
本当にお世話になりました。

[hayataka2049]

適当に考えた例でしたが、似たようなのがありました。
http://daas.la.coocan.jp/toukei_hosoku/tahenryo_jirei_01.htm

＞データによって本質が何なのかというのが難しいところです。
たしかにその通りです。また、主成分分析はしょせん共分散（相関）の大小に基づいて分析するだけなので、常に人間の直感と一致した結果が得られるというものでもありません。そうならない場合も多いです（高次元では顕著）。
それでも、元のデータの性質を残したままベクトルの次元を減らせるのは確かです（元のデータで変数同士に相関があればの話）。機械学習の前処理でそのために使ったりもします。