回答編集履歴

- 分散共分散行列、相関行列（スケーリングした場合）などの対称行列の固有値は必ず実数になり、このとき異なる固有値に対応する固有ベクトルは必ず直交します。

- もうひとつ追加しておくと、固有値の大小が分散か相関の大きさを表してくれるので（数学的な説明はどこかにあるはずなので割愛）、情報の大きい（であろう）ところだけ取り出すなんて芸当もできます。