テーブルデータの変数同士の相関係数に合わせた前処理の方法がわからない

Question

テーブルデータの変数同士の相関係数に合わせた前処理の方法がわからない

今テーブルデータを用いた機械学習の回帰の分野について勉強しています。
変数同士の相関係数が１の時はどちらかを消したほうがモデルの質が向上すると聞いたのですが、
-1の場合もどちらかは消したほうが良いのでしょうか？

初歩的な質問かもしれませんがよろしくお願いいたします。

Answer 1

-1の場合もどちらかは消したほうが良いのでしょうか？

はい。相関係数の絶対値の大きいペアではどちらかを取り除きます。

ただしこれは統計分析を行う場合の考え方であって、機械学習による予測を前提とするなら、そもそもそこまで厳密に考えなくても良いかもしれません。
（寄与の解釈をしないし、モデル側のアルゴリズムによっては問題にならない可能性もあるし、問題になるとしてもPCAで次元削減してから機械学習モデルに入れるとかを選べるので）

Comments

[shigahiro]

回答ありがとうございます。そうなんですね。
今テーブルデータの前処理を行っていて、すべて欠損値の行や分散が０のカラムを消して90個ほどのカラムに絞っていました。このままでは説明変数が多すぎると思い、変数同士の相関係数に基づいてさらに前処理を進める必要があると考えていていました。もしそのような処理をする必要がなければ他にはどのような処理をするべきか教えていただきたいです。重回帰分析に対するアプローチにどのようなものがあるのかまだよくわかっておらず、ランダムフォレストを用いて、行おうと考えています。抽象的な質問になってしまい、申し訳ありません。

[hayataka2049]

90なら多すぎるってこともないと思いますよ。

[shigahiro]

そうなんですね。ありがとうございます。
とても勉強になりました。