機械学習の回帰でどの手法を取るべきかわからない

Question

機械学習の回帰の手法の特徴がわからない

カラムが90、列が15000ほどあるテーブルデータ（分散が0や欠損値のみの行を消した状態）を使って、
機械学習の重回帰分析をしようとしています。
その際に、ランダムフォレストやSVR、Elastic　Netなどがあることが分かったのですが、
どの手法が一番適しているかわかりません。
そのため重回帰分析に使われるそれぞれの手法の一般的なメリット、デメリットを教えていただきたいです。
それともそれぞれの手法のメリットなどはデータの特徴によってさまざまで、把握が難しいため、
すべての手法を試すべきなのでしょうか？
初歩的な質問かもしれませんが、よろしくお願いいたします。

Answer 1

正直なところ、世にある方法論について多少なりとも知識がない状態でモデル化をしようというするのはお勧めできません。どの方法でも構わないのでモデル化を試みながら、ある程度マスターしましょう、その上で性能面の限界を突破するためにはどの方法がいいのか、という意識で他の方法論を探索しないとまともな結果が得られないような気がします。

また、質問の記載によると説明変数が90と結構多いので、モデル化の戦略を立てておく必要もあると思います。もちろん、総当たり（考えられるすべての方法をパラメータチューニングしながら試す）という戦略を否定しませんが、その前に事前分析（あるいはドメイン知識）から、あたりをつけておいたほうが納得のいくものに仕上がるはずです。

ちなみに私ならどうするのかということでいえば、

１．被説明変数と説明変数の間の規則性を分析し、コアとなる説明変数を特定する。
２．項番１で特定した説明変数と被説明変数の規則性からベースラインとなるモデルを構築する。
（線形の関係がみられるのであれば最小二乗法の系統、非線形なら決定木の系統を使う）
３．ベースラインの性能を分析し、改良の方向性を決定する。
（方向性として、モデルの選択とパラメータチューニング、説明変数のエンジニアリングが想定される）
４．モデル選択とパラメータチューニングの場合は、ベースラインのモデルと同系統のものを主軸に総当たりで試す。（パラメータチューニング含む）さらに性能向上を目指すのであれば、未使用の被説明変数を加えていく。
５．被説明変数のエンジニアリングの場合、未使用の特徴量を加えていくことと次元削減や連続値の離散化（あるいはその逆）などを手掛けながら性能向上を図る。

という感じで進めると思います。

Comments

[shigahiro]

わかりやすい説明ありがとうございます。
自分なりにもう少し方法論について、ゆっくりでもいいので調べて進めていきたいと思います。
回答していただきありがとうございました。