残差プロット後のアプローチ

Question

重回帰分析の勉強をしているのですが、
それのスコア向上のアプローチの一つとして、残差プロットをしてみました。

結果は以下の画像のようになりました。
残差プロットをしたは良いのですが、その後どうアプローチしたらいいのかがわかりません。

Kaggleのデータを使っているので、
testデータの教師データはないので、以下のコードのように、
学習済みモデルにtrainXを入れたもの(trainY_pred)と、
trainYを比較しています。

trainY_pred = model.predict(trainX)
plt.scatter(trainY_pred, trainY_pred - trainY, c = 'blue', marker = 'o', label = 'Train Data')

そもそも、残差プロットの結果の評価の方法がわからないのですが、
僕がこの結果を見た感じだと、まぁまぁ良い感じにバラけているけど、右上に大分大きく外れたものがあるので、ココに何かしらのアプローチをかけるのが良いのかなと感じています。

まぁまぁ良い感じにバラけているとはいいましたが、
±100,000もあるのでそうでもないのでしょうか。

お聞きしたいことは、そもそもこの結果は良い感じなのかそうでもないのか、というのと、
この後、この結果からさらにスコアを上げるためにはどういったアプローチが考えられるか
の2点です。

よろしくお願いします。

Answer 1

前提条件が少ないので答えにくいのですが、とりあえず、コメントします。

そもそもこの結果は良い感じなのかそうでもないのか

予測モデルに何を使っているかによりますが、scoreメソッドを使えば、モデルの適合度がわかります。この指標は、０から１の間を取るので1.0に近ければそれなりの精度を見ていいことになります。仮にモデルが結構複雑（説明変数が多いという意味）であれば、AICを使ったほうがいいかもしれません。ただし、pythonにはAICを計算する関数がなかったように記憶しているので、自力で実装する必要があります。

さらにスコアを上げるためにはどういったアプローチが考えられるか

アプローチ方法によりますが、伝統的な統計屋さんであれば、モデルの係数の検定結果から不確かな説明変数を特定して対応策を練るという方法を取るかと思います。また、グラフによると、残差が正規分布を描いているようなので、下振れグループ・そこそこ良いグループ・上振れグループに3分割して、各グループ間の説明変数の差異から結果にあまり影響していないものを特定して対応策を練るという方法もありそうな気がします。他にも説明変数を順番に減らす（あるいは増やす）ことで精度の変化を見ながら最適化を図るというステップワイズ法などもいいかもしれません。
機械学習屋さんであれば、特徴選択・次元削減・パラメータチューニングを全て試すという方法を取るかと思います。pythonには取り得るパラメータの組み合わせを全て試すことができる方法（グリッドサーチ）も実装されているので使ってみるといいかと思います。