交差検証で出てくる値がバラバラすぎる

Question

リッジ回帰を使い、ボストン住宅価格の回帰を行う基本的な機会学習を実装したのですが、５分割の交差検証を行い結果を確認すると、それぞれ
「 0.80653544 0.80400233 0.82003394 0.34575735 0.5608861 」という結果になりました。

しかし、幅が0.3~0.8まであったら使い物にならなくならないですか？

それで平均が0.6と言われても信用できる値じゃない気がするのですが・・・

これはどこかやり方が間違えているのでしょうか？
それともこういうものなのでしょうか？

from sklearn.linear_model import Ridge

X, y = mglearn.datasets.load_extended_boston()
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=0)
ridge = Ridge().fit(X_train, y_train)
print (ridge.score(X_train, y_train))
print (ridge.score(X_test, y_test))

from sklearn.model_selection import cross_val_score
print (cross_val_score(ridge, X, y,cv=5))
print (cross_val_score(ridge, X, y,cv=5).mean())

0.88605785604
0.752713960031
[ 0.80653544  0.80400233  0.82003394  0.34575735  0.5608861 ]
0.667443032156

Answer 1

データの性質がだいぶ異なるようですね。
何も指定がなければcross_val_scoreはKFoldを使うようで、KFoldのshuffleはFlaseがデフォルトのよう。

データを最初にシャッフルすればスコアは平均的になります。

X, y = mglearn.datasets.load_extended_boston()
idx = np.arange(y.shape[0])
np.random.shuffle(idx)
X = X[idx]
y = y[idx]

外れ値が最後の2グループに固まっていると憶測します。
それか、安価なアパートの賃貸価格を学習して、高級住宅の価格を予想しようとしたのだろうか？（てきとー）

ここから学べることは、予測しようとしているものと近いようなサンプリングをもって教師データにしないと精度が出ないということでしょうか？
回帰による予測はただの補間であって、どのようなデータを集めるべきかが機械学習で最も人間が苦労すべき場所かもしれません。

データをシャッフルする方法に関してですが、時系列データの場合は細心の注意が必要となります。
容易に過学習を引き起こします。
今回のデータがそうでないことを願うばかりです。

Comments

[renren643]

シャッフルしたところいい感じになりました。

回答ありがとうございました