scikit-learnによる重回帰分析の公差検証と学習曲線の質問

Question

前提・実現したいこと

scikit-learnにより重回帰分析をしようと思い、適当にサンプルソースをつないで理解している最中です。説明変数に8(種類)×267のデータ、目的変数に1(種類)×267のデータを使っています。
質問したいことは以下2点です

・acc_meanの値に比べlearning_curveで描かれたグラフ中のvalidation accuracy(紺青)の値が低い(0.9ない)のはなぜでしょうか？同データをFold数5で分割し、どちらともRandomForestをモデルとしているので、同じ値になると思うのですが...。

・learning_curveのグラフ中のtraining samplesの値は何を意味しているのでしょうか？数としては説明変数の267(データ数)×4/5(cv = 5 としたときのtrainの割合？)と思われます。グラフがデータ数ごとの学習を表しているものであれば、validの方はtraining samplesの1/5までしかプロットできないと思うのですが...。

Mean accuracy: 96.5%

ご回答や参考になるサイト・書籍等の紹介をお願いいたします。

該当のソースコード

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.preprocessing import StandardScaler
from sklearn import ensemble
from sklearn.metrics import mean_squared_error
from sklearn.metrics import r2_score
from sklearn.model_selection import learning_curve
from sklearn.model_selection import KFold


#CSVファイルの取り込み
data = pd.read_csv("C:\Users\I06136\data3.csv", sep=",")

X = data.loc[:,['C2','D','E','F','G2','G3','H2','L']]
Y = data['K2']

#配列の作成
X = np.array(X).reshape(-1, 8)
Y = np.array(Y,dtype=np.float64).reshape(-1, 1)

#標準化
ss = StandardScaler()
X = ss.fit_transform(X)

#K-Fold法
kf = KFold(n_splits=5, shuffle=True, random_state=42)
#決定係数の配列
accuracies = []
# 検証データをずらして 5 回繰り返される
for train_index, test_index in kf.split(X): 
    X_k_train, X_k_test = X[train_index], X[test_index]
    y_k_train, y_k_test = Y[train_index], Y[test_index]
    #モデルの学習
    model = ensemble.RandomForestRegressor()
    model.fit(X_k_train, y_k_train)
    print("a")
    # 予測
    y_pred = model.predict(X_k_test)
    print("b")
    #配列を一次元に
    y_pred = y_pred.flatten()
    # ここでモデルの評価を行う
    r2 = r2_score(y_k_test, y_pred)
    accuracies.append(r2)
    print("c")
    
# 各Foldの精度を平均する
acc_mean = np.mean(accuracies)
#K-Fold法による決定係数の可視化
train_sizes, train_scores, valid_scores = learning_curve(estimator=model,
                                              X=X, y=Y,
                                              train_sizes=np.linspace(0.01, 1.0, 100),
                                              cv=5, n_jobs=1)
print(train_sizes)
# calculate the coorinates for plots
train_mean = np.mean(train_scores, axis=1)
train_std  = np.std(train_scores, axis=1)
valid_mean = np.mean(valid_scores, axis=1)
valid_std  = np.std(valid_scores, axis=1)

plt.style.use('seaborn-whitegrid')

# draw the training scores
plt.plot(train_sizes, train_mean, color='orange', marker='o', markersize=5, label='training accuracy')
plt.fill_between(train_sizes, train_mean + train_std, train_mean - train_std, alpha=0.1, color='orange')

# draw the validation scores
plt.plot(train_sizes, valid_mean, color='darkblue', marker='o', markersize=5,label='validation accuracy')
plt.fill_between(train_sizes, valid_mean + valid_std,valid_mean - valid_std, alpha=0.1, color='darkblue') 

plt.xlabel('#training samples')
plt.ylabel('accuracy')
plt.legend(loc='lower right')
plt.ylim([0.5, 1.01])
plt.savefig('learning_curve2.png')
plt.show()
print(f"Mean accuracy: {acc_mean:.1%}")

補足情報（FW/ツールのバージョンなど）

環境:python3.7
補足:参考にしたサイトでは決定係数の導出にaccuracy_scoreを使用していたが、エラーが出たためr2_scoreを使用しました。

Answer 1

acc_mean = np.mean(accuracies)

上記までのコードとそれ以降のコードはやろうとしていることが別物です。前半部分は交差検証をしていますが、可視化していません。後半部分は学習曲線の可視化をしていますが、前半部分の交差検証の結果を使っていません。

ちなみに後半部分は、「学習に使用するデータ件数を変えることでモデルの性能にどのような影響があるか」を可視化したものということになります。一番の核になる部分は以下です。

train_sizes, train_scores, valid_scores = learning_curve(estimator=model,
                                              X=X, y=Y,
                                              train_sizes=np.linspace(0.01, 1.0, 100),
                                              cv=5, n_jobs=1)

これは、学習データの件数をnp.linspace(0.01, 1.0, 100)を使って100パターン用意して、学習時の性能と検証データの性能を得る、という意味合いになります。

よって、ひとつめの質問については、acc_meanとvalidation accuracyは別物なので、関連付けることに意味はないという答えになるかと思います。また、ふたつめの質問については、training samplesは文字通りに学習に使用したデータ件数が答えになります。

Comments

[piyotechi]

回答していただきありがとうございます。training samplesについては訓練データ数に対する予測性能の評価をグラフにしているということで理解できました。もう1つの方がまだ腑に落ちてなく、acc_meanは交差検証とRondomForestで評価した際のテストデータ(検証データ)の決定係数と思うのですが、validation accuracyは導出方法が異なり同じ決定係数ではないということなのでしょうか？また、モデルの性能としてはacc_meanの数値を信頼すればよいのでしょうか？ご回答いただければと思います。

[R.Shigemori]

私自身はlearning_curveは使ったことはないこともあり、具体的な計算式は公式ドキュメントで確認されたほうがいいかと思います。

[piyotechi]

返信ありがとうございます。参考にさせていただきます。