sklearnのLinearRegressionの計算方法とscoreの算出の方法について
解決済
回答 1
投稿
- 評価
- クリップ 0
- VIEW 1,441
from sklearn.linear_model import LinearRegression
import mglearn
X, y = mglearn.datasets.load_extended_boston()
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=0)
%time lr = LinearRegression().fit(X_train, y_train)
print(f"training dataに対しての精度: {lr.score(X_train, y_train):.2}")
print(f"test dataに対しての精度: {lr.score(X_test, y_test):.2}")上記を実行したところ、以下のような出力が得られました。
Wall time: 86.7 ms
training dataに対しての精度: 0.95
test dataに対しての精度: 0.61
ここでlrというインスタンスに対してscoreというメソッドを用いて精度を求めましたが、ここでのスコアの値は決定係数的であることは分かるのですが、正確には何であるかがわかりません。
https://github.com/scikit-learn/scikit-learn/blob/7b136e9/sklearn/linear_model/base.py#L362
に詳しいことが書かれているということは分かるのですが、難しくて諦めてしまいました。
詳しい方がいれば教えて頂けると恐縮です。
また、スクリプト上のどこにか書かれてあるか教えて頂けるとなおのこと嬉しいです。
また、X_trainを説明変数として学習をしているのですが、このモデルを作ると時どのようなアルゴリズムで動いているのでしょうか？(一般逆行列を解いて導出しているなどなど)
こちらに関しても分かる方がいれば教えて頂けると恐縮です。
（スクリプトの場所まで教えて頂ければなお嬉しいです。）
-
気になる質問をクリップする
クリップした質問は、後からいつでもマイページで確認できます。
またクリップした質問に回答があった際、通知やメールを受け取ることができます。
クリップを取り消します
-
良い質問の評価を上げる
以下のような質問は評価を上げましょう
- 質問内容が明確
- 自分も答えを知りたい
- 質問者以外のユーザにも役立つ
評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。
質問の評価を上げたことを取り消します
-
評価を下げられる数の上限に達しました
評価を下げることができません
- 1日5回まで評価を下げられます
- 1日に1ユーザに対して2回まで評価を下げられます
質問の評価を下げる
teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。
- プログラミングに関係のない質問
- やってほしいことだけを記載した丸投げの質問
- 問題・課題が含まれていない質問
- 意図的に内容が抹消された質問
- 過去に投稿した質問と同じ内容の質問
- 広告と受け取られるような投稿
評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。
質問の評価を下げたことを取り消します
この機能は開放されていません
評価を下げる条件を満たしてません
質問の評価を下げる機能の利用条件
この機能を利用するためには、以下の事項を行う必要があります。
- 質問回答など一定の行動
-
メールアドレスの認証
メールアドレスの認証
-
質問評価に関するヘルプページの閲覧
質問評価に関するヘルプページの閲覧
checkベストアンサー
0
ドキュメントを見ましょう。
he coefficient R^2 is defined as
(1 - u/v), where u is the residual sum of squares((y_true - y_pred) ** 2).sum()and v is the total sum of squares((y_true - y_true.mean()) ** 2).sum().https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LinearRegression.html#sklearn.linear_model.LinearRegression.score
wikipediaで一般的とされている決定係数と同じものです。
https://ja.wikipedia.org/wiki/%E6%B1%BA%E5%AE%9A%E4%BF%82%E6%95%B0
どのようなアルゴリズムで動いているのでしょうか？
実装としては（いろいろあるけど）基本的にはscipyのlinalg.lstsqに丸投げされると思います（疎行列型でない場合）。
https://github.com/scikit-learn/scikit-learn/blob/7b136e9/sklearn/linear_model/base.py#L485
そしてscipyはLAPACKに投げています。
https://docs.scipy.org/doc/scipy/reference/generated/scipy.linalg.lstsq.html
デフォルトの動作の説明はこれだと思いますが、あまり自信がないし私自身理解できていないので、参考程度に。
https://www.nag.co.uk/numeric/FL/nagdoc_fl26/pdf/f08/f08kcf.pdf
投稿
-
回答の評価を上げる
以下のような回答は評価を上げましょう
- 正しい回答
- わかりやすい回答
- ためになる回答
評価が高い回答ほどページの上位に表示されます。
-
回答の評価を下げる
下記のような回答は推奨されていません。
- 間違っている回答
- 質問の回答になっていない投稿
- スパムや攻撃的な表現を用いた投稿
評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。
15分調べてもわからないことは、teratailで質問しよう！
- ただいまの回答率 88.33%
- 質問をまとめることで、思考を整理して素早く解決
- テンプレート機能で、簡単に質問をまとめられる
2019/05/07 17:28
linalg.lstsqには行列の一般逆行列を解いているんだと思います。詳しくは分かりませんでしたが、
また、LAPACKとは何でしょうか？