Pythonのstatsmodelsを用いたロジスティック回帰

Question

とある分析において、pythonのstatsmodelsを用いてロジスティック回帰に挑戦しています。
最初はsklearnのlinear_modelを用いていたのですが、分析結果からp値や決定係数等の情報を確認することができませんでした。
そこで、statsmodelsに変更したところ、詳しい分析結果を確認することはできたのですが、以下の課題に直面しました。

【課題(目標)】
ロジスティック回帰の結果 (重み・切片・p値・モデルの精度) をそれぞれ取得したい

結果はsummary()で表示することはできるのですが、個々の情報を取得する方法がわかりませんでした。
ご存知の方、ご教授いただけないでしょうか。

以下に環境を記載します。
OS：macOS Sierra
Python：Python3.6.1

【現段階のコード (大まかな流れ)】

import statsmodels.formula.api as smf

# 変数の定義
X = 説明変数のデータ (pd.DataFrame型をas_matrixに変換)
Y = 被説明変数のデータ (pd.DataFrame型をas_matrixに変換)

# ロジスティック回帰
model = smf.Logit(Y,X)
result = model.fit()

# 結果を表示
print(result.summary())

Comments

[tiitoi]

sklearn.linear_model.LogisticRegression のほうを使うではダメでしょうか？

[IOError]

ご連絡ありがとうございます。おっしゃる通りsklearn.linear_model.LogisticRegressionも試しましたが、重み・切片・p値・モデルの精度を取得することはできるんですか？

Answer 1

こんな感じでよろしいでしょうか

# (省略)
model = smf.Logit(Y,X)
result = model.fit()
# 結果を表示
print(result.summary2())
# 回帰係数
print(result.params)
# 二乗誤差
print(result.bse)
# P値
print(result.pvalues)
# AIC
print(result.aic)
# BIC
print(result.bic)

Comments

[IOError]

ご回答いただきありがとうございます。
回帰係数・誤差・P値のみならず、AIC・BICまでも教えていただきありがとうございます。
そのように求めることができるのですね。

一点申し上げると、上記コードにおいてモデルの精度はどこで判断するのでしょうか。
statsmodelsの重回帰分析 (OLS()) では R-Squared がモデルの精度にあたると思うのですが、Logit() のsummaryの見方が十分に理解できていません。
そのため、上記のコードでは精度を取得できていないように思われるのですが、いかがでしょうか。

ご確認のほどよろしくお願いいたします。

[magichan]

おおっ！！大変失礼しました。
一番重要な結果が抜けておりますね。

# McFadden's pseudo-R-squared
print(result.prsquared)

が一般的にロジステック回帰の当てはまりを見る指標になります

[IOError]

度々すみません。

いただいた McFaddenの疑似R-squared が、まさに私が必要としていた情報です。
以前のものと合わせて、今回の分析に必要な情報を全て求めることができました。

誠にありがとうございました。

Answer 2

精度、重み、切片は取得できます。
sklearn では、p 値を計算する関数は用意されていないみたいです。

import numpy as np
from sklearn.datasets import load_iris
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split

# IRIS データを取得する。
x, y = load_iris(return_X_y=True)
# 2クラス問題をやりたいのでラベル 0, 1 のみ取り出す
x = x[y <= 1]
y = y[y <= 1]

print(x.shape)  # (150, 4)
print(y.shape)  # (150,)

# 学習データ、テストデータに分割する。
x_train, x_test, y_train, y_test = \
    train_test_split(x, y, train_size=0.75)

#  学習する。
model = LogisticRegression(solver='lbfgs', multi_class='multinomial').fit(X, Y)
model.fit(x_train, y_train)

print('weight', model.coef_)  # 重み
print('intercept', model.intercept_ )  # 切片

accuracy = model.score(x_test, y_test)  # 精度
print('{:.2%}'.format(accuracy))  # 97.37%

別の方法としては、statsmodels の summary() でこれらの値を表示できているのであれば、内部的に値を保持しているはずなので、summary() の部分のソースコードを見ればわかりそうな気もします。

Comments

[IOError]

ご回答いただきありがとうございます。
重み・切片・精度はそれぞれ、coef_, intercept_, score() で求めることができるんですね。
勉強になりました。

一点申し上げると、p値を求める関数がないとのことでしたが、今回の分析では必須の情報になりますので、どうにか求めることはできないでしょうか。