ロジスティック回帰分析の結果を元データに反映させたいが結果が全て0になる？

Question

前提・実現したいこと

PythonのScikit Learnで行ったロジスティック回帰分析の結果を
元データに反映させてID（列）ごとにスコアを出したいと考えております。

しかし、計算式を正しく打ったつもりが結果が全て0で出てしまいます。

元データ

	Amount	Profit	Quantity	Frequency
Order ID				
B-25601	1429.0	-1218.0	19	8
B-25602	3889.0	975.0	22	10
B-25603	2025.0	-180.0	25	16
B-25604	222.0	22.0	11	4
B-25605	75.0	0.0	7	2
...	...	...	...	...
B-26096	1091.0	121.0	18	6
B-26097	1688.0	-504.0	23	7
B-26098	1189.0	350.0	21	6
B-26099	3417.0	859.0	15	4
B-26100	934.0	256.0	6	3

回帰係数と切片

回帰係数: [[ -4.35516166 490.43789796  -1.42371766   1.0599378 ]]
切片: [69.30989536]

コード

#元データ
***
	Amount	Profit	Quantity	Frequency
Order ID				
B-25601	1429.0	-1218.0	19	8
B-25602	3889.0	975.0	22	10
B-25603	2025.0	-180.0	25	16
B-25604	222.0	22.0	11	4
B-25605	75.0	0.0	7	2
...	...	...	...	...
B-26096	1091.0	121.0	18	6
B-26097	1688.0	-504.0	23	7
B-26098	1189.0	350.0	21	6
B-26099	3417.0	859.0	15	4
B-26100	934.0	256.0	6	3
***

#優良/休眠顧客情報を追加
def Dormant(x):
    if x > 0:
        return 1
    else:
        return 0
    
datrum['Customer Type'] = datrum['Profit'].apply(Dormant)
datrum.head(10)

***
	Amount	Profit	Quantity	Frequency	Customer Type
Order ID					
B-25601	1429.0	-1218.0	19	8	0
B-25602	3889.0	975.0	22	10	1
B-25603	2025.0	-180.0	25	16	0
B-25604	222.0	22.0	11	4	1
B-25605	75.0	0.0	7	2	0
B-25606	87.0	4.0	2	2	1
B-25607	50.0	15.0	4	2	1
B-25608	2953.0	-1456.0	19	8	0
B-25609	510.0	24.0	8	4	1
B-25610	2105.0	-746.0	24	12	0
***

#テストデータをテスト用と訓練用に分ける
x_train, x_test, y_train, y_test = train_test_split(
    datrum.iloc[:, 0:4],
    datrum.iloc[:, 4],
    test_size=0.3,
    random_state=1
)

#データを標準化
scl = StandardScaler()
scl.fit(x_train) #学習用データで標準化
x_train_std = scl.transform(x_train)
x_test_std = scl.transform(x_test)

clf = LogisticRegression(C=1e5)
clf.fit(x_train_std, y_train)#訓練データから学習を行う
print( "正解率:{:.2f}%".format(accuracy_score(y_test, clf.predict(x_test_std)) * 100 ))

***
正解率:100.00%
***

print('回帰係数:', clf.coef_)
***
回帰係数: [[ -4.35525949 490.44187802  -1.42342501   1.0620863 ]]
***
print('切片:', clf.intercept_)
***
切片: [69.31399488]
***

x = datrum[['Amount', 'Profit', 'Quantity', 'Frequency']]
y = datrum['Customer Type']
print('決定係数:', clf.score(x, y))

***
決定係数: 0.998
***

#学習効果の検証
X_test = datrum.iloc[:, 0:4]
y_predict = clf.predict(X_test)

print('検証結果:', y_predict)

***
検証結果: [0 1 0 1 0 1 1 0 1 0 0 0 0 1 1 0 0 1 1 1 1 0 0 1 0 0 0 0 1 0 0 0 0 0 1 1 1
 1 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 1 1 0 0 0 1 0 0 0 1 1 0 0 0 0 0 0
 0 0 0 0 0 0 0 0 1 1 1 0 0 0 0 1 1 1 0 1 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
 0 0 1 1 0 1 1 1 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1
 0 0 0 1 0 0 1 0 1 0 0 0 1 0 0 0 1 0 0 0 0 1 1 1 0 0 0 0 0 0 0 0 0 0 0 1 1
 1 0 1 0 0 1 0 0 1 0 0 0 0 0 0 0 0 1 1 1 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
 1 0 1 1 1 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
 1 1 1 1 1 1 1 1 1 1 1 1 1 0 1 1 1 1 1 1 1 1 1 1 0 1 1 1 0 1 1 1 1 1 0 0 0
 1 1 1 1 1 1 1 1 0 1 1 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 1 0 1 1 1 1 1 1 1 1
 1 1 1 1 1 1 1 0 1 1 1 1 0 1 1 1 1 1 1 1 1 1 1 0 1 1 1 0 1 1 1 1 1 1 1 1 1
 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 1 1 1
 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0
 1 1 0 1 1 1 1 1 1 1 1 1 1 1 1 0 1 1 1]
***

#Create an empty column
import numpy as np
datrum['Score'] = np.nan
print(datrum['Score'])

***
Order ID
B-25601   NaN
B-25602   NaN
B-25603   NaN
B-25604   NaN
B-25605   NaN
           ..
B-26096   NaN
B-26097   NaN
B-26098   NaN
B-26099   NaN
B-26100   NaN
Name: Score, Length: 500, dtype: float64
***


#create a function to apply the output to data
def predict_score(x):
    return 1 / (1 + np.exp(-(x.iloc[1] * -4.4 + x.iloc[2] * 490.4 + x.iloc[3] * -1.4 + x.iloc[4] * 1.1 + 69.3)))

datrum["Score"] = datrum.apply(predict_score, axis=1)
datrum.head(10)
#出てきたメッセージ
#<ipython-input-26-b3ac908bb86f>:4: RuntimeWarning: overflow encountered in double_scalars
#return 1 / (1 + math.e ** (x.iloc[1] * -4.35516166 + x.iloc[2] * 490.43789796 + x.iloc[3] * -1.42371766 + x.iloc[4] * 1.0599378 + 69.30989536))

***
	Amount	Profit	Quantity	Frequency	Customer Type	Score
Order ID						
B-25601	1429.0	-1218.0	19	8	0	0.0
B-25602	3889.0	975.0	22	10	1	0.0
B-25603	2025.0	-180.0	25	16	0	0.0
B-25604	222.0	22.0	11	4	1	0.0
B-25605	75.0	0.0	7	2	0	0.0
B-25606	87.0	4.0	2	2	1	0.0
B-25607	50.0	15.0	4	2	1	0.0
B-25608	2953.0	-1456.0	19	8	0	0.0
B-25609	510.0	24.0	8	4	1	0.0
B-25610	2105.0	-746.0	24	12	0	0.0
***

ロジスティック回帰分析の式

p=1 / 1+exp(−(a1x1+a2x2+⋯+anxn+b))

何卒よろしくお願い申し上げます。

Answer 1

最終的にNaNとなった要因ですがprobをpd.Series()した際に生成されたindexと
datrumのindexが異なることかと思ます。
また、predict_probaの戻り値がそれぞれのクラスへ分類される確率の2次元配列なので
1に分類される確率を元のデータに反映するのは以下のコードで実現できるのではないでしょうか。

y_predict_proba = clf.predict_proba(X_test)
datrum['Score'] = y_predict_proba[:,1]

Comments

[Pablito]

できました！
ご教示頂きまして、誠にありがとうございました。

Answer 2

RuntimeWarningのメッセージから推測するに浮動小数点の制限を超えているのかなと思います。
参考サイト：stackoverflow

1に分類される確率が求めたいなら以下のコードで実現できないでしょうか。

y_predict_proba = clf.predict_proba(X_test)

Comments

[Pablito]

ご回答ありがとうございます！

頂いたご回答を基に実行をしてみると2列の配列でスコアが確率が返って来ました。
本来の目的としてはこのスコアをOrder IDごとにはめてたいので、元のDataFrameに新たなcolumnを作って代入したく、下記のコードを書きました。

```
y_predict_proba = clf.predict_proba(X_test)
y_predict_proba

prob = y_predict_proba.tolist()
prob

prob = pd.Series(prob)
prob

datrum['Score'] = prob
datrum

***結果
Amount Profit Quantity Frequency Customer Type Score
Order ID
B-25601 1429.0 -1218.0 19 8 0 NaN
B-25602 3889.0 975.0 22 10 1 NaN
B-25603 2025.0 -180.0 25 16 0 NaN
B-25604 222.0 22.0 11 4 1 NaN
B-25605 75.0 0.0 7 2 0 NaN
... ... ... ... ... ... ...
B-26096 1091.0 121.0 18 6 1 NaN
B-26097 1688.0 -504.0 23 7 0 NaN
B-26098 1189.0 350.0 21 6 1 NaN
B-26099 3417.0 859.0 15 4 1 NaN
B-26100 934.0 256.0 6 3 1 NaN
500 rows × 6 columns
***
```

結果、欠損値として返ってきてしまったのですが、求めた確率を元のIDに反映させる良い方法はありますでしょうか？

何卒宜しくお願い致します。