機械学習2値分類における順位確率の求め方が分からない

Question

機械学習について勉強中です。
現在、分類器lightgbmで２値分類(binary)を行っています。
６人で出走し、２着以内に入る確率(prob)を表しているのが下記の表です。
<関係式>
prob=lgb_clf.predict_proba(X_test)[:,1]

	A	B	C	D	E	F
prob	0.89	0.67	0.22	0.53	0.20	0.23

そのような状態のとき下記の表のような各組合わせがそれぞれ１位、２位となる確率を計算したいのですが
統計に疎く算出要領が分かりません。確率統計に強い方ご教授願いないでしょうか。
Pythonコードで記載いただけると助かります。

１位	２位	確率
A	B	x1%
A	C	x2%
A	D	x3%
A	E	x4%
A	F	x5%
B	A	x6%
B	C	x7%
B	D	x8%

Answer 1

A～Fの組み合わせが同時に成立する確率は、各々の確率を乗算することで計算可能です。

P = np.array([[0.89,0.67,0.22,0.53,0.20,0.23]])
P_ = P.T
P_all = P_@P  ### 全組み合わせの計算

### 対角成分（AとAといった組み合わせ）の確率をゼロにする
P_all = P_all * (np.ones([6,6]) - np.eye(6))
### 正規化
P_all = P_all / P_all.sum()

ただし、上記は「らしい」ものでしかありません。得られた確率は2位以内なので、上記のコードで得られる結果には1位と1位および2位と2位の組み合わせが含まれています。

より正確な結果を得るためには1位になる確率と2位になる確率が必要です。これがあればこの1位になる確率と2位になる確率の全組み合わせを計算して正規化してあげればほしい結果になります。
現時点で2位以内の確率は得られているので1位になる確率が得られれば、2位以内の確率-1位の確率で2位になる確率は計算できそうです。

Comments

[takadaka49]

丁寧な説明ありがとうございます。勉強になりました。１つ質問があるのですが、質問のデータは分類器で2位以内に入るものでprobを算出していますが、同じデータセットで1位になる確率を算出し、差分を求めれば正確な確率がでるのでしょうか。

[R.Shigemori]

やってみないとわかりません。理屈からいうと、2位以内の確率=1位になる確率+2位になる確率なので記載した方法でうまくいくという仮説を立てたにすぎません。しかしながら、データによっては、うまくいかないかもしれません。その場合は、1位になる確率と2位になる確率を別々にモデル化することになると思います。

[takadaka49]

考え方は理解できましたので、実測値と比較して、確率の信頼度を検証してみます。
ありがとうございました。

Answer 2

それは、15個の変数に関する8連立方程式を解きたいと言っているので一意には決りません。
やり方は分かりませんが、lightgbm側で、1位と2位の組み合わせによる確率は持っているはずですのでそれを取り出す方法を探した方が良いでしょう。

Comments

[takadaka49]

やっぱりそうですか。ありがとうございます。