分類問題において予測確率から予測クラスを決定するための閾値の定め方

Question

前提・実現したいこと

機械学習で2値分類を行う際、各クラスに割り当てられる予測確率を出力すると思います。
例えば、ある患者が癌か否か予測したいとき、学習の出力として0~1の値で示される確率を出すと思います。
その際、どの値以上であれば癌とみなすか、という閾値は人為的に定めてよいのでしょうか。通常は0.5にするのが良いかと思いますが、結果次第では他の値にしても問題ないでしょうか。
その場合、閾値の設定方法はどのようにすべきなのでしょうか。学習データでの予測結果を見ながら判断すればよいでしょうか。

例）
y_score=[0.1, 0.2, 0.05, 0.9, 0.5, 0.4]
y_true=[0, 0, 0, 1, 1, 1]
y_pred=?

この場合、閾値は0.3付近に設定すると良さそうですが、人為的に決めてしまって問題ないでしょうか。

発生している問題・エラーメッセージ

エラーメッセージ

該当のソースコード

from sklearn.metrics import accuracy_score
accuracy_score(y_true, y_pred)

試したこと

ここに問題に対して試したことを記載してください。

補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。

Answer 1

厳密に言えば、目的に依ります。癌の検査というシチュエーションであれば、スクリーニング検査と精密検査で当然考え方が異なります。
（スクリーニング検査では多少癌でない人を引っ掛けるのを承知で、単純なモデルでリスクのある人を挙げることを優先し、精密検査では確定診断が下せるように正解率を稼げるモデルで可能な限り正確に判定する）

たとえば二値分類でも軽く↓くらい指標がありますので、

参考：1-1. 検査精度 | 統計学の時間 | 統計WEB

重視する指標とその目標値を予め設定しておき、それに見合うようにチューニングするのが真面目なやり方でしょう。

また、判別しきい値の調整に頼るのが最善かどうかは若干疑問ではあります。

Answer 2

様々な予測モデルの性能を表す指標を、閾値毎に見ていって、良さそうなものを採用しましょう