ディープラーニングで確率分布をラベルとして使うかバイナリのラベルを使うか

Question

前提・実現したいこと

ニューラルネットを用いて分類器を訓練しています。データのラベルは、複数の人がそれぞれのデータについてどのクラスに属するかを回答し、投票率のベクターとなっています。分類器のタスクとしては、一番投票率の高いクラスを出力すればよいのですが、訓練時の入力として投票率のベクターをそのまま渡すか、最も投票率の高いクラスを１、他を0としたベクターを渡すか、一般的にどちらが良いのでしょうか。

それぞれの懸念

タスクを考えるとバイナリの方が訓練の混乱を生じないかもしれない。
しかし、投票が割れているようなデータには両方のクラスの要素が含まれていると考えられるので、その情報を与えたほうがよいかもしれない?

Answer 1

分類器のゴールが、『一番投票率の高いクラスを出力する』なのであれば、バイナリに置き換えたほうがいいかと思います。投票が割れたとしても一番投票率が高いという事実には変わりがないので、『一番投票率の高いクラスを出力』というゴールには適しています。

このアプローチの一番の問題は、学習用データの投票率が確定的なのかということです。今回は複数名のデータを用いているということなので、投票率は確率的なゆらぎ（同じ属性の人を同数集めても投票率は一定の確率で異なってくる）が生じます。よって一番の投票率のクラスと次点のクラスの差が数％ぐらいだと確率的なゆらぎによって上下関係が変わってしまうので、バイナリに置き換えてしまうことは性能が出ないモデルになるリスクがあります。
こうした状況をうまくモデル化したいのであれば、投票率そのものを予測するモデルを構築したほうがいいかと思います。
アプローチ方法はいくつかあって、単純なものは質問に記載のようなラベルを投票率にした識別モデルにすることかと思います。もう少し凝ったものにしたいのであれば、多項分布を仮定した統計モデルを組み入れる方法もあります。
実は、投票率=[0.3, 0.2, 0.5]という状況であっても10名を対象とした[3,2,5]が出現する確率と20名を対象とした[6,4,10]の出現する確率は異なります。これは後者の場合、[7,3,10]や[5,3,12]といった真の投票率と大体同じだが微妙に異なるケースが[6,4,10]と同じくらいの確率で出現するためで、こうした微妙の違うを確率的なゆらぎとして受け入れた上で真の投票率[0.3,0.2,0.5]の推計を可能とするものが統計モデルを組み入れた推計モデルです。