情報を含まないデータを含むデータセットの二値分類

Question

kerasで2クラス分類を行っています。

実現したいこと

データによって分類に必要な情報が含まれている場合といない場合があるため、sigmoid関数の出力の最大が0.6未満の場合など確度の低い出力を無視して、確度が高い出力に重みをおいてパラメータ更新を行うか、確度が低い出力を分類不能を示すクラスに分類して無視するということは可能でしょうか？

一通りgoogle検索をかけたりkerasのドキュメントをよんだりしたのですが実現する方法が見当たりませんでした。損失関数を自作する必要などがあるのでしょうか。
よろしくお願いいたします。

###　追記　12/9（tkymtmt さんの回答を参考にしたもの）

出力層のソフトマックス層

model.add(Activation('softmax'))

の活性化関数を変更するため以下のようにしました。

def myactivation(x):
        x = K.softmax(x) - 0.6
        x = K.relu(x)
        return K.softmax(x)

model.add(Activation(myactivation))

softmaxの出力から0.6を引き、reluを通すことで0.6以下の出力を0にした後、0.6以上の出力の最大値を1にするためにsoftmaxに入力した結果を出力としました。
(relu関数の出力をモデルの出力とすると最大が0.4となり、必要以上に誤差が大きくなってしまうと考えました。)
ただ最後のsoftmaxを通すことで必要以上に出力が増幅されてしまうと考えられるので、y = 0 (x < 0.6), y = x (0.6 <= x)となるように以下の活性化関数も作成しました。

=> thresholdedReLu関数を使用することにしました。

ただ後者では出力が0の際に損失関数が必要以上に大きくなってしまうような気がするので、softmaxの出力に閾値を設定して無視するより、出力に重み付けをするほうがよいのではないかという気がし始めています。

###　追記 12/10
損失関数に交差エントロピーを用いている時に出力にしきい値を設定してしまうと、損失関数が計算できず(log(0)になるため)学習が進まなくなる可能性が高まる。

Comments

[tkymtmt]

現在用いている損失関数は何ですか？

[fukmats]

閲覧いただいてありがとうございます。categorical_crossentropyを用いています。

Answer 1

tkymtmtさんの回答を参考に色々と考えてみましたところ、結局自分のやりたいことはクロスエントロピーで十分達成されているという考えに至りました。
ただ、必要に応じて活性化関数や損失関数やレイヤーを自作することを敷居が高いことと感じていたのですがこのような思い込みを取り払うことが出来ました。この場を借りてお礼申し上げます。ありがとうございました。

Answer 2

確度の低い出力を無視し、確度が高い出力をもつデータに対してのみパラメータ更新を行うことは
以下の手順でできると思います。（確度の閾値が0.6の場合）

1. sigmoid層の出力から0.6を引く
2. Relu関数に通す

このように処理を追加することで、sigmoidの出力が0.6以下のデータに関しては、
0のみを出力するようになり、これらのデータに関して誤差逆伝搬されずパラメータ更新されません。

あとはこの処理をkerasの自作layerで実装すればよいと思います。（公式解説）
多少強引な方法ですが、参考までにどうぞ。

Comments

[fukmats]

ご回答いただきありがとうございます。
ご紹介いただいた方法を早速参考にさせていただきました。
追記したのでコメントをいただけると幸いです。

[tkymtmt]

参考して頂き恐縮です。
２つ目のmyactivationの例でコードが途切れてしまっています。私もさっき気づいたのですが、y= 0 (x<0.6), y=x (0.6<=x)となる活性化関数はkerasにもともとあるようで、model.add(keras.layers.ThresholdedReLU(theta=0.6))とすることで実装できます。

出力に重みづけをするのであれば単純に各データ点に対する損失関数にそのデータ点の確度をかけるというのはどうでしょうか。これは自作の損失関数を用意することでできると思います。

[fukmats]

たびたびご回答いただきありがとうございます。
コードがかけておらず失礼いたしました。
そのような活性化関数がすでに用意されているとは確認不足でした。ありがとうございます。
そちらの活性化関数を用いたものと、自作損失関数を用いるものを試してみようと思います。
重ね重ねお礼申し上げます！